具有可控记忆的流水线并行性

在最近提交的名为“Pipeline Parallelism with Controllable Memory”的论文中，作者们介绍了一种优化计算中管道并行性的新框架。这项工作以其系统化的方法脱颖而出，可以降低管道调度所需的峰值激活内存，这是对常用的1F1B（一前一后）调度的重大改进。所提出的方法不仅内存高效，而且在纯管道并行设置中表现出惊人的吞吐量增加，范围从7%到55%不等。此外，当与混合并行性超参数结合时，新技术相比1F1B基线为大型语言模型展示了16%的吞吐量改进。这篇论文可能会改变研究人员和从业者寻求提高并行计算系统效率的方式，特别是那些在内存和吞吐量是关键约束的大规模模型上工作的人。- 提出了一种管道并行性的框架，通过重复一个构建块来分解管道调度。 - 发现现有的管道调度存在内存效率低下的问题。 - 引入了具有可控激活内存的内存高效构建块，可以降低峰值激活内存。 - 可以实现几乎零管道气泡。 - 在纯管道并行性设置中，方法比1F1B高出7%至55%。 - 在使用混合并行性超参数的网格搜索时，方法在大型语言模型中提高了16%的吞吐量。