AI前沿谷歌开源 GPipe，训练更大模型、不调整超参扩展性能 谷歌开源了一个分布式机器学习库 GPipe，这是一个用于高效训练大规模神经网络模型的库。 GPipe 使用同步随机梯度下降和管道并行进行训练，适用于由多个连续层组成的任何 DNN。重要的是，GPipe 允许研究人员轻松部署更多加速器来训练... AI君 1年前 (2019-03-06) 208℃ 0喜欢
