AI前沿微软和谷歌分别开源分布式深度学习框架,各自厉害在哪? 微软和谷歌一直在积极研究用于训练深度神经网络的新框架,并且在最近将各自的成果开源——微软的PipeDream和谷歌的GPipe。 原则上看,他们都遵循了类似的原则来训练深度学习模型。这两个项目已在各自的研究论文(PipeDream,GP... AI君 4年前 (2020-11-09) 43℃ 0喜欢
AI前沿高效Transformer层出不穷,谷歌团队综述文章一网打尽 自 2017 年诞生以来,Transformer 模型在自然语言处理、计算机视觉等多个领域得到广泛应用,并出现了大量变体。近期涌现的大量 Transformer 变体朝着更高效的方向演化,谷歌研究者对这类高效 Transformer ... AI君 4年前 (2020-09-27) 47℃ 0喜欢