没有归一化层的Transformer！刘壮带队，何恺明、Yann LeCun都参与了

没有归一化层的Transformer模型引起了广泛关注。刘壮、Yann LeCun和何恺明等研究人员开发了这种新型Transformer，它通过动态Tanh（DyT）机制，能够在不使用常规归一化层的情况下，对输入激活进行缩放和压缩。这一方法可能会简化神经网络架构，并且在性能上不亚于传统的归一化方法。DyT的集成简单，对现有模型的兼容性好，且在多种任务中表现出色。这项研究挑战了归一化层在神经网络中的必要性，并可能对未来的网络设计产生深远影响，尤其是在提高效率和简化结构方面。如果你对机器学习的最新进展感兴趣，想要探索替代归一化层的技术，那么这篇文章值得一读。- 何恺明与Yann LeCun合作，研究了没有归一化层的Transformer。 - 归一化层在神经网络中起着重要作用，但这项研究挑战了归一化层对训练的必要性。 - 研究者提出了一种替代归一化层的方法，称为Dynamic Tanh（DyT）。 - DyT可以在不改变原始架构的情况下替换归一化层，并且在各种任务和领域中表现良好。 - DyT的性能与归一化层相当或更好，且不需要调整超参数。 - DyT还可以提升训练和推理速度，有潜力降低成本。 - 研究者发现归一化层对极端值的非线性压缩是其关键特性之一。 - DyT通过动态缩放和有界tanh函数模拟了归一化层的行为。 - DyT的性能在图像分类、自监督学习、DNA序列建模和语音自监督学习等任务中得到验证。 - DyT的初始化参数对性能有一定影响，但不敏感于模型的深度。 - 较宽的网络可以从较小的初始化参数中获益，获得最佳性能。