近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破
Micheli
2025-01-17 00:00:00
275
近8年后,谷歌的Transformer继任者"Titans"来了,上下文记忆瓶颈被打破。Titans是一种创新的架构,通过结合注意力机制和新颖的元上下文记忆,显著扩展了上下文记忆容量,能够处理高达200万个标记的上下文窗口。它包括三种变体:Memory as a Context (MAC)、Memory as a Gate (MAG)和Memory as a Layer (MAL),每种都旨在增强AI在不同任务中的性能。在语言建模、常识推理、基因组学和时间序列预测等复杂领域,Titans的表现超过了Transformer和其他现代模型。
近8年后,谷歌的Transformer继任者"Titans"来了,上下文记忆瓶颈被打破。Titans是一种创新的架构,通过结合注意力机制和新颖的元上下文记忆,显著扩展了上下文记忆容量,能够处理高达200万个标记的上下文窗口。它包括三种变体:Memory as a Context (MAC)、Memory as a Gate (MAG)和Memory as a Layer (MAL),每种都旨在增强AI在不同任务中的性能。在语言建模、常识推理、基因组学和时间序列预测等复杂领域,Titans的表现超过了Transformer和其他现代模型。其神经记忆模块能够学习和保留过去的上下文信息,可能会革新AI系统随时间处理和利用数据的方式。Titans设计用于快速并行训练和高效推理,不仅强大而且适用于实际应用。对于对AI和机器学习领域的尖端进展感兴趣的人来说,Google的Titans代表了AI能力未来的一个重大飞跃。- 谷歌推出了新架构Titans,是谷歌Transformer的继任者。
- Titans结合了注意力机制和元上下文记忆,可以在测试时学习记忆。
- Titans可以将上下文窗口扩展到200万个tokens。
- Titans在语言建模、常识推理、基因组学和时序预测任务上表现更好。
- Titans的三个变体分别是记忆作为上下文(MAC)、记忆作为门(MAG)和记忆作为层(MAL)。
- Titans的神经记忆模块具有快速并行化训练的优势。
- Titans在大海捞针任务中能够扩展到超过200万个tokens的上下文窗口。
- Titans的神经记忆模块在语言建模和常识推理任务中表现最佳。
- Titans比基于Transformer的RMT等记忆模型表现更好。
- Titans在时序预测和DNA建模任务中优于其他基线模型。
- Titans的神经记忆模块在不同下游基因组任务中具有竞争力。
- Titans的效率比Mamba2和Gated DeltaNet稍慢,但比基线和神经记忆模块快。

版权声明:
创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余转载文章均来自所标注的来源方,版权归原作者或来源方所有,且已获得相关授权,若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者,其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章,均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容,可填写
「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。
评论