近8年后，谷歌Transformer继任者「Titans」来了，上下文记忆瓶颈被打破

近8年后，谷歌的Transformer继任者"Titans"来了，上下文记忆瓶颈被打破。Titans是一种创新的架构，通过结合注意力机制和新颖的元上下文记忆，显著扩展了上下文记忆容量，能够处理高达200万个标记的上下文窗口。它包括三种变体：Memory as a Context (MAC)、Memory as a Gate (MAG)和Memory as a Layer (MAL)，每种都旨在增强AI在不同任务中的性能。在语言建模、常识推理、基因组学和时间序列预测等复杂领域，Titans的表现超过了Transformer和其他现代模型。其神经记忆模块能够学习和保留过去的上下文信息，可能会革新AI系统随时间处理和利用数据的方式。Titans设计用于快速并行训练和高效推理，不仅强大而且适用于实际应用。对于对AI和机器学习领域的尖端进展感兴趣的人来说，Google的Titans代表了AI能力未来的一个重大飞跃。- 谷歌推出了新架构Titans，是谷歌Transformer的继任者。 - Titans结合了注意力机制和元上下文记忆，可以在测试时学习记忆。 - Titans可以将上下文窗口扩展到200万个tokens。 - Titans在语言建模、常识推理、基因组学和时序预测任务上表现更好。 - Titans的三个变体分别是记忆作为上下文（MAC）、记忆作为门（MAG）和记忆作为层（MAL）。 - Titans的神经记忆模块具有快速并行化训练的优势。 - Titans在大海捞针任务中能够扩展到超过200万个tokens的上下文窗口。 - Titans的神经记忆模块在语言建模和常识推理任务中表现最佳。 - Titans比基于Transformer的RMT等记忆模型表现更好。 - Titans在时序预测和DNA建模任务中优于其他基线模型。 - Titans的神经记忆模块在不同下游基因组任务中具有竞争力。 - Titans的效率比Mamba2和Gated DeltaNet稍慢，但比基线和神经记忆模块快。