o1不是唯一路径！MIT新研究：在测试时训练，模型推理能力最高升至5.8倍

研究人员在麻省理工学院开发了一种名为测试时训练（TTT）的方法，该方法能够在测试阶段提高大型模型的推理能力。TTT包括三个阶段：数据生成、自适应范式设计和推理策略。数据生成阶段通过从测试集中留出每个样本来创建新的训练任务。数据增强技术被应用于扩展TTT训练集。LoRA方法用于TTT期间的高效参数适应。在推理过程中应用数据增强和集成学习策略。TTT在挑战性任务上显著提高了准确性，最高可达5.83倍。在ARC数据集上使用GPT-3模型进行测试，与单独微调相比，准确性提高了157%。对于1B模型，TTT甚至显示出更大的改进，准确性接近原始准确性的6倍。结合BARC方法使用时，TTT在ARC任务上达到了61.9%的最新准确度，超过了人类平均表现。MindsAI团队和其他研究人员也对TTT进行了研究。对于对人工智能研究前沿以及模型实时推理能力提升潜力感兴趣的人来说，这项研究是必读的。- MIT的研究发现，对大模型进行测试时训练可以提高推理水平。 - 在挑战超难的ARC任务时，准确率最高可提升至原来的5.83倍。 - TTT过程中有三个关键阶段：训练数据生成、模型适应范式设计以及推理阶段的策略。 - TTT方法对于1B模型的提升效果更加明显，调整后模型的准确率接近调整前的6倍。 - TTT方法与BARC方法结合后取得了61.9%的SOTA成绩，超过了人类的平均水平。 - MindsAI团队使用了相同的TTT技术，在ARC挑战中取得了第一名。 - 学者斯坦福大学华人博士后Yu Sun在测试时训练方面有大量研究成果。