发现早期层中的宝石：通过1000倍输入词元减少加速长内容LLM

名为《在早期层中发现宝石：通过1000倍输入令牌减少加速长上下文LLM》的研究论文提出了一种突破性方法，以增强大型语言模型（LLMs）在处理长输入上下文时的效率。该研究介绍了GemFilter，一种算法利用LLM的早期层来过滤和压缩输入令牌，从而显著减少处理所需的上下文长度。这种方法以其能够将LLM推理加速2.4倍并将GPU内存使用量减少30％而脱颖而出，与最先进的技术相比。值得注意的是，GemFilter在复杂任务（如“草堆中的针”和LongBench挑战）上保持了高水平的性能，同时通过允许人类检查所选输入序列来提供可解释性。对于那些对LLM的实际部署和内部机制的进展感兴趣的人来说，这篇论文可能提供了有价值的见解和工具。作者已经公开发布了他们的代码，这对于希望实施或进一步探索这种新技术的开发人员和研究人员可能特别有吸引力。- 大型语言模型（LLMs）在处理长上下文输入方面具有显著能力 - 为了加速LLM推理和减少GPU内存消耗，研究引入了一种新的方法 - LLM可以在生成查询答案之前在早期层次中识别相关的标记 - 提出了一种算法，使用LLM的早期层作为过滤器来选择和压缩输入标记，从而显著减少后续处理的上下文长度 - GemFilter方法相比于标准注意力和SnapKV/H2O等现有技术在速度和内存效率方面都有显著改进 - 在“大海捞针”任务上的评估表明，GemFilter明显优于标准注意力和SnapKV，并在LongBench挑战赛上表现相当 - GemFilter简单、无需训练，并且适用于不同的LLMs - GemFilter通过允许人类检查所选的输入序列提供了可解释性 - 这些发现不仅为LLM部署提供了实际的好处，还增强了我们对LLM内部机制的理解，为LLM设计和推理的进一步优化铺平了道路 - 代码可在此链接处获得：https://github.com/SalesforceAIResearch/GemFilter