当前开放的LLM的最大上下文窗口是多少？

用户有兴趣测试一个包含200万字符的文本副本，但受到严格的数据隐私规则和硬件限制（12 GB 3080 GPU，64 GB RAM）的限制。这个问题对于自然语言处理（NLP）领域的人士或处理大型数据集的任何人来说都很重要，因为它涉及当前LLM在处理大量文本输入方面的实际限制。这篇帖子还隐含地提出了在语言模型中平衡计算资源和对广泛上下文窗口的需求的问题。这对于希望在具有类似规格的本地机器上优化LLM性能的研究人员或从业者可能特别相关。- 用户想要知道当前打开的LMM的最大上下文窗口大小。 - 用户有一个包含200万个字符的转录本，并希望将整个转录本作为提示的一部分进行测试。 - 用户希望在本地机器上执行此测试，该机器配备了12 GB的3080显卡和64 GB的内存。