alisawuffles(@Thom_Wolf)：我们创建了SuperBPE🚀，这是一种*超级词*分词器，可以包含跨越多个单词的标记。在进行8B规模的预训练时，SuperBPE模型在30个下游任务中始终优于BPE基准（MMLU提高了8%），同时在推理时间上效率提高了27%。🧵

在Thomas Wolf最近的一次转发中，介绍了自然语言处理领域的一项重大进展：SuperBPE，一种能够识别超词（跨越多个单词的标记）的分词器。对于那些对机器学习和人工智能语言模型的技术方面感兴趣的人来说，这一发展尤为值得关注，因为它涉及到8亿参数规模的大规模预训练。SuperBPE处理多词标记的能力可能代表了语言模型预训练效率和效果的一大进步。这些内容可能对希望了解该领域最新工具和方法论的人工智能研究人员和开发人员非常有吸引力。-Thomas Wolf转发了@alisawuffles关于SuperBPE的帖子，SuperBPE是一个词元分析器，包括跨越多个单词的代币。 -SuperBPE是由@alisawuffles创建的。 -SuperBPE是一个“超级词汇”词元分析器。 -SuperBPE用于8B标度的预训练。