SysBench：大型语言模型可以遵循系统消息吗？

SysBench是一个新的基准测试，用于评估大型语言模型（LLMs）对系统消息的遵循程度。系统消息是指导人工智能行为的关键指令。这个基准测试很重要，因为它填补了评估LLMs遵循复杂约束、与指令保持一致性并在多次交互中保持稳定性的空白。SysBench通过提供跨不同领域的500条系统消息数据集，配对多轮用户对话，来测试不同的LLMs。SysBench的结果为当前模型的优势和局限性提供了宝贵的见解，指导未来的人工智能研究。SysBench的开源可用性使其成为开发人员和研究人员的实用工具，旨在增强LLMs在实际应用中的定制和效果。- 大型语言模型（LLMs）在各种应用中变得至关重要，将这些模型定制到特定场景中变得越来越关键。 - 系统消息是LLMs的基本组成部分，由精心设计的指令组成，以引导模型的行为以达到预期目标。 - SysBench是一个基准测试，系统地分析LLMs在三个具有挑战性的方面中遵循系统消息的能力：约束复杂性、指令不对齐和多轮稳定性。 - SysBench构建了多轮用户对话，涵盖各种交互关系，基于真实场景中系统消息的六种常见约束类型。 - 数据集包含来自各个领域的500个系统消息，每个消息与5轮用户对话配对，经过手工制定和检查以确保高质量。 - SysBench对各种LLMs进行了广泛评估，衡量它们在给定系统消息中遵循指定约束的能力。 - 结果突出了现有模型的优点和缺点，提供了未来研究的关键见解和方向。 - SysBench的开源库可在https://github.com/PKU-Baichuan-MLSystemLab/SysBench上获得。