IBM Granite 3.2文档 - IBM Granite

IBM的Granite 3.2模型以其先进的推理能力脱颖而出，特别擅长检索增强生成（RAG）和函数调用任务。这些模型不仅可进行微调，还可在Apache 2.0许可下使用，使其适用于各种应用。关键特性是聊天模板，专门推荐用于发挥Granite 3.2模型的全部潜力，确保在不同场景下实现最佳性能。模型支持多种语言，并能处理长而复杂的输入，使其成为开发人员的多功能工具。此外，模型与Granite 3.1保持向后兼容，确保现有用户顺利过渡。对于希望使用高级功能构建提示的开发人员，apply_chat_template函数是一个宝贵的工具。该指南还提供了优化模型性能的实用技巧，例如调整最大新标记设置和避免在后续问题中使用代词，这对于希望从RAG任务中获得最佳结果的开发人员至关重要。-IBM Granite 3.2模型具有增强的推理功能和RAG任务的高级特征。 -他们擅长检索增强生成（RAG）和函数调用任务。 -建议使用聊天模板，以获得Granite 3.2型号的最佳性能。 -该模型可以处理摘要、文本分类、文本提取和文本翻译等任务。 -这些模型在Apache 2.0许可证下可用。 -聊天模板包括用于提示控制的特殊令牌，以及系统、用户和助手的回合类型。 -该模板还支持函数调用任务的工具和工具响应。 -这些模型可用于推理任务，并提供全面详细的响应。 -这些模型可以进行微调，用于各种语言任务，包括翻译。 -模型可以根据长度注释生成短响应或长响应。 -这些模型可以处理逻辑谬误并执行工具调用。 -这些模型支持长上下文任务，可以处理复杂的输入。 -apply_chat_template函数可用于构造具有高级特征的提示。 -建议开发人员使用apply_chat_template函数进行提示构建。 -模型具有最大新令牌情景，应调整该设置以获得最佳性能。 -在后续问题中应注意避免使用代词。 -如果模型产生长响应，则应缩短解释长度。 -可以通过调整最大记号输出参数或添加停止记号来修复Run-on语句。 -样例标签可以用作上下文中示例的提示的停止标记。