工具使用 | LM Studio文档

LM Studio关于工具使用的文档深入探讨了如何通过执行外部函数和API来增强大型语言模型（LLMs），显著拓展了它们的应用范围。这一功能将LLMs从纯文本生成器转变为能够与外部数据源进行交互和操作的动态代理。该指南提供了实用的见解，包括如何将LM Studio设置为本地服务器、加载模型以及使用`/v1/chat/completions`端点集成工具功能。特别值得注意的是本地和默认工具支持之间的区别，本地支持具有更优越的性能。文中包含使用curl和Python的代码示例，以及一个关于代理聊天机器人的详细示例，使其成为开发人员利用LLMs进行高级任务的宝贵资源。如果您有兴趣拓展LLMs的能力边界，这份指南绝对值得一读。- 工具使用允许LLMs通过/v1/chat/completions端点与外部函数和API进行交互。 - LM Studio支持工具使用，可以通过REST API（或任何OpenAI客户端）通过/v1/chat/completions端点请求调用外部函数和API。 - 工具使用扩展了LLMs的功能，使其不仅仅可以输出文本。 - LM Studio支持工具使用的版本要求为0.3.6或更高。 - 要使用LM Studio作为服务器，请在"Developer"选项卡中启动LM Studio，或使用lms CLI。 - 可以从"Chat"或"Developer"选项卡中加载模型，也可以使用lms CLI。 - 工具使用描述了LLMs输出文本请求调用函数的过程，然后代码执行这些函数，并将结果反馈给LLMs。 - LM Studio通过/v1/chat/completions端点支持工具使用，需要在请求体的tools参数中提供函数定义的列表。 - 工具使用的格式与OpenAI的函数调用API相同，并且预计通过OpenAI客户端SDK工作。 - 所有模型都支持某种程度的工具使用，但有两个级别的支持：Native和Default。 - Native工具使用支持的模型在LM Studio中具有锤子徽章，并在工具使用场景中表现更好。 - 默认工具使用支持的模型没有原生工具使用支持，但可以通过给模型提供自定义系统提示和默认工具调用格式来实现工具使用。 - 可以使用curl实现模型请求工具调用的示例。 - 可以使用Python实现模型请求工具调用的示例，包括单轮和多轮的例子。 - 可以使用Python实现一个高级代理示例，将模型与本地定义的函数结合起来，实现更复杂的功能。