xenovacom(@ClementDelangue)：这是Transformers.js有史以来速度最快的版本！在浏览器中本地运行一个1.7B的LLM模型，每秒处理超过130个token，无需服务器支持。支持WebGPU加速的浏览器内推理功能，优化了ONNX模型的导出，并提供了带有KV缓存的多轮对话功能。

在最近一条由clem 🤗 (@ClementDelangue)发布的推文中，对于那些对机器学习和自然语言处理感兴趣的人来说，有一个令人兴奋的进展。该推文分享了@xenovacom关于Transformers.js性能的更新，这是一个可以在浏览器中完全运行一个拥有1.7亿参数的语言模型（LLM）的库。引人注目的是它运行的印象速度，每秒超过130个标记，这标志着Transformers.js迄今为止的最快速率。这一进步意味着在运行复杂语言模型方面的可访问性和效率的飞跃，可能为直接在浏览器环境中工作的开发人员和研究人员开辟新的可能性。如果你对人工智能和机器学习的最新进展感兴趣，这条推文可能值得你关注。-Transformers.js实现了有史以来最快的速度。 -它可以在浏览器中100%本地运行1.7B LLM。 -速度超过每秒130个令牌。