GitHub-加密密码/LLooM：实验性LLM推断用户体验，有助于创造性写作

LLooM是一个实验性用户体验工具，旨在通过利用大型语言模型（LLMs）的能力来增强创意写作。它解决了文本生成中的一个常见问题，即贪婪解码可能会由于初始位置的低概率而错过高概率的标记。LLooM引入了一种人机协作的方法，允许无限数量的候选线程，类似于高级形式的波束搜索。这个工具特别适合对交互式和迭代文本生成感兴趣的作家和开发人员，因为它提供了一种独特的方法来探索和选择写作提示的建议。该指南包括了设置环境、使用不同后端（如llama.cpp和OpenAI）以及配置参数以定制文本生成过程的详细说明。LLooM通过提供对文本生成过程更细致的控制，可能会产生更丰富和多样化的创意输出。- LLooM是一个实验性的LLM推理用户体验的GitHub存储库。 - LLooM利用原始LLM logits生成创意写作建议。 - 贪婪解码可能会错过隐藏在低概率标记后面的高概率标记。 - LLooM类似于beamsearch，但有人参与并且有无限的beam。 - LLooM可以通过提供起始提示或直接编辑故事来使用。 - LLooM需要安装特定的软件包和具有特定Llama3-70B微调的llama.cpp服务器。 - LLooM也可以通过提供API密钥与OpenAI一起使用。 - LLooM中使用的模型目前是硬编码为gpt-3.5-turbo。 - 配置下拉菜单允许用户调整停止和拆分条件的参数。