我在一个单独的代码库上使用Unsloth对Qwen 2.5 Coder进行了微调，最终在代码完成准确性方面取得了47%的提升。
齐思GPT
2025-03-20 00:00:00
92
在Reddit上分享的一项引人注目的实验中，一位个人使用Unsloth对qwen2.5-coder进行了微调，这是一个14b模型，进行LoRA训练，并取得了惊人的47%的代码完成准确性提升。这是通过将训练重点放在来自单个代码库的Svelte源文件上实现的。这个实验之所以引人注目，是因为它展示了通过有针对性的微调，在单个高端GPU（RTX 4090）上进行有限次数（500次）迭代，可以实现显著的性能提升。结果表明，开发人员可以通过将AI模型定制到他们特定的代码库中来提高编码效率。
在Reddit上分享的一项引人注目的实验中，一位个人使用Unsloth对qwen2.5-coder进行了微调，这是一个14b模型，进行LoRA训练，并取得了惊人的47%的代码完成准确性提升。这是通过将训练重点放在来自单个代码库的Svelte源文件上实现的。这个实验之所以引人注目，是因为它展示了通过有针对性的微调，在单个高端GPU（RTX 4090）上进行有限次数（500次）迭代，可以实现显著的性能提升。结果表明，开发人员可以通过将AI模型定制到他们特定的代码库中来提高编码效率。这一发现对于希望通过AI辅助编码工具优化工作流程的开发人员可能特别感兴趣。- Qwen 2.5 Coder的代码完成准确性提高了47%
- 通过微调模型，代码完成任务的准确性从25%提高到36%
- 短期训练只需在单个RTX 4090 GPU上进行500次迭代
- 使用的模型是qwen2.5-coder 14b，4位量化
- 训练数据来自于Svelte源文件
- 使用Unsloth进行LoRA训练，排名为16，序列长度为4096
- GPU为单个RTX 4090
- 有效批处理大小为8
版权声明：
创新中心创新赋能平台中，除来源为“创新中心”的文章外，其余转载文章均来自所标注的来源方，版权归原作者或来源方所有，且已获得相关授权，若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者，其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章，均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容，可填写
「投诉表单」进行举报，一经查实，本平台将立刻删除涉嫌侵权内容。
个人中心
个人信息
我的项目
产品服务
创业通介绍
评论