Bespoke-Stratos-17k ——全新的推理数据集

Bespoke-Stratos-17k数据集代表了人工智能推理领域的重大进展，构建在伯克利Sky-T1数据管道的基础上。这个数据集是使用来自DeepSeek-R1的SFT蒸馏数据筛选而成的，对训练两个强大的推理模型Bespoke-Stratos-32B和Bespoke-Stratos-7B起到了关键作用。这项工作的独特之处在于精心策划的筛选过程，包括拒绝抽样以确保高质量的推理轨迹，以及使用更高效的教师模型DeepSeek-R1，避免了中间的重新格式化步骤。提供的性能指标显示出对先前模型的显著改进，表明这些模型有潜力处理复杂的推理任务。这个数据集不仅是技术上的成就，也是一个协作努力，承认了伯克利Sky计算实验室、Deepseek和Datacomp社区的贡献。对于那些对人工智能推理和模型训练前沿感兴趣的人来说，Bespoke-Stratos-17k数据集是一个值得关注的发展。- 使用SFT蒸馏数据从DeepSeek-R1复制和改进了Berkeley Sky-T1数据管道，创建了Bespoke-Stratos-17k数据集。 - 使用该数据集训练了Bespoke-Stratos-32B和Bespoke-Stratos-7B推理模型。 - 提供了Bespoke-Stratos-32B和Bespoke-Stratos-7B的指标。 - 使用Bespoke Curator创建了合成推理数据集。 - 使用DeepSeek-R1作为教师推理模型，而不是QwQ。 - 使用gpt-4o-mini过滤错误的数学解决方案。 - 引用了Bespoke-Stratos的相关论文。 - 感谢Berkeley Sky Computing Lab、Deepseek和Datacomp社区的贡献和讨论。