权威中文大模型10月榜单出炉,商汤“日日新”金牌!

阿里云创新中心> 创业资讯> 权威中文大模型10月榜单出炉,商汤“日日新”金牌!
0
0

权威中文大模型10月榜单出炉,商汤“日日新”金牌!

nebula 2024-11-08 16:58:00 248
近3000道题,商汤斩获金牌!SuperCLUE公布中文大模型10月榜单。

模型表现好,金牌少不了。

刚刚,中文大模型测评基准SuperCLUE发布《中文大模型基准测评2024年10月报告》:

商汤日日新·商量大模型(SenseChat5.5)凭借出色的能力表现,总得分位列国内大模型第一梯队,获得金牌。

权威中文大模型10月榜单出炉,商汤“日日新”金牌!

本次SuperCLUE10月报告覆盖23个国内模型,聚焦语言大模型的通用能力评估,分为三大维度:除了考察“文科”、“理科”基础能力外,还有考察模型更高阶能力的“Hard”附加任务,总共2900+道题:

【理科任务】分为计算、逻辑推理、代码、工具使用测评集;

【文科任务】分为知识百科、语言理解、长文本、角色扮演、生成与创作、安全六大测评集;

【Hard任务】分为精确指令遵循测评集,复杂任务高阶推理测评集。

权威中文大模型10月榜单出炉,商汤“日日新”金牌!

商汤SenseChat5.5在多项评测任务中均位列第一梯队,文科中语言理解、安全等维度表现突出,也是理科中逻辑推理、代码学科的“尖子生”。

值得注意的是,在【Hard】的两项任务——精准指令遵循和高阶推理中,商汤SenseChat5.5是唯一两项任务均位于国内第一梯队的大模型,体现了模型优秀的复杂推理智能。

SuperCLUE本次报告显示,国内大模型的能力与ChatGPT-4o-latest表现接近,o1-preview则在复杂任务中更为突出。未来,商汤将继续坚持基础大模型的持续研发与投入,不断提升真正高阶推理及“慢思考”能力。

雷峰网 (公众号:雷峰网)

雷峰网版权文章,未经授权禁止转载。详情见 转载须知

后缀.jpg

版权声明: 创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余转载文章均来自所标注的来源方,版权归原作者或来源方所有,且已获得相关授权,若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者,其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章,均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容,可填写「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。

评论

登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等