CodeSwitch:构建AI外语教练,实现类真人练习口语沟通

阿里云创新中心> 创业资讯> CodeSwitch:构建AI外语教练,实现类真人练习口语沟通

CodeSwitch:构建AI外语教练,实现类真人练习口语沟通

阿里云创新中心 2023-07-19 19:00:00 3364
首届魔搭Create@AI Hackathon圆满落幕,一等奖获奖团队CodeSwitch带来独特的AI语言学习解决方案,通过AI模拟外教帮助用户学习口语沟通。

在首届魔搭Create@AI Hackathon中,涌现了众多AI创新项目。一等奖团队CodeSwitch带来AI外语沟通能力训练产品Demo,这是一款基于大模型实现的类真人口语练习产品。

CodeSwitch是一组在语言和科技交界处创新的产品团队,成员来自字节跳动、LinkedIn、卡内基梅隆大学、康奈尔大学、哥伦比亚大学。队长王宇当前就读康奈尔大学计算机专业研究生,在此前曾在一家创业公司担任产品经理。

王宇和团队成员都熟悉掌握多门外语和方言,他们对语言学习的热爱转化为了AI创新的动力。

image (CodeSwitch团队路演中,左为王宇,右为陈轶陶。)

48小时Hackathon挑战,开发AI外教学英语

王宇在14岁时就前往美国读高中。英语不熟练,身边也没有人跟他说话,为将口语能力提升至母语水平,王宇选择通过跟Uber司机进行对话练习,而他的朋友则选择和心理医生交流。

不仅是他们,全球有15亿人把英语作为第二生活、工作语言,但因为缺乏口语对话经历,很多人的英语沟通能力有限。区别于文字交流,口语沟通依赖多说多练,而且不同地区的人有不同的口音和用词习惯,如何地道地表达也是个学习难题。

正是有过切身体会,让王宇团队萌生出通过AI模拟真人训练的想法。通过AI模拟外教进行口语训练,可以随时随地边聊边练,花费也比请真人外教便宜20倍。

王宇团队带着这个创意来到魔搭create@AI Hackathon。在48小时开发挑战中,他们通过特殊的语料和声音数据集对大模型进行训练,现场完成了产品的Demo。

调优后的CodeSwitch可以还原真人语音语调,告别机械式的语音回复,仿佛在和真人对话。内置盲听、文字和翻译功能选择,满足不同学习需要。为了让用户学习更地道的外语表达,CodeSwitch还加入了Copilot能力,可以根据语境提示用户如何用地道的表达来回复。

王宇表示:“我们这个产品,可以让用户跟着AI特朗普练习口语。”

image image

AI实现口语化“边聊边练”,产品落地应用潜力丰富

相比市面上的苹果siri、Chat Voice GPT,王宇认为CodeSwtich最大的差异化在于语言交互的逻辑。

CodeSwitch旨在帮助用户提升外语沟通能力,而非做问答百科。只有真正实现AI人格和语境的对应,才能更好地帮助用户提升外语沟通能力。因此产品交互的重心在于,如何让用户和AI外语教练真正“聊起来”。CodeSwitch基于“跟谁说、说什么、怎么说”三个核心问题来构建产品Demo。

为了训练模型,除了公开的语言模型数据集,他们还引用了大量的公开采访作为语言数据,可以在构建AI外教过程中,最大程度上帮助AI还原人物性格,还能根据语境进行口语化回复。王宇在路演现场演示了用户与AI特朗普练习对话的过程,真实还原了特朗普说话的语音语调,用户仿佛在和真人对话。

大赛评委认为,CodeSwitch尚在初期阶段就已经展现出明显的落地应用潜力,尤其是教育场景;在未来的迭代中也有无限的可能性,例如与数字人进行结合等。

CodeSwitch独特的AI语言学习解决方案,也引起了现场多家投资机构的关注和跟进。

王宇期望着未来产品能真正走向商业化,帮助每一个想要学习外语沟通的用户。通过这次大赛,他们的想法实现了0到1,而当下最重要的是获得更多用户的反馈,进一步打磨CodeSwitch产品。

关于魔搭Create@ AI Hackathon:

国内有很多优秀的开源模型资源,如何寻找和匹配适合自己的开源模型和数据集,对于很多AI创业者来说也是个头疼的问题。

魔搭社区作为国内最大的开源模型社区,汇聚各领域最先进的机器学习模型,可以为CodeSwitch这样的AI创业团队提供模型探索、体验、推理、训练、部署和应用的一站式服务。对于资源有限的AI创业者来说,可以选择基于开源大模型和数据集进行调优和训练,以低成本完成产品迭代。

对于这次比赛,王宇也给出了非常高的评价:“我此前参加过一次海外的Hackathon比赛,觉得那是这个领域的天花板,这次回国参加魔搭Create@AI Hackathon,感受到国内也有如此高水准的赛事。”

AI的创新仍在继续,魔搭社区也欢迎更多AI创业者和开发者加入,为AI的模型和应用添砖加瓦,共“搭”新世界。

image (从左至右为:创新工场联合CEO&兼管理合伙人汪华、王宇、阿里云副总裁、阿里云计算平台事业部负责人汪军华)

文章标签: 热门文章

阿里云创新中心简介

阿里云创新中心将阿里技术、产品、业务的生产力,转化为对企业发展有价值的推动力,将更普惠、更安全、更绿色的产品和服务提供给科技型中小企业,在中小企业科技创新、日常运营、职业技能培训、资金对接、跨境出海等方面提供全方位支持。

截至目前,阿里云创新中心累计为中小创企业提供2亿的双创云资源,共服务了超过350万的创业者、50万小微企业,孵化出600多家高成长创新企业,调研数据显示头部企业估值规模超1387亿,每年估值增速超过35%。

image.png

版权声明: 创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余转载文章均来自所标注的来源方,版权归原作者或来源方所有,且已获得相关授权,若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者,其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章,均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容,可填写「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。