简介: 在早教和小学教学的场景中,教育者经常使用游戏化的方式来进行数学、语文等多个学科的教学。这些游戏,一般在每个设备的应用商店进行获取。然而,在实际的教学活动中,家长和老师往往需要通过学生的具体进度,配合教学需求进行一定的个性化修改。然而,教育者的开发能力却限制了这些个性化需求的实现。
(目前的版本中,用户只需要关心游戏的需求,就能自动生成可交互的卡牌游戏,模仿家长老师用卡片教具进行教育的过程)
随着语言模型的不断发展,我们有可能可以让每一个教育者成为一个开发者。使用自然语言的方式,来实现或者修改一个教育游戏,并最终通过教室黑板或者是学习机平板的方式,部署给学生。由此,我们设计并实现了一套游戏框架的原型。根据教育者提出的特定早教需求,agent会解析对应的需求,并且调用游戏中对应的物体生成函数,来建立一个游戏。在这个初步原型中,我们成功实现了数学、语文等多学科的早教游戏。在这个架构下,教育者可以每次根据学生的反馈,来动态地修改游戏,更有效地实现个性化的教学。家长和老师甚至可以将自己实现的游戏在一个更大的在线平台上进行分享,实现UGC的早教游戏平台。
Build In Public: 在 DataWhale 1024的合肥活动中,开发者李鲁鲁老师(github, scholar)遇到了清华大学深圳国际研究生院的方可老师(homepage)。因为我们的儿子就差了一两个月,有很多接近的教育目标。同时大家都在进行语言模型应用和agent的研究,并且会将一些开发结果用在儿童的教育上。所以我们正巧希望借助这次比赛,来进行一次合作。艺术设计的部分由清华的校友,设计师丁棘来实现。截止 11 月 23 日,这个项目共计开发了三周,已经完成了游戏端和编辑器的初步建设。我们也欢迎更多的开发者,特别是愿意将其应用到自己孩子教育的开发者加入进来。
游戏端 Demo:
游戏端使用 p5.js 实现。可在 pad/学习机/教室的互动教学屏等多种终端使用。 点击播放
编辑器 Demo:
我们的希望家长或者老师可以通过一句话来进行卡片游戏的生成和编辑。 点击播放
技术运用:
● Student-in-Loop-Reflection: 利用 VLM,当学生误操作时,给出合适的提示操作。/ 类似 mobile-agent 的实现架构
● 通义:Qwen-Max-Latest 游戏中的低代码生成 ,(TBD)Qwen-VL-Max-Latest 错误情况下的 Reflection
● 英特尔软硬件:服务器本地 docker on AIPC / OpenVINO 的 text embedding 加速
● 魔搭:(TBD)游戏/编辑端在魔搭上进行布置, 另外魔搭这个展示页挺好的 考虑可以长期用作项目页
目标客户和项目目标: 我们希望能够建立一个UGC的早教游戏平台。使得家长和老师,人人都可以成为早教游戏的开发者。所以我们有下面的目标 ● 教育开发者能够使用简单的自然语言描述,来生成早教游戏 ● 生成的早教游戏可以在教室电子黑板、教育平板或者普通的pad上进行游玩 ● 教育开发者保存、修改、分享自己生成的教育游戏
商业模式讨论:
在传统的教育设备中,内容收费是个很典型的收费模式。这是由于传统的早教内容,尤其是带有互动性质的游戏,有较高的开发成本。并且家长也不方便根据儿童的学习情况,进行修改(比如修改规则、难度、范围等等)。 我们希望建立一个互动游戏的简易平台,家长可以在PC上,使用自然语言进行游戏的快速创作,agent会根据家长的需求,调用预置的生成函数,来生成游戏的物体和目标。并且游戏最终可以被部署在多种硬件上。 这个时候,实际上图片素材库和音频素材库会成为一个重要的版权资产。比如在文字、古诗的卡片制作的时候,agent调用到的卡片可以是我们预先绘制的版权卡片。这样使得整个游戏的版权得到一定的保护。 同时,在生成游戏时候参考的游戏例子库,来自于一个完整的早教例子库。这个例子对于用户来说也是不可见的。 更重要的是在多个端侧进行不同的适配的时候,收费方式可以根据具体的场景做不同的调整。如在Pad上可以使用客户端收取一个较小费用,然后内部的精品资源再进行一次分级收费的方式。而对于2B的应用学习机或者电子黑板,则可以与厂商或者大的使用方进行内容授权的合作。
Student-in-Loop Reflection:
在之后的开发中,我们希望能够进一步去引入多模态语言模型的能力,一方面是形成开发过程的闭环,让语言模型进一步去优化自己的开发结果。另一方面更有趣的是,我们希望在学习者没有顺利进行游戏的时候,让Agent分析学生的错误原因,并且给出合适的提示。形成一个学生在环中的agent循环,这是其他agent应用所不具备的。
在之后的开发中,我们希望能够进一步去引入多模态语言模型的能力,一方面是形成开发过程的闭环,让语言模型进一步去优化自己的开发结果。另一方面更有趣的是,我们希望在学习者没有顺利进行游戏的时候,让Agent分析学生的错误原因,并且给出合适的提示。形成一个学生在环中的agent循环,这是其他agent应用所不具备的。
总结: 本项目旨在通过设计一个任意卡牌模拟器,将人工智能与早教游戏结合,提供一个可供家长与老师参与个性化教学的创新平台。项目的背景来源于实际教学场景中,教师和家长由于缺乏开发能力,难以对早教内容进行个性化调整。通过利用先进的语言模型和多模态技术,项目团队构建了一个游戏创作原型,使教育者可以通过自然语言生成或修改早教游戏,满足个性化需求。
项目的核心在于设计一套灵活的卡牌交互机制,所有教学内容都以“卡牌”形式呈现,涵盖数学、古诗文等多个学科。教育者可以使用自然语言描述教学目标,系统根据描述生成相应的教学游戏。此外,教育者还可以通过平台保存和分享自制的教学内容,推动UGC(用户生成内容)早教游戏平台的发展。
在技术架构上,系统以低代码实现,通过调用预设的生成函数(如卡牌生成、目标区域设定等)来构建互动游戏。同时,利用多模态模型,系统能够动态调整教学内容,根据学生反馈给予提示,实现“闭环”教学。
商业模式方面,团队计划通过构建图像和音频素材库,保护内容版权,并采用多种硬件适配方案,灵活调整收费策略。在未来,项目希望能够进一步完善创作工具和分享平台,让家长和老师能够更加轻松地参与早教游戏的开发与传播。
你好,我是AI助理
可以解答问题、推荐解决方案等