阿里云弹性计算技术公开课——大模型时代如何应对大算力挑战

阿里云> 创新中心> 直播> 阿里云弹性计算技术公开课——大模型时代如何应对大算力挑战

阿里云弹性计算技术公开课——大模型时代如何应对大算力挑战

发布者:阿里云创新中心 2023-06-26 17:00:00
相关内容

ChatGPT 一经发布,5 天达成百万用户,2 个月月活用户达 1 亿,成为历史上用户增长最快的应用。 ChatGPT 的爆火,使得大模型受到了空前的关注。各大厂争相发布自己的大模型,比如阿里云的通义千问;国内外科技大佬和技术大牛也纷纷下场创业。

不过,大模型动辄千亿规模的参数量,极大的算力需求以及强大的算法能力要求,使得训练大模型往往成本高昂且对技术要求极高。 以 1750 亿参数的 GPT-3 为例,训练一天需要的算力是 3640PFlops,使用 1024 块 NVIDIA A100 GPU,不间断的计算也要一个月的时间才能完成训练。同时还要根据模型特点,对训练平台的动态内存分配、通信效率和计算利用率等进行针对性的优化,使训练平台的计算性能达到最优,从而提升大模型的训练速度。

那么,在大模型时代,企业如何应对大算力挑战?如何高效搭建大模型开发环境?如何训练自己的专属大模型呢?

为此,智东西公开课联合阿里云弹性计算团队共同出品「阿里云弹性计算技术公开课」,阿里云弹性计算产品线异构计算产品专家张新涛、阿里云高级开发工程师吕倪祺、阿里云高级开发工程师于子淇三位技术专家将先后进行直播讲解。

张新涛:现负责阿里云异构计算软件及解决方案、产品管理与上市以及产品经营工作,曾主导设计异构 GPU 产品、弹性加速实例产品、弹性云桌面产品等重要产品。

热门推荐
2023宁波市海曙区青年大学生创业大赛决赛
阿里云创新中心 时长:01:47:32
“创客北京2023”创新创业大赛总结会
阿里云创新中心 时长:01:51:31
历尽千帆 厚积薄发 2023江苏CIO大会
阿里云创新中心 时长:02:49:59
大道至简——提升企业上云的网络体验
阿里云创新中心 时长:00:22:21
SAE2.0,让容器化应用开发更简单
阿里云创新中心 时长:00:28:51
SaaS 出海:云端征途,赋能全球企业
阿里云创新中心 时长:00:39:02
云·速成美站:如何零门槛玩转建站
阿里云创新中心 时长:00:20:41