技术变革的原生驱力大模型层

阿里云创新中心> 创业资讯> 技术变革的原生驱力大模型层

技术变革的原生驱力大模型层

报告说 2024-05-14 18:15:39 531
《2023年中国AIGC产业全景报告》由艾瑞咨询发布,本文讨论了2023年中国AIGC产业的全景和机会,特别是在MaaS模式、工具链完善度、企业服务市场、创作工具、内容消费、安全合规等方面的影响。文章指出,AIGC将引发深度变革,EPS-EPD评估体系可用于评估大模型产品的基模性能和商业能力。此外,文章还探讨了AIGC在不同行业中的应用前景和渗透速度,以及大模型能力评测的意义和关键要素。最后,文章提出了发展更贴近应用的行业数据集和选择大模型的应用方式的建议。今天是该报告系列文章的第3篇,主题为「技术变革的原生驱力大模型层」。

预训练大模型分类与介绍

基于两大类基础架构衍生出各类大模型;多模态已成趋势

预训练大模型按照模态可以分为文本、图像、视频、代码、音乐生成等多种,但从底层架构上都分属两类。Transformer是一种编 解码模型框架,适用于处理文本、代码这类强连续性生成任务;Diffusion、GAN、NeRF等框架善于处理图像生成类任务。叠加文- 图转换技术可以形成文生图模型。由单模态模型在实际训练时融合其他模态技术,可形成多模态、跨模态大模型,如GPT-4、文心 一言、 Mid journey等,由于多模态模型可接受文本、图像等不同输入输出形式,对应用场景能够更广泛适配,着力发展多模态模 型成为产研两界共同趋势。 

预训练大模型各模态技术分支与功能定向

image

预训练大模型的发展业态

中美引领大模型产业发展,NLP仍是大模型的重点活跃领域

从全球范围来看,中美两国在大模型领域都取得了令人瞩目的成果。2019年,美国率先在大模型领域取得突破性进展,推出了BERT、 GPT等具有里程碑意义的预训练模型。2020年,ERNIE系列模型和TinyBERT等轻量化模型的推出拉开了中国大模型产业快速发展的 序幕。2021年以来,中美在大模型领域逐渐呈现出分庭抗礼的趋势,共同引领全球大模型产业的发展;聚焦国内,从技术领域来看, 国产大模型广泛的覆盖了自然语言处理、多模态、机器视觉等多个技术分支,形成了紧跟世界前沿的大模型技术群。其中,自然语 言处理是目前国内大模型最为活跃的技术领域,超六成的国产大模型主要基于自然语言处理技术进行预训练和微调;多模态领域活 跃度仅次于自然语言处理技术,超两成的国产大模型可处理图像、视频、音频等多模态数据;而聚焦在计算机视觉和智能语音等领 域的国产大模型数量相对较少。从研发主体来看,国内企业、高校、科研机构等不同创新主体均积极参与大模型研发。其中,企业 仍是国内大模型研发的主力军,约46%的大模型由企业独立研发;高校及科研机构也对大模型的研发做出较大贡献,约37%的大模 型由高校/科研机构独立研发。同时,我们也观察到目前由企业与高校/科研机构联合研发的大模型尚不足20%,展现出大模型开发 在产学研合作方面仍有较大潜力。

image

预训练大模型的路径探讨

了解人工智能时代的“ios”与“安卓”,闭源与开源市场将并存互补

在以OpenAI为代表的闭源模型厂商开放对外技术服务后,开源模型厂商也在加紧发力,以Meta的Llama模型为代表陆续开源迭代, 意图进一步实现生态层面的跑马圈地,2023年上半年LLM与数据集迎来开源季。大模型的开源可根据开源程度分为“可研究”与 “可商用”级别。2023年2月,Meta发布了开源大模型LLM的第一个版本Llama,授予“可研究”用途。2023年7月进一步发布 “可商用”的Llama2版本,虽然有日活超过7亿产品需额外申请、不能服务于其他模型调优等的商用限制,但海外很多中小企业已 可用Llama2的模型来做私有化部署,基于Llama2开源模型训练出定制化的可控模型。由于Llama2基本不支持中文,对中国的大模 型商用生态暂时不会产生实质性变化,中国仍需开发培育适配于中文数据土壤的开源生态。闭源LLM可为B端用户和C端消费者持续 提供优质的模型开发及应用服务;开源LLM可从研究角度促进广大开发者和研究者的探索创新,从商用角度加速大模型的商业化进 程与落地效果。未来,开源和闭源的LLM会并存和互补,为大模型发展共同创造出多元协作的繁荣生态。

image

着力打造中国AIGC开源社区生态

轻量级模型陆续开源,助力开源生态建设,千亿级模型暂以闭源路径开展

2023中关村论坛上,科技部副部长吴朝晖表示,中国将坚持开源协作,加强大模型技术持续创新,协同解决透明性、稳定性等共性 问题,进一步推动算力资源和数字资源开放共享,加快形成大模型的产业生态。而AIGC开源社区的建设可以吸纳更多的开发者及拥 有定义用户的主导权,以AI开源创新平台为杠杆,带动支撑底层AI芯片、智算中心及云服务等基础设施发展。从供给侧逻辑来看, 大模型开源早期由高校和机构推动,如清华大学的ChatGLM-6B、复旦大学的MOSS,陆续有头部云厂商加入,如百度的文心系列 与阿里的通义系列,共同为中国AIGC开源社区的建设“增砖添瓦”,以阿里云魔塔社区、百度云飞桨社区为代表的开源社区建设成 果初现,而千亿级模型暂以闭源路径开展,凭借稳定、优质效、完整工具链等产品特点定位应用市场;从商业化路径来看,参考海 外明星开源社区Hugging Face的商业模式,中国AI开源社区同样会先免费提供基础算力,为客户提供免费的社区体验、demo部署 及测试,并进一步通过付费服务推送轻量级迁移的微调推理服务或深度开发的训练调优平台,提升模型产品性能,通过开源社区吸 引开发者、企业客户完成更多部署应用资源的引流变现。

image

大模型落地将带来新一轮AI产业化扩散

大模型的落地将提速AI工业化生产,并充分释放AI产业潜在市场空间

大模型类似于一个能力全面且突出的“完全体”,不仅通用性强,且能力相比小模型有较大提升。因此,用大模型做应用开发,可 以采用“预训练+微调”开发范式,只需要针对具体任务,对大模型进行二次开发、微调甚至只是单纯以领域知识库做辅助,就可以 快速赋能应用。相比独立分散的小模型开发,标准化、流程化程度更高,在开发效率和运维成本上都有较大改善,有效促进了AI的 工业化生产。同时,模型能力的提升使得更多AI服务可以落地,有效扩展了AI的应用范围,这些共同促进AI供需两侧潜力释放。

image

MaaS是大模型能力落地输出的新业态

打造大模型商店,为下游提供低门槛、低成本的模型使用与开发支持

MaaS(Model-as-a-Service),模型即服务,是指以云计算为基础,将大模型作为一项服务提供给用户使用的新业态。如今, MaaS模式已成为各家云巨头厂商发展第一战略优先级,把模型作为重要的生产元素,依托于既有IaaS设施与PaaS平台架构,为下 游客户提供以大模型为核心的数据处理、特征工程、模型训练、模型调优、推理部署等服务。未来,顺应大模型开源趋势,MaaS服 务商将着力打造大模型商店平台,发力大模型生态建设,纳入更多允许商用的开源模型,提升平台的基模类型及能力,并丰富工具 链产品服务,通过业务积累、数据回流、模型迭代逐步形成壁垒,在拉高云服务营收天花板的同时进一步塑造厂商的核心竞争力。

image

市场需评估基础通用大模型产品服务能力

艾瑞提出EPS-EPD评估体系,定位大模型产品的基模性能与商业能力

大模型能力评测意义重大,评测结果可让供需两侧了解各家大模型能力的优势与不足,做出更好的产品调优与应用选择。随着大模 型产业的发展迭代,评测基准体系也在不断完善。艾瑞判断,未来大模型的产品服务能力评测将作为一项工具包,打包在大模型平 台中为客户提供产品服务。对此,艾瑞提出EPS-EPD评估体系,以其为核心构建一系列评测集,对市面公开大模型能力展开测评, 全维度定位大模型产品的基模性能与商业能力,为业内各界对模型评估有结果需求的客户提供信息参考。

image

基模落地因需求差异展开产业路径分化

大模型需以行业级、企业级大模型方式支撑上层应用

基础大模型落地面临两大难题,一是终端客户对算力成本的接受能力,二是大模型虽擅长通用领域问题,但往往在垂直行业任务中 表现欠佳。因此,基础大模型会通过领域数据或专属知识库进行训练和调优,形成垂直领域的行业大模型或业务大模型;此外,部 分企业还具有深度定制、私有化部署的需求,需要在行业大模型基础上,进一步加入企业专有数据进行训练或微调,形成企业级大 模型。从商业化布局角度来看,如今基础大模型厂商可分为三类参与者,分别为云巨头厂商、人工智能公司、学术研究机构及创业 公司,在定位有通用能力基座的同时打通向上商业化路径。其中,云巨头厂商将借助云服务及数据库资源,更强调MaaS能力输出。 AI公司或创业公司将借助业务积累或生态资源锚定几个典型行业或业务场景展开商业占领。从开闭源角度来看,基模厂商普遍采用 前文所述的“轻量级开源、千亿级闭源”的发展路径,而向上分化的垂直领域厂商将基于开源模型或基模平台开发部署细分领域模 型产品,厂商优势在垂类数据与业务理解。若客户,如金融行业,对模型的开源性及私有化部署有明确要求,则开源路径会是该类 需求的典型落地形态。

大模型产业落地形态及分化路径

image

如何连接模型能力与应用需求是落地关键

数据准备、ROI衡量、 Prompt工程是连接模型层与应用层的落地三要素

在本轮大模型推动的技术浪潮下,如何连接模型能力与上层应用,完成商业化变现,构建人工智能应用主导的生态系统是AIGC各层 厂商重点关注的课题。艾瑞认为,数据准备,ROI衡量与Prompt工程能力是连接模型层与应用层落地的核心三要素。由于AI研究进 展缓于国外、中文数据集论文发表难度高、 NLP算法改进验证与数据集语言类型关联度低等历史性原因,目前中文NLP数据集语料 库在数量与质量方面仍有较大差距。从可行性、性价比与时间角度出发,追赶期间同步发展典型行业应用数据集是弥补中文NLP数 据集短板的有效策略;从需求侧角度出发,大模型能力应用化需结合业务场景与成本效益选择大模型的应用方式及调用形式,若基 于安全隐私性需求要求私有化部署则投入成本更高,客户端的ROI衡量是决定其能力商业化进程的关键;提示(prompt)是触发AI 模型生成内容的宽泛指令,提示工程则可进一步开发和优化提示,从指令拆解到调用能力多维度融合大模型LLM来处理各类需求, 是未来影响影响交互效果与应用体验的关键。

image

工具层成为AIGC产业新热点

工具层的AI Agent与模型服务平台可以更好匹配应用需求与模型能力

艾瑞认为,大模型的中间层-工具层构成可分为AI代理-Agent角色与AI微调-大模型服务两类。AI Agent是继大模型、AIGC后进一步 火爆的中间层产品,可看作能感知环境及需求、进行决策和执行动作的智能体。如代表性产品,AutoGPT即是利用GPT-4编写自身 代码并执行Python自动化脚本,持续完成GPT对问题的自我迭代与完善。目前代理角色产品仍处于初代阶段,未来将与实际场景、 垂类数据结合,更加作为调度中心完成对应用层需求指令的规划、记忆及工具调用(引用自OpenAI的Lilian Weng论文观点)。大 模型服务平台则是为企业提供模型训练、推理、评测、精调等全方位平台服务,并基于供给侧能力与需求侧要求进行B端私有化部署 (创业公司切入点)或平台资源调用(云厂商切入点),模型与用户将呈现明显双边效应。总体来看,作为模型能力与应用需求的 链接,中间层价值前景广袤,或作为另一核心入口建设起工具生态,但从另一角度出发,中间层仍嫁接于模型层之上,受限于模型 层能力,“合格”的大模型能力底座将为中间层发展开拓提供更优渥土壤。

image

AI Agent更广阔的角色价值与发展空间

进入AI智能体文明,让生产力大幅提升,沉淀垂类数据与业务理解是关键

早在20世纪80年代,计算机科学家已着手探索开发一个能与人类交互的智能软件,类似于AI Agent的雏形应用一直在被构思讨论。 当下大模型的涌现能力成功赋予AI Agent更多想象与落地空间。一方面,大模型的语料资源包含了大量的人类行为数据,填补了AI Agent可行性与合理性的关键要素。另一方面,大模型涌现出优秀的上下文学习能力、复杂推理能力,在接受目标及设定后,可自 发性将其拆解成简单细化的子任务,无需人类干预去完成剩下的全部工作,如Sweep完成全项目的自动“清扫”bug报告和功能请 求、Cheat Layer实现对全网页操作的自动化、GPT Researcher完成任意主题的综合研究呈现等,浅层代替传统的RPA及人类重复 性工作,深层化身为人类在各行各业的操作助手。目前AI Agent已成为继大模型之后,更有想象空间却也更贴近应用的下一爆点。 海外亚马逊、OpenAI及国内高校、云巨头厂商都热情满满,陆续发布AI Agent的学术研究成果及产品应用。未来,人与AI的协作交 流或进一步由Agents作为智能媒介实现,每个人都可以使用各类AI-Agent完成现实任务的处理执行,人类由此进入庞大复杂的AI智 能体文明。而要想实现这些,将宝贵的垂类数据与业务理解集成到Agent框架之中,保证大模型应用在执行任务时可以访问到正确 的信息并高效执行产出,是未来AI Agents能发挥出实际效用的关键。相较于模型层,AI Agents将留给创业者更多机会。

image

文章标签: 原创 报告拆解

image

#阿里云 #创业者计划 #中小企业服务 #创新创业

2023年9月21日,阿里云正式推出阿里云创业者计划,联合知名投资机构、加速器、创服机构以及大企业创新力量,旨在为初创企业提供全方位的赋能与服务,助力创业公司在阿里云上快速构建自己的业务,开启智能时代创业新范式。

>>>点击申请加入 阿里云创业者计划

版权声明: 创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余文章均来自所标注的来源,版权归原作者或来源方所有,且已获得相关授权,创新中心「创业资讯」平台不拥有其著作权,亦不承担相应法律责任。如果您发现本平台中有涉嫌侵权的内容,可填写「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。