来源| 中国信通院华东分院、数据观
近日，中国信通院联合上海人工智能实验室成立的大模型测试验证与协同创新中心牵头，首次面向全国范围征集全行业优秀应用实践，并形成《2023大模型落地应用案例集》。
作为首部聚焦落地应用的权威研究成果，《案例集》全面展示了大模型前沿技术和发展成果，推动了大模型为代表的人工智能技术赋能社会经济高质量发展。经专家组的多轮评审，共52个各自领域的典型大模型技术落地应用成功入选。
2022年底ChatGPT的横空出世，引爆了国内外大模型的热情，各行各业的创业者已经集结在十字路口蓄势待发。
从国内市场来看，目前人工智能大模型已经在各行各业“落子不断”。据公开资料不完全统计显示，国内大模型的发展路径是“通用+垂直”两条腿走路，其中垂类大模型落地速度最快。《案例集》显示，有近65%+的AI大模型是垂直大模型。趋势已然，大模型技术突破代表了AI发展的一个重要里程碑，下面笔者将梳理中国从业者构建的“底层原创技术-中层基础模型-上层行业应用”的大模型图鉴。 
图注：ResNet的四位作者分别是：何恺明、张祥雨、任少卿、孙剑
2016年，来自微软亚洲研究院的四位学者提出深度残差学习，解决了深度网络的梯度传递问题。要知道，2015年之前深度学习最多只能训练20层，ResNet之后，就可以有效地训练超过百层的深度神经网络。 
2017年Google发布Transformer，它的出现打稳了AI大模型的“地基”，不仅“颠覆”了自然语言处理中的机器翻译任务，而且还提供了一种新的思路来处理图像数据。
中国学者也围绕Transformer做了许多改进和完善，例如微软亚洲研究院联合西安交通大学推出LONGNET，将Transformer的序列长度扩展10亿+；京东探索研究院联合武汉大学提出全球首个面向遥感任务设计的亿级视觉Transformer大模型；阿里达摩院提出新的Transformer结构FMViT，大幅度提升AI模型精度与速度……,在大模型领域细数中国学者贡献，许多原创性贡献来自本土。已故的商汤科技创始人汤晓鸥在2023世界人工智能大会上，发表演讲时表示：在深度学习的大门上，我们按了18次门铃，取得了许多跨时代的突破。其中汤晓鸥提到了上海人工智能实验室领军科学家林达华，他当时设计的计算机视觉开源算法体系OpenMMLab，目前已经成为国际上最具影响力的视觉算法开源体系。值得一提的是，林达华也是书生大模型体系的重要贡献者。
京东探索研究院早在2021年年初就展开了大模型体系的建设和基础研究，领导京东建设了中国第一个NVIDIA DGX Superpod天琴alpah-α超算集群。在此基础上，京东探索研究院的织女模型vega v2 在2022年登顶SuperGLUE榜首，一举超越同场竞技的谷歌、微软、Meta等业界顶尖企业；2021年研究院开发的大规模视觉模型ViTAE，在ImageNet Real的目标识别和MS COCO的人体姿态估计等权威榜单上均获得世界第一。 
图注：2022年京东探索研究院发表论文《Self-Evolution Learning for Discriminative Language Model Pretraining》，提出自我进化学习方法，为vega v2大模型的设计提供核心思想；
2021年京东探索研究院发表论文《ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias》，尝试将 CNN和transformer相结合。
因此，国内公司的 AI 大模型研发虽然比国外公司晚，但是发展却异常地迅速，其内在逻辑便是：本土企业和学者对深度学习技术的深入理解与创新。在大模型的底层技术已经固定的时代，他们靠着持续的探索和努力才能构建出秀丽的“上层建筑”。
在OpenAI发布ChatGPT之前，国内的一些企业就已经押注AI大模型技术：例如2021 年 4 月，华为云联合循环智能发布盘古超大规模预训练语言模型，参数规模达 1 000 亿；2021 年 6 月，北京智源人工智能研究院发布了超大规模智能模型“悟道 2.0”，参数规模达到 1.75 万亿；2021 年 12 月，百度推出 ERNIE 3.0 Titan 模型，参数规模达 2 600 亿，同期，阿里巴巴达摩院的 M6 模型参数达到 10 万亿，将大模型参数直接提升了一个量级。
到2023年，大模型继续火热，国内的AI大模型团队已逐渐拓展到视觉、决策领域，甚至用于解决蛋白质预测、航天等领域的重大科学问题，阿里、京东、oppo等大厂都有相应的成果。
图灵奖获得者Yann LeCun说过：AI大模型的技术都是公开的，算不上底层技术上的创新，如果你愿意一探究竟的话，可以发现它背后没有任何秘密可言。但借着这些“过时”的技术，在中国拥有庞大的人才基数和数据集的情况下，可以发展出更适合本土环境和语境的大模型。那么如何形象理解大模型?前科技部长王志刚从高维度表示,大模型,就是大数据、大算力、强算法。形象一些：大模型事实上就是算法、数据、算力上的有效结合。传统巨头在大模型领域的技术投入普遍都是在积极防御，而中国企业在非常积极地推动向应用中的落地。目前，业界除了把AI大模型商业落地模式统分为 toB 和 toC之外，在市场划分上则遵循通用与垂直两大路径，两者在参数级别、应用场景等方面差异正在显性化。通用大模型往往是指具备处理多种不同类型任务的AI模型，这些模型通常是通过大规模的数据训练而成，能够在多个领域和应用中表现出良好的效能。大家耳熟能详的几个通用大模型均来财力雄厚的企业>
1. 书生浦语开源大模型：由上海人工智能实验室研发，涵盖 70 亿参数的轻量级版本 InternLM-7B，以及 200 亿参数的中量级版本和 InternLM-20B，以及完整的开源工具链体系。InternLM-7B 在包含 40 个评测集的全维度评测中展现出卓越且平衡的性能，它在两个被广泛采用的基准 MMLU 和 CEval 上分别取得了 50.8 和 52.8 的高分，开源一度刷新了 7B 量级模型的纪录。
2. 昆仑万维天工大模型：“天工”是一个 AI 搜索引擎，一个对话式 AI 助手。“天工”拥有强大的自然语言处理和智能交互能力，能够实现个性化 AI 搜索、智能问答、聊天互动、文本生成、编写代码、语言翻译等多种应用场景并且具有丰富的知识储备，涵盖科学、技术、文化、艺术、历史等领域。
3. 通义千问 2.0：由阿里云研发的超大规模的语言模型，具备多轮对话、文案创作、逻辑推理、多模态理解、多语言支持等功能。通义千问 2.0 在复杂指令理解、文学创作、通用数学、知识记忆、幻觉抵御等能力上均比上代有显著提升。
4. MiniMax-abab：由科技创业公司MiniMax研发。据悉，“Max-abab”是文本、语音、视觉三模态的千亿参数大语言模型，在中、英文服务领域均已超过GPT-3.5 的水平。今年8月份，“MiniMax-abab”大模型通过了国家首批大模型服务备案，面向社会公众提供服务。
5. 言犀基础大模型：由京东科技研发，该模型融合了70%的通用数据和30%的数智供应链原生数据，具有更高的产业属性。
6. 百灵语言大模型：由蚂蚁集团基于Transfromer架构研发。该模型基于万亿级Token语料训练而成，支持窗口长度达32K，在主流推理类榜单中排名前列。据悉，蚂蚁百灵大模型已完成备案，基于百灵大模型的多款产品已陆续完成内测，正陆续向公众开放。
这些通用大模型包含千亿甚至万亿参数，覆盖自然语言处理、图像识别、语音识别等方面的任务，已在知识问答、医疗咨询、娱乐领域、视频生成等数十个行业场景领域，展现出广阔的落地应用潜力。与通用大模型相比，垂类大模型参数量相对较小。但是因为有一些行业的核心数据和业务系统的生产数据参与，所以在相应行业解决问题更为高效、直接。从《案例集》来看，在金融、教育、医疗等领域，已经有不少公司发布了相应产品。 
根据《案例集》入选案例的应用场景，垂类大模型更针对于企业级应用场景的垂直性和专业性要求，而在模型部署层面，更少的模型参数、训练数据意味着更少的成本，因此垂直应用领域有望实现“万模齐发”。《案例集》公布的名单，也恰恰验证了目前垂类大模型发展的一些趋势>
1. 加注端侧、边缘侧应用。轻量化参数能让手机助手接入AI大模型能力。目前已有案例包括OPPO的小布助手、华为的智能助手小艺等等。
2. 更倾向于“解决方案”式的交付方式。由于垂类大模型接受了大量特定领域的数据和知识，因此可以基于领域知识生成更具深度的解决方案。例如ChatDD 新一代对话式药物研发助手，面向游戏行业的图像内容生成式大模型等等。
3. 大模型开始向多模态领域发展。多模态意味着丰富的数据形式，包含视觉、听觉和时序信息。对于大模型模型来说，这意味着可以从多模态中提取和学习更多维度的信息。类似于《案例集》中的单晶炉自动化工艺识别多模态模型，相信未来将会出现更多。
4. “通用+垂直”模型互相融通的态势。随着AI技术的发展，不同类型的模型之间的界限变得越来越模糊。例如，一些通用模型开始整合垂直领域的知识，而一些垂直模型也开始利用通用模型的技术来增强其功能。例如百川大模型在娱乐领域的应用。
对于AI大模型这种划时代的超级机遇而言，胜负不在于做出一个爆款应用，赚到几亿盈利，而在于，是否抓到了大时代的方向。
换句话说，当下的大模型竞争早已超过了技术的范畴，更多是一种生态层面的比拼，具体表现在有多少应用、有多少插件、有多少开发者以及用户等。谁能够率先围绕大模型构建生态，或者说谁率先融入生态，谁就能成为领先者。
大模型要想像电力一样输送给千行百业和千家万户，必然需要一个体系化的产业生态，构建这个生态需要一系列相互关联的因素，包括技术发展、应用场景、数据管理、伦理与法律问题、以及社会影响等。
在生态建构的路径上，目前企业可分为两派。一派将大模型接入原有的产品线，做升级和优化；另一派试图以大模型产品为中心，建构新一代的“超级应用”。而有些企业试图跳过这两种路径，多方面融入AI大模型生态。从《案例集》公布的大模型服务类案例，我们可以看到有些中国企业做了以下尝试> 
例如蚂蚁集团实现了一个大模型数据高效高质量供给平台，不仅可降低数据获取和使用成本，且保证来源合规，并能够有效提升数据质量、过滤风险数据保障训练安全；优刻得开发的AGI云上模型服务平台，能提供数据标准化整合、安全合规、提供算力等服务；上海道客研发的云原生大模型知识库平台能够帮助解决信息孤岛，以及定制个性化的私人语料库；泡泡玛特的AI 整合平台集成多个知名AI大模型，为用户提供一站式 AI服务……这些大模型服务工具，在一定程度上能有效地解决“幻觉”、“道德”、“性能”、“数据合规”等当前AI大模型遇到的问题。更重要的是借助这些服务，可以建设规范可控的自主工具链，帮助AI企业探索“大而强”的通用模型，助力公司研发“小而美”的垂直行业模型，从而构建基础大模型和专业小模型交互共生、迭代进化的良好生态。
