大模型新动向:多模态、自主智能、边缘智能,引领未来趋势。

2024-06-12

(文/李弯弯)近一年多以来,大模型技术和应用都在快速发展。无论是OpenAI、谷歌,还是百度、腾讯、字节等,大模型产品都已经经过了多次迭代,应用也在不断拓展。而接下来,大模型将呈现怎样的发展趋势,仍然是业界关注的重点。日前,在“太湖对话·人工智能+”论坛上,诸多学术界和产业界人士就相关话题进行了深刻探讨。

AI大模型的五个发展方向

在会上,中国工程院院士,清华大学讲席教授、智能产业研究院(AIR)院长张亚勤谈到了AI大模型发展的五个方向。首先是多模态智能,即结合语言、文字、视频、激光雷达点云、3D结构信息、4D时空信息乃至生物信息,实现多尺度、跨模态的智能感知、决策和生成。

其次是自主智能,即将大模型作为一种工具,开发能够自主规划任务、编写代码、调动工具、优化路径的智能体,实现高度的自我迭代、升级和优化,实现自主智能。这里需要考虑模型间如何互相调用、模型如何使用工具、基础模型间如何进行联邦学习等。

如医疗智能体自主进化的模拟医院,他们首次搭建了基于LLM Agent的模拟医院,包含医患两类角色和诊疗八项关键流程。提出不依赖人工标注数据的”MedAgent-Zero”医疗智能自主进化策略。有两种方式自我进化:从正确回答积累样例,从错误回答总结经验。诊断上万模拟病人后,医疗智能体诊断两天相当于医生两年,医学只能体在MedQA子集上达到最优。

第三是边缘智能,将大模型部署到边缘设备端,如AI PC, AI手机,AI电视等,实现高效率、低功耗、低成本、低时延的处理和响应,从而实现边缘智能。

AIR和亚信在这方面已经有都个合作落地案例,如边缘一体机视频分析优化,利用运动向量,增量移动识别框,显著提升目标跟踪性能;大模型推理性能优化,基于运行时参数缓存机制,智能高效地管理MOE模型experts的换入换出,降低显存需求>50%;5G专网算力内生技术,利用基站BBU空闲算力提供服务,基于进程抢占的方法,有效提升BBU算力资源回收效率。

第四是物理(具身)智能:大模型正在被用到无人车、机器人、无人机、工厂、交通、 通讯、电网、电站和其他物理基础设施,提升其自动化和智能化水平,从而实现具身智能。张亚勤认为,谈到物理智能,机器人将会是大模型关键的落地方向,无人驾驶其实也是机器人的另一种形式,如支持全地形移动的自稳定送货平台,具有自主学习能力的低速自动驾驶等。

第五便是生物智能,将大模型应用到人脑、生命体、生物体里,实现大模型与生物体连结的生物智能,并最终实现信息智能、物理智能和生物智能的融合。

如AI+生命健康的典型案例,BrainCo脑机接口技术,该项目孵化于哈佛大学创新实验室,由华人团队主创,包括生物医学工程、材料学、脑科学、脑疾病、AI跨学科团队,这种非侵入式脑机接口量产产品登上Time周刊NASA官网。可穿戴脑机接口产品可应用于自闭症,睡眠障碍,闭环正念冥想、抑郁症,阿尔兹海默等。

自主学习、演进的大模型还在研究中

除此之外,在圆桌论坛环节,多位行业人士也就大模型的发展趋势做了详细探讨。阿里云智能首席技术官周靖人谈到,大模型非常明显的一个趋势就是多模态,现在知识体越来越多,不只是只有书本的知识,还有语言,还有视觉看到的物理界的东西,怎么更好地把各种知识体融合在一起是关键。

在他看来,重点需要考虑的是如何让大模型更趋向人类智能,还需要包括记忆体,如何把长期的记忆、短期的记忆都结合在一起。如此,今后就能够让大模型发展成更有个性、更有特点的产品,在不同领域都能够有不同的思考。同时大模型与真实世界有更多互动,相关的信息又会反馈给模型,这让的大模型就能够发展具有自我更新优化的能力。

不过就大模型目前的成熟度而言,还有待研究。周靖人谈到,在IT时代,让信息的获取触手可及,大模型过后,让知识的获取触手可及。现在,一个非常明确的点就是,大模型作为一个助手,它能够提供各种辅导的意见,但最后的决策还是在人,现在这种作为助手的大模型已经做得非常好,这是大模型发展的第一步。

而第二步要实现的是让大模型更为精准,现在大模型的回答还存在很多问题,如何让它十次回答十次都是精准的,周靖人认为这个还有优化空间。更进一步则是,让模型能够自我学习、自我演进,当然这一步目前来说也还在研究中。

澳门产业技术研究院院长、境成资本管理合伙人向江旭谈到,多模态大模型是通向AGI可行的道路。他认为,如何把大模型做到去影响、改变物理世界是一个趋势,如让具身智能(机器人等)成为可能,这也会让日后的养老更加便利。

清华大学惠妍讲席教授、AIR首席科学家马维英谈到了一个很新的角度。他认为,现在大家专注的焦点还是,大模型能看、能听、能写等,而这些方向的机会,主要还是在互联网大厂,如谷歌、微软等。

那么,是否有新的机会呢,不只是生成文章、图片这些。马维英考虑的是,希望不只是把人类只能作为模仿的关键,他认为生物、自然领域也有很多机会值得探索,如生物、化学、材料等,很多新的能源是否能够用AI去合成,在他看来,这些领域在未来十年会有巨大的机会。

写在最后

如今,大模型作为一个工具助手,已经具备非常强大功能,并且已经有了相当成熟的应用。如今大模型具备更多的智能,如GPT-4o,已经能够在于人类的互动中表达感情。而更进一步,大模型要实现自主学习、自主演进,也就是实现自主智能,仍然还需要持续研究。大模型带来的机会方面,除了互联网大厂掌握的文字、图片、视频生成等方面之外,对于新的企业来说,从自然领域,如生物、化学、材料等领域去探索,或许会看到新的机会。

文章推荐

相关推荐