从PC到手机到下一代硬件,我们认为每一代,操作系统+计算架构+交互方式+信息输入+应用生态的每一层均有革命性变化。我们相信多模态大模型为新一代操作系统变革的强音。
为了支持新一代计算架构,海外大厂在芯片端持续变革。高通混合AI,Intel NPU架构,英伟达显卡中Tensor Core更好应用,AMD GPU变革等等变化的发生均可管中窥豹,Intel NPU基于其内核有望更多分担低延迟低耗能要求的诸多AI应用计算负载,如视频会议,语音降噪。
1、英特尔:新一代计算架构,Meteor Lake首次内置NPU用于AI,2023 Intel Innovation上,Intel发布用于AIPC的新一代Meteor Lake处理器,并首次内置NPU用于AI本地推理加速。
Meteor Lake首次集成了NPU(神经处理单元),用于AI本地推理加速,从而使其具备更强大的AI负载处理能力;采用了Intel 4制程节点、最新一代的能效核(Crestmont)和性能核(Redwood Cove)以及低功耗能效核构成的3D高性能混合架构,在能耗比方面实现显著进步。英特尔测试证明采用NPU跑SD的能效将高于只采用GPU。封装技术上,Meteor Lake首次采用基于Foveros封装技术的芯粒技术。
相较于GPU适合高并发、高吞吐需求的AI工作,NPU是低功耗的AI引擎,用于持续性的AI负载(视频会议,需求AI实现眼神矫正、画面超分或语音降噪等工作)。
2、高通:混合AI或成为趋势,抢先进行终端侧AI部署,生成式 AI 模型对计算基础设施需求极高,模型的推理随着用户数量和使用频率的增加而不断上升,云端推理成本剧增,这导致规模化扩展难以持续。混合AI为此提供了解决方案,不仅结合了云端与边缘终端协同处理AI计算负载,还根据场景和需求灵活分配工作,从而优化了用户体验和资源利用。
什么是混合AI?混合AI指终端和云端协同工作,在适当的场景和时间下分配AI计算的工作负载,以提供更好的体验,并高效利用资源。
在一些场景下计算将主要以终端为中心,在必要时向云端分流任务。而在以云为中心的场景下,终端将根据自身能力,在可能的情况下从云端分担一些AI工作负载。
混合AI优势在哪?混合AI架构拥有成本、能耗、性能、隐私、安全和个性化优势。以成本为例,生成式AI的每次搜索查询成本是传统搜索方法的10倍,将一些处理从云端转移到边缘终端可以减轻云基础设施的压力并减少开支,从而助力生成式AI的持续规模化扩展。
节省成本也能促进生成式AI生态系统发展,支持OEM厂商、ISV和应用开发者更经济实惠地打造应用。比如开发者可以基于完全在终端上运行的Stable Diffusion创建应用程序,对于生成的每个图像承担更低的查询成本,或完全没有成本。
凭借赋能数十亿边缘终端的终端侧 AI 领导力,高通助力打造混合 AI 新时代。高通采用可扩展的技术架构以及高度优化的 AI 软件栈,可在不同终端和模型上进行工作。此外,高通AI引擎已赋能广泛的终端品类,包括智能手机、XR、平板电脑、PC、安防摄像头、机器人和汽车等。
3、Meta:发布新一代Quest 3和Ray-Ben Meta,或与AI能力结合,2023 Meta Connect开发者大会上,Meta推出了新一代的Quest 3和智能眼镜,提出MR+AI+智能眼镜的组合或是未来趋势。Quest3和Ray-Ben Meta在配置和性能上相比上一代有了进一步提升,两款产品内都将加入Meta的AI聊天机器人Meta AI。
Quest 3性能全面提升:性能,采用 Snapdragon XR2 Gen 2 ,与Quest相比提供两倍的 GPU 处理能力,实现更快的加载时间和更无缝的使用体验。混合现实能力,2 个 RGB 摄像头,角度像素密度(PPD)达到18,分辨率是 Quest 2 的 10 倍,透传分辨率是 Quest Pro 的 2 倍。提供全彩、高保真的周围环境视图,且能看到虚拟物体出现在物理空间中。音响,集成式立体声扬声器具有3D 空间音频功能,音量、低音范围和最佳 L/R 匹配能力提高了40%。DRAM,8GB,比Quest 2 内存容量增加 33%。
应用生态丰富:已有超过500款应用,提供沉浸式体验,涵盖游戏、健身、娱乐等领域。
4、Google:推出Pixel 8 系列手机,搭载生成式AI赋能新体验,Google 的 Pixel 8 系列手机在纽约「Made by Google」活动中发布,重点强调了在AI 功能的深度整合、最新Android 14 系统的应用以及摄像头技术的升级。
Google Pixel:性能,搭载 Android 14 和专为 Google AI 设计的 Tensor G3 芯片,其机器学习能力相比上一代Tensor增强了超过两倍,使得其 AI 处理性能大幅提升,支持更精确的 Live-HDR。硬件,5000 万像素后置主摄像头、增强的低光性能和前置自动对焦。AI功能,除了提供生成网页摘要、朗读和翻译网页的生成式 AI 功能,Pixel 还通过 Magic Editor 和 Audio Magic Eraser提供照片和音频的高级编辑体验。其他,Pixel 8 Pro 新增了背面温度传感器以测量物体温度。
谷歌发布新的AI助手 Assistant with Bard,它能帮助用户更高效地管理任务,如计划旅行或发送短信,并为 Android 提供更丰富的上下文交互体验,助手将在未来几个月内推出。
5、OpenAI:积极投资AI硬件领域,或合作研发深度布局AI硬件设备,Humane首款人机交互AI硬件将发布,公司曾获Sam Altman连续投资。Humane是一家创新计算公司,宣称将通过创新计算方式来探索更理想的人机交互体验。公司创始人为前苹果设计总监Imran Chaudhri和软件工程总监Bethany Bongiorno。OpenAI CEO SamAltman 在公司此前几轮融资中连续参与。
2023年6月30日,Humane 推出了首个无屏幕的独立AI硬件及其软件平台——Humane Ai Pin。它是一种基于服装的智能可穿戴产品,配备多种传感器,支持语音提示和手势控制。同时能直观地在物体表面投射信息,实现与上下文和环境的互动计算交互。此外,它还具备由高通的Snapdragon平台支持的AI驱动的光学识别和激光投影显示技术,完整功能将于11月9日发布。
Sam Altman与苹果前设计总监讨论AI硬件,OpenAI或将布局AI硬件领域。根据《The Information》报道,苹果公司前设计总监Jony Ive和OpenAI CEO Sam Altman正在讨论打造一款新的AI硬件设备。Ive 曾任苹果首席设计官,曾是iMac、iPhone、iPod等产品的硬件产品设计负责人。