混合AI:边云协同在AI大模型时代的新篇章

2024-02-26

作者:邵文简 博士
英特尔网络与边缘事业部首席工程师
 
今天,AI已成为最为热门的技术话题。AI处理的数据来自于我们生活的城市中的方方面面,例如:居住的社区,工作的园区,购物的商场,出行的车站,机场,港口等。
通过无所不在的网络接入,在On-prem Edge,Network Edge到Cloud的端,边,云架构中无缝地流动。同时,云化的计算架构使得计算可以自由地在端,边缘和云端部署和调度,并且对客户提供了一致的使用体验。
混合AI:边云协同在AI大模型时代的新篇章 (https://ic.work/) AI 人工智能 第1张
正是基于先进的网络架构和计算架构,AI在每一个数据节点都发挥着越来越重要的作用。并根据行业客户对业务时延、成本、隐私及安全等方面的要求,在边缘和云端进行优化部署。
AI作为边缘端最广泛的工作负载,目前的一个发展趋势是Hybrid AI(混合AI)。也就是云和边缘高效协同实现AI,云端完成模型训练及延时要求较低的推理,在前端边缘设备上实现客户推理。
混合AI:边云协同在AI大模型时代的新篇章 (https://ic.work/) AI 人工智能 第2张
在边缘人工智能领域,英特尔提供全系的硬件方案:在芯片上有凌动,酷睿 到至强 的CPU,集成显卡和ARC 独立显卡;在方案上有边缘人工智能盒子Edge AI Box,边缘人工智能服务器Edge AI Server等。
混合AI:边云协同在AI大模型时代的新篇章 (https://ic.work/) AI 人工智能 第3张
在软件上有Hybrid AI运行时OpenVINO,同时英特尔还与OpenYurt、EdgeX Foundry等头部开源项目合作,构建云边协同基础方案。

文章推荐

相关推荐