注解：随着计算机图形学及仿真领域之进步，沉浸式技术已蔚然成风。虚拟现实、增强现实及混合现实等科技通过将数字资讯与物理环境交织融合，显著提升了用户体验。XR作为统括三者的概念，侧重于打造一个虚拟世界与真实世界相连接的境界，旨在打破人、信息和体验之间的隔阂。在即将到来的LiveVideoStackCon 2023上海站会议中，北京邮电大学的黄亚坤教授将对云化XR及沉浸式全息交互之学术研究进行深入探讨。
本次分享将围绕四个核心维度展开：首当其冲的是以沉浸式扩展现实技术为核心的主题演讲，深入探讨当前的沉浸式通信与交互领域的发展概况；其次，我们将追溯并介绍自2017年起，我们对轻量化跨平台WebXR技术的探索旅程和研究成果；接着，全息XR通信及实时互动服务将被详细阐述；最后部分，我们则会聚焦于云化XR技术所引发的新需求与面临的挑战。
XR技术集合了AR、VR与MR等沉浸式手段，致力于构建实虚交融的数字空间，以深化人机互动并提供更为身临其境的体验。
当前，虚拟现实技术因其在特定领域的广泛应用而为人所熟知，尤其是像热门的VR看房、VR看车等实例。当下的主流体验方式多依托于智能手机，借助其便捷性为用户带来初步的沉浸式感受。然而，专业级VR终端因高昂的成本障碍，在广大用户群体中的普及程度有限，这一领域仍有待进一步的发展与成本优化，以实现更广泛的市场覆盖和用户体验提升。
进言之，增强现实技术独具匠心地实现了与虚拟现实所构建的数码世界以及实体环境之间的流畅整合，这一创新模式在产业界的实践应用已崭露头角，并展现出较高的普及度和实用性。当前，AR的应用范围广泛且深入，在诸多工业领域中得到了广泛采纳和实施，充分彰显了其卓越的效能与价值。
MR, or Mixed Reality, represents a sophisticated amalgamation of AR and VR technologies, enabling profound interactions between users, the tangible world, and their virtual counterparts. This innovative fusion facilitates an immersive experience that transcends the boundaries of reality, offering a seamless integration where physical environments and digital enhancements coexist in harmony, providing users with direct feedback from both realms.
基于原有的XR框架之上，我们进一步地融合了HR，这一创新结合赋予我们前所未有的能力——通过精密的光干涉和衍射现象，精准复刻并重现真实世界的物体及场景，实现对三维空间中人物与环境的极致还原。
下述图表揭示了扩展现实技术体系结构、产业演进轨迹以及网络服务的迫切需求。目前，尽管XR体验已步入部分沉浸式范畴，但其正逐步迈向深度沉浸时代，这一转变的具体表征为单眼分辨率提升至2K级别，并且FOV值落在100到120度之间。
我们持续密切关注着即将推出的Apple Vision Pro所带来的深远行业影响力及其潜力的应用领域。
我们通过深度沉浸与详尽评估，识别出了当前市场上若干增强现实和虚拟现实设备所面临的一系列挑战及局限。
技术成熟度的局限性主要体现在以下几个方面：画面的真实感、视野范围、视觉不适与延迟响应等关键指标均需进一步优化。以工业领域的三维大型模型渲染为例，在终端设备上的体验会遭遇显著的卡顿现象，伴随强烈的眩晕感受和滞后问题，这无疑极大地限制了沉浸式应用的实际效能及用户体验。
其次，高端性与普及性的悖论使得主要的扩展现实头部设备对广大消费者而言显得过于昂贵。
第三点值得注意的是，现有的增强现实与虚拟现实终端设备在穿戴舒适度方面尚存不足，具体表现为重量偏重以及便携性较差的问题。这些问题对沉浸式体验造成了明显的影响，限制了其广泛的普及与应用潜力。
四是高质素材匮乏：顶级的扩展现实应用程序不足，这削弱了其对用户的吸引力。
其五，则是缺失集大成之平台：业界的主要参与者多聚焦于各自生态体系内的内容建设，这导致了无法构建一个既能实现资源共享又能确保迅捷传播体验的整体化平台。
伴随5G技术的广泛推广及商用落地，云端扩增实境的布署与实践已步入可行阶段，彰显出科技进步对沉浸式体验领域的深远影响。
第五代通信网络的网络切片功能确保了应用服务在资源分配上的专属性与效率，同时，移动边缘计算的引入显著优化了内容分发流程，既有效节约了数据传输通道的带宽负载，又大幅降低了响应延迟，这一切构成了支持沉浸式体验类应用云化部署的技术基石。
通过将沉浸式扩展现实应用中的高密度计算任务迁移到云端处理，可以有效减少终端设备的负担，进而显著提升整体佩戴的舒适度与电池寿命。这样做的优势在于，云端技术能够提供更为强大且灵活的计算资源，从而使得多用户共享体验更加流畅，同时降低任何单一用户的特定限制和体验瓶颈。这一变革将XR技术推向了一个全新的维度，在不牺牲质量的前提下，实现了更广泛的普及和应用潜力。
借助于与五代移动通信技术的紧密结合，智能移动设备将有望演变为承载云端扩展现实体验的核心平台，此举不仅能够极大地提升用户体验的沉浸感和交互性，同时也为吸引更多全新受众群体开辟了前所未有的机遇与途径。
XR云化的核心优势集中体现在对繁复三维环境处理能力的增强上。大量的视觉与空间计算以及密集的3D渲染活动，向资源有限型XR终端设备施加了显著的计算负担。通过将此类繁重任务转移至云端进行处理，实现了显著的终端计算成本削减，并由此推动了设备轻量化的发展趋势。
云端平台能够通过先进的网络技术如Wi-Fi及第五代移动通信系统，将多媒体内容以流畅的视频流直接推送到终端设备上，这一创新突破了以往依赖有线连接，尤其是HDMI线进行数据传输的传统模式。此举不仅使得用户在享受多媒体体验时摆脱了物理连线的束缚，实现了终端设备的高度便携性与移动化，还极大地提升了用户体验和内容分发效率，标志着技术领域的又一重大进步。
通过将内容迁移到云端，我们能够实现统一的分发与版权管控，从而提升整体管理和效率水平。
要使云扩展至行业领域并达到成熟的阶段，当前所面临的挑战包括但不限于：深化技术的研发和应用、网络基础设施的优化升级、构建健康共生的生态系统、确立行之有效的合作模式以及确保不同XR平台及系统的兼容性与互操作性，这些议题均需进一步深入探索与解决。
上幅图像描绘了扩展现实技术的进步轨迹。自1998年AR首次应用于电视转播以来，我们见证了从早期的专用头显和移动端设备的发展到基于应用软件的AR游戏兴起以及Web环境下的AR解决方案的涌现，直至OpenXR 1.0标准的发布。此过程中，中国本土企业纷纷加入OpenXR联盟，这一系列事件共同昭示了XR领域追求移动便捷、轻质化设计及跨平台统一标准化的不懈努力与进展。
网站天生具备跨平台的卓越特性，加之其高度的兼容性和广泛的普及率，这为以轻量化移动端为中心的扩展现实技术的发展奠定了坚实的基础。由此，基于这一优势的新型XR应用与服务正在逐渐崭露头角。
实施数字沉浸体验之路上，诸多挑战亟待我们攻克。首当其冲的是，网页浏览器在计算力层面相对有限的现状，使其难以应对增强现实所要求的密集位姿计算需求；这不仅导致了位姿估计与计算结果之间的时延问题，使得画面呈现存在显著延迟现象，无法满足AR领域对实时跟踪高频率的需求。与此同时，三维模型的构建和渲染对于现有网络架构的能力提出了严峻考验，尤其是在复杂度较高的情况下。
进一步地，国内各主流硬件设备制造商采用的不同浏览器内核及开放权限标准不一，这在很大程度上制约了基于传统技术方案实现跨平台兼容性的能力。简而言之，要将WebXR设想变为现实，我们需面对并解决上述挑战，在增强算力、优化渲染性能以及寻求适应多平台环境的技术解决方案方面下足功夫。
基于云端技术架构的WebXR方案已构想并提出。
以下是我将阐述的一些典型的云端XR应用场景：
1. 沉浸式Web AR导航：通过集成先进的云处理技术，用户可以在实际环境中无缝地接收和执行基于位置的AR指南，这一过程无需下载任何本地应用或插件。
2. 实时三维目标识别与跟踪：借助强大的云计算平台，系统能即时捕获并追踪真实世界中的对象，并以高度精确的方式进行三维重建和可视化展示。
3. 跨终端异构XR交互：利用云端资源协同工作的优势，不同设备之间的XR应用能够实现无缝的通信和协作，无论用户身处何处，都能享受一致、流畅的交互体验。
这些场景通过云端服务的支撑，不仅提升了用户体验的品质，同时也扩大了XR技术的应用范围，为更广泛的行业领域带来了创新解决方案。
基于全面考量设备与云端计算能力及响应时间的需求，在特定于增强现实室内导航服务的情境下，我们针对性地规划并提出了一套端到云协同处理策略。该策略的关键焦点在于如何实现精确、高频率的获取移动终端上实际6自由度相机位置姿态信息。
当前基于网络的应用主要局限于局部定位技术范畴，未能有效扩展至覆盖广袤地图的大规模定位系统，这在很大程度上限制了其在路径规划等导航场景中的应用效能。此外，终端设备侧采用的行人航位推算方法虽能提供短期高精度的位置信息，但在长时间运行过程中会因累积误差问题而降低定位准确性，仅适用于短距离内需求较高的应用场景。最后，将实时视频帧传输至云端以求解定位问题的方式，往往无法满足对定位频率有较高要求的应用场景，因而面临着实效性的挑战。
我们已成功实施了一种集成化策略，结合了终端边缘设备的即时定位能力与云端虚拟服务器的精确校正功能，由此构建起"轻量化本地导航+精准云辅助重构"的综合定位体系。该方法的具体实现路径如图所示：在终端端点采用云端提供的高精度定位信息作为基准，配合基于位置感知差分的技术策略进行实时自主定位；同时，在设备进行移动与导航时，定期参考并采纳云端的重定位数据来即时校准潜在误差，确保整个过程中的精准性和可靠性。
通过我们在精确度与消耗方面的综合测评，该解决方案的表现令人满意，其成果展现出较高的效能水平。
鉴于网络环境条件的限制与复杂性，传统端云协同方案可能效能受限。我们着眼于用户实际需求，洞察到在导航过程中，用户的焦点通常局限于地图的局部区域。因此，我们采取了一种创新策略：将大范围的地图内容进行语义化处理，并以此为基础构建以具体物体为特征的点云地图。进一步地，我们将这份详尽的地图信息划分为若干块，并实现实时、按需的方式分发至终端设备上。此举不仅使得终端能够独立完成精确的位置计算任务，还有效克服了传统方案在面对网络条件差或环境复杂情况下的局限性，极大地提升了用户体验与系统效能。
经验证明，拥有1兆字节的三维点云信息足以描绘出约40至50平方米的空间区域，并且借助于预先加载技术的有效应用，用户的体验几乎不会受到地图数据下载过程中的任何滞后影响。
通过深化对局部语义地图技术框架的理解与实践，我们开辟了一系列创新的应用领域，其中特别值得提及的是，结合BIM技术打造的数字化沙盘解决方案。这一方案巧妙地将BIM模型及其视觉效果转化为逼真的实体体验，在实景沙盘上得以呈现，从而实现虚拟世界与现实空间的高度融合，为项目展示、规划决策和公众参与提供了前所未有的互动平台。
在协同共享环境中，采用基于云端的实时数据传输技术，构建动态生成的语义化点云地图。这一过程借助移动Web平台，实现实时、无缝地加载高分辨率点云数据，并利用局部定位算法，在三维空间坐标系中精确记录模型特征和位置信息。通过建立Peer-to-Peer通信网络，实现了跨设备、多用户间的增强现实交互体验，使得参与者的实时沟通与协作更为流畅自然，从而显著提升了团队合作效率与沉浸式应用的用户体验。
无论是借助云端与终端设备之间的协作能力，还是通过构建局部语义化地图的策略，均对预先建立的地图精确度有着高度的要求；然而，这一过程显著受限于其较高的时效性标准。为了有效地应对地图数据即时更新的需求挑战，我们采纳了一种众包方法来优化和提升地图信息的实时准确性与适应性。
于众包体系之中，移动端终端如用户之手携信息收集之力，摄取的影像与视角汇聚云端，以实现地图数据的即时更新与精炼。
为了优化定位性能，我们实施了两项策略。其一，常规的定位算法通常基于低阶几何特性构建视觉地图，但在光线昏暗或光照不足的情况下，可能会因为难以识别足够数量的有效特征点而受限。面对这类具有挑战性的环境场景时，我们引入了一种语义化特征的方法论，通过融入高阶语义信息来辅助形成点云映射，从而显著提升了定位的精确度与鲁棒性。
针对那些楼梯间这类关键特征相对稀疏的环境，在构建三维模型及进行位置追踪的过程中，我们转向采用基于线条特征的图象匹配策略。这一调整旨在强化重构过程与定位精度，使之更为稳健可靠。
我们已从交流维度出发，详述了关于采用MEC与D2D融合技术在多元参与者间互动型扩展现实协同结构的一系列考量要点。
上一幅图像呈现了我们所构想的Web端多参与者扩展现实协同工作框架，该框架着重于减少传播延迟与同步延迟的问题。
全息容积视频代表了一种先进的三维空间再现技术，其目标在于提供身临其境的体验。然而，在探索沉浸式扩展现实领域时，实现全息视频能够实时捕获、传输与互动，构成了一个核心的技术难题。通常，讨论集中在视频捕获阶段，但我们的焦点更应投向视频从生成到终端展现整个过程中的数据流管理、通信技术以及确保流畅体验的各个环节。
在这过程中，关键挑战不仅在于如何高效地采集3D空间的信息并转化为全息图像，还涉及在不牺牲质量的情况下，通过网络将这些大规模的数据实时传输至接收端。这一阶段要求采用高级编解码器和优化算法，以确保数据在压缩与传输过程中的保真度与速度。
至于终端呈现，则需要高度集成的硬件设备与软件解决方案，以实现全息视频内容的无缝显示。这通常包括高分辨率的全息显示屏、先进的光学系统以及可能的人工智能辅助技术，来优化视场、聚焦点和沉浸感。
综上所述，全息容积视频实时采集、传输与交互的实现，不仅考验着信息捕捉和处理的前沿科技，还要求深度整合通信基础设施、终端设备与用户体验设计。这一体系的成功构建，将极大推动XR技术的发展，为用户带来前所未有的互动体验。
在探讨全息视频实时采集与传输过程中的挑战时，我们不难发现其核心难点主要集中在以下几个方面：首先，从时间维度考量，全息视频的获取周期显著偏长，此阶段需通过多角度画面整合、编码、传输及解码等多个步骤，这一系列流程不仅延长了原始帧率，更在一定程度上弱化了视频实时性的特质。其次，在数据层面，全息视频承载的信息量庞大，导致其对网络带宽的需求异常高，现有技术架构往往难以有效支撑起这类应用的宽带需求。最后，在编码解码环节中，目前采用的标准尚无法实现真正的实时解码功能，这一缺陷在很大程度上制约了全息视频传输效率与质量。
在这一创新框架中，我们采纳了人工智能驱动的语义通信传输策略。该方法通过识别并传播全息视频中的核心点云语义特性，实现了显著的数据压缩效果。在接收端，实施了体积视频帧的重构作业，以确保信息的有效复原与呈现。
鉴于基于人工智能的点云编码解码系统对计算与存储资源的需求相对较高，导致诸多配置有限的终端设备难以实现即时的数据交互功能。为此，我们引入了一套针对性强、轻量化传输策略，该机制通过兴趣感知算法甄别并精选用户关切的重点内容区域。
在具体实施过程中，我们采取了网络结构轻量化技术，包括但不限于剪枝与量化等手段，有效缩减了AI传输模型中的参数数量及推理过程的时间消耗，进而显著提升了解码处理的速率和效能。这一系列策略的引入与优化，旨在确保即使在资源相对匮乏的环境条件下，仍能实现高效、流畅的数据传输与交互体验。
在深入探索立体化、沉浸式体验的同时，我们正积极构想和设计面向混合现实领域中的多模式视频业务场景的创新解决策略。尽管当前的视频流适配传输机制主要聚焦于单一类型的数据格式或应用范畴，我们的目标在于构建一个全面兼容并优化多种模态信息处理与交互能力的技术框架。
我们精心设计了一种面向多元媒体服务的云端渲染自适应视频流架构，此方案旨在对融合了经典二维、全景360度影像以及全息点云视频等多样形态的内容进行处理。借助于云端渲染技术的转码机制，有效地减轻了移动设备在数据传输过程中的带宽负担与解码挑战，从而提升了用户体验和系统效能。
我们运用多层次的智能体强化学习技术，以实现对多元内容适配比率的精确调控，旨在为各类用户提供最优化的质量感知体验。
鉴于未来网络试验设施所具备的大容量传输、低延迟等关键技术特性，为了满足生成沉浸式高清全息扩展现实体验的需求，我们规划构建一套依托于CENI基础设施的解决方案。该方案旨在开发一个超远程多参与者实时全息通讯实验平台，以实现高度交互性和逼真度。
整体而言，未来的云计算扩展现实领域发展所面临的机遇与挑战，主要集中于网络能力的需求与制约。当前，多个第三行动群组计划会议正聚焦于5G低延迟云游戏、增强现实/虚拟现实、多媒体编码解码以及沉浸式体验质量等关键方向的研究工作。
于复杂的云网环境而言，在诸如图形渲染、编码和计算等密集型任务上承载在云端运行，确实为云端服务带来了巨大的挑战。鉴于未来将面对庞大的用户群体，确保云侧能够提供稳定且高效的确定性渲染计算能力与缩短处理时间的需求变得尤为关键。同时，网络基础设施必须支持稳定的带宽供应以及降低数据传输时延，以满足用户的高期望和业务需求的实时响应，从而构建一个高效、流畅且可靠的云端服务体验。
在网络架构方面，为了适应XR应用在多元场景下的特定需求及确保信息传输的安全性与隔离性，我们需实施个性化网络切片方案以及构建专属的安全防护机制。此举旨在提供高度灵活且高效的服务交付能力，同时强化系统的安全性，以满足不同业务模式的复杂要求。
在边缘侧部署云XR服务之际，需动用GPU处理即时图像生成与并行运算等功能。此阶段的IaaS层开销主要源自于GPU硬件投入，并确保其效能最大化是扩充云端XR应用的重要课题。优化GPU虚拟化技术以提高资源利用率，堪称拓展此类业务的关键突破点。
在云端环境中，实现扩展现实应用时所面临的高分辨率视觉体验需求及海量数据处理任务，对现有编码和解码技术构成了重大挑战。尤其对于那些包含高度交互性的云XR直播与互动服务而言，实时转码功能变得至关重要。此时，传统的基于通用视频编解码技术在效能上已略显不足，难以满足此类应用的高效率要求。
在末端设备层面，目前面临的挑战主要体现在三维度：首先，沉浸式体验所需的硬件成本高昂；其次，提供的内容品质尚不理想；最后，不同系统之间的兼容性和互操作性有待提升。
鉴于传统的服务质量体验指标在评估时仅聚焦于特定服务类别，并未能充分考量不同业务间的相互关联性，当前我们正在致力于构建一个更加全面且适应性的评价框架，该框架旨在更好地服务于云端扩展现实应用的复杂场景。
