深度强化学习(DRL)算法对无线网络实施智能连接管理解决方案

概览概览,使用带有图形神经网络模型的深度强化学习算法,对无线网络实施智能连接管理解决方案。
管理移动用户设备与现有无线电电池的联系,优化用户输送量、手机覆盖面最大化和负载平衡。
利用英特尔智能边缘开放的功能,优化计算密集型业务,减少网络的延迟。
要运行引用执行, 您需要首先下载并安装Intel智能边缘开放开发者经验工具包.,一旦您安装了 Intel智能边缘开放开发者体验工具包, 请选择配置 下载下载参考实施和下列软件。
配置 下载,
完成时间 :15-20分钟,语言:Python*, Go, C, C , Python*, Go, C, C,可用软件 :
Intel智能边缘开放开发者经验工具包,Open Networking Foundation Software Defined RAN Version 1.4,自动移交的智能连接管理 v3. 0,目标系统要求,Intel智能边缘开放群集节点,下列处理器之一:,英特罗·Xeon可缩放处理器,至少64GB内存。
至少256GB硬盘。
互联网连接。
Ubuntu* 20.04.2 LTS 服务器,如何运作,连接管理是任何无线网络确保整个网络顺利和平衡运作的一个重要问题。传统的连接管理方法考虑亚最佳解决方案,例如每个用户与拥有最大电源的细胞连接 。然而,这可能导致一些拥挤的细胞,而其他细胞的宝贵无线电资源可能没有得到充分利用。在这里,我们利用机器学习和人工智能智能解决方案,通过智能移交管理实现负载平衡。
智能连接管理 xApp 是根据O-RAN网络架构开发的,目的是优化用户关联和负负平衡,以提高用户设备的服务质量要求,连接管理是作为组合图形优化问题拟订的。提出了深强化学习解决方案,以学习图形神经网络对优化 UE协会的重量。无线网络建模为智能连接管理xApp 中的虚拟图形,如下图1所示。强化学习., Figure 1: GNN Network,开放无线电接入网络联盟提议的网络结构是设计虚拟式网络网络的构件,用于设计可编程硬件的可编程网络网络,通过人工智能进行无线电接入控制。
O-RAAN结构的主要贡献是:,中央股、分配股和无线电股职能分工,各单位之间标准化接口,引进RAN智能控制器,引入 RIC 使 xApp 开发者能够利用AI 技术来利用RIC 收集的网络数据。 图2显示了分布式控制器的ORAN结构。
Figure 2: O-RAN Architecture,开放网络基金会SD-RAN,开放网络基金会SD-RAN版本1.4是3GPP符合软件定义的RAN平台,符合O-RAN结构。 SD-RAN提供了近实时 RIC和RAN模拟器,用于模拟RAN和UE。
Intel智能边缘开放开发者经验工具包平台基础设施用于部署SD-RAN 1.4号释放版本的 RIC 舱、 RAN 模拟舱和智能连接管理 xApp 舱,如下图所示。 CM xApp 与 RIC 互动,从 RAN 模拟器获取网络数据,并在不同单元格中进行UES的交接。
Figure 3: High Level Deployment Diagram,近RT-RIC 和 xApp 智能边缘开放启用,智能边缘开放是一个用于建设优化边缘平台的边缘计算软件工具包。 以智能边缘开放平台创建的平台可以提供一系列广泛的服务,从5G RAN和5G核心等网络功能到AI、媒体处理和安全工作量。 边缘平台的资源与云层平台相比受到限制。 它们需要更高的网络性能和更大的自主性,强大的硬件亲近性,并面临更多的威胁矢量。 Intele智能边缘开放通过提供从云端景观中选择的功能工具包应对创建边缘平台的挑战,这些功能包括从云端环境中选择的功能、扩展的功能和优化的功能。
Intels智能边缘开放开发者经验包建在Kubernetes* 之上,这是一个管理集装箱化工作量和服务的生产级平台;经验包定制并扩展了Kubernetes控制平面和边缘节点,包括微服务、第三方应用、扩展和优化。控制平面节点和一个或多个边缘节点组成了Intels智能边缘群集。
Figure 4: Intel® Smart Edge Open Edge Node,Intel智能边缘开放节点结构是每个经验包专用的,使开发者能够为特定边缘地点的具体使用案例找到解决办法。
支持的特性,使用SSRAN RIC v1.4.113订阅RSRP/RRC报告,SD-RAN v1.4.113部署在Intel智能边缘开放开发者经验工具包上,该工具包支持E2SM MHO服务模式 v2。
智能连接管理 xApp 使用Golang SDK与SD-RAN RIC进行互动。 Python调解层将App与Golang SDK连接。
CM xApp 订阅定期RSRP报告E2节点;A3事件RSRP报告和RRC国家变化迹象。
连接管理部署,RAN 模拟器正在设置中模拟 4 E2 节点 。
RAN 模拟器 v1.4.2 模拟 140 UEs 跨越 7 个单元格。 模型文件是 RAN 模拟器释放的一部分 。
使用 OpenVINOTM 自动移交,CM xApp 根据 RIC 指示数对单元格进行UE的交接。 它使用 C 预处理和 OpenVINOTM 推断。
CM xApp将这些移交请求以 " 控制请求 " 的形式发送给RIC, 以启动移交。
CM xApp的移交请求在任何时候都排队,在1-10个请求之间。
节点特征发现,在包件中启用了NFD特性,以检测平台能力和OS安装信息,并根据条件部署 xApp。
CPU 管理器 CPU 管理器,CPU 管理器是一个 Kubernetes 功能, 通过将独家 CPU 分配给 某些 pod 容器, 从而更好地安排 Kubernetes 节点代理 Kubelet 的工作量。 对于 CM xApp 容器, CPU 请求是 2 个核心, 请求的内存是 2GBGB 2GB 。
开始,先决条件,要运行引用执行, 您需要首先下载并安装Intel智能边缘开放开发者经验工具包.,确保以下条件得到适当满足,以确保通过边缘软件提供商Intel智能边缘开放开发者经验工具包软件包顺利实施参考实施程序。
硬件需求
确保您拥有一个新的 ESP Intel 智能边缘开阔开发者经验箱, 安装硬件Target System Requirements段 次 页 次,安装 Python 附属库
确认ESP Intel智能边缘开放开发者经验箱安装工作采取了以下步骤:
代理设置
如果您在代理服务器网络背后,请确保代理地址在系统中配置。
确保:/ eec/wgetrc / ec/wgetrc / ec/wgetrc / ec/wgetrc / etc/wgetrc / etc/wgetrc / etc/wgetrc / etc/wgetrc 以下列需要的代理服务器设置配置文件 :

注:使用首选文本编辑器编辑文件,例如,使用命令:sudo vi / etc/ wgettrc,日期和时间,确保日期和时间与当前本地时间同步 。
验证系统上安装的 ssh 公用密钥 。
校验非 root 用户是否为非 root 用户开放的智能智能以密码创建聪明的开放。
安装引用实施,选定配置 下载下载参考执行,然后按以下步骤安装。
配置 下载,在进一步开展工作之前,确保适当满足目标系统要求。
对于单一设备模式,只需要一台机器。 ,对于多设备模式,请确定您至少拥有两台机器。
注:当前版本不支持多设备模式。
确认目标主机已配置为 ESP Intel智能边缘开放开发者经验工具包, 详情见先决条件段 次 页 次,将下载的 zip 软件包移动到/home/文件夹 :,转到/home/使用以下命令并解zip RI 的目录 :,转到Intelligent_Connection_Management目录 :,更改可执行的边缘软件文件的权限 :,运行下面的命令以安装“ 引用执行” :,安装完成后,您可以看到消息Installation of package complete每个模块的安装状态。 Figure 5: Install Successful,注:安装日志将在下列地点提供:/var/log/esb-cli/Intelligent_Connection_Management_for_Automated_Handover_/Intelligent_Connection_Management_for_Automated_Handover/install.log
何 地表示下载的软件包版本。
如果安装了 Intel 智能边缘开放开发者体验工具, 运行以下命令时应该显示与下面图像相似的输出。 所有播客都应该处于运行或完成阶段 。
使用以下命令列出参考应用部署模块列表 :,应用程序输出,SD-RAN运行模拟器将模拟7个单元格的140UE。
登录到 ONOS- cli pod , 运行以下命令以查看 UES 和 单元格 :, Figure 9: Cell Information,要检查订阅,请在Onos-cli内部执行以下命令:,要检查e2节点的订阅请求,请在应用程序日志上执行以下命令:,在应用程序日志上运行以下命令,以确认App正在发出移交请求:,

RAN Sim记录也证实了这一点,即XApp发出的移交请求正在到达RAN模拟器。
在程序日志上运行以下命令以确认 HO 处理时间在 10 毫秒之内 :,

OpenVINOTM工具包,在自动移交应用程序的智能连接管理中,图形神经网络和RL用于一个最佳UE协会,OpenVINOTM工具包20221与GNN模型优化的发布使处理移交请求的延迟时间大大低于10毫秒。
在发布该版本时, OpenVINOTM 工具包是所使用的默认推断方法。下图显示了Python 延时的延时率改善情况。
预处理:C
平行线线Loop: 真实,OpenVINOTM 推断时间, Figure 15: OpenVINOTM 推断时间,Python 推断时间, Figure 16: Python 推断时间,节点特征发现,节点功能发现是Kubernetes* 的附加内容,用来检测平台的硬件和软件能力,并为之做广告。
智能连接管理 xApp 使用 OpenVINOTM 工具包的Intel* 发布方式,该工具包被优化用于支持诸如 AVX512VNNI 等特殊指令的 Intel* 处理器,用于优化性能。在部署该应用程序时,需要与Ubuntu OS 的节点支持该特性的节点。 该NFD 功能确保了在有这些特性支持的节点上部署应用程序。
NFD由Intel智能边缘开放开发者经验箱安装,在Intel智能边缘开放上作为两个舱舱运行,如下文所示。
在 xApp 部署期间, 它会发现平台能力和操作系统安装信息。 只有符合标准, 应用舱才会被部署 。
以下产出显示了智能连接管理 xApp 舱的描述, 显示该舱与全国发展运动的功能运行成功 。
CPU 管理器 CPU 管理器,CPU 管理器是一个 Kubernetes 的特性,它通过将独家 CPU 分配给 某些 pod 容器来更好地安排 Kubellet Kubernetes 节点代理 中的工作量。 CPU 管理器使用 Linux CPUSET 机制将 PODS 排入单个 CPUs 。 Kubernetes 定义了共享的CPU 集合, 它最初包含系统为系统和 kubelet 本身保留的所有没有 CPU 的系统 CPU 。
CPU 用于xApp工作量的核心分配能够优化英特尔处理器的性能。
Kubernetes CPU 管理需要设定 CPU 管理 CPU 管理政策静静
这是Intel智能边缘打开的默认选项 。
CM xApp 容器的CPU请求是2个核心请求的内存2GBGB 2GB.,拆卸 RRI 安装,使用以下命令解除引用执行模块的安装。 Get从输出./对应软件清单命令。
使用以下命令卸载参考执行模块 :,概述和下一步步骤,智能连接管理应用程序在Intel智能边缘开放开发者经验工具包上部署时,产生了一个影响深远的网络AI使用案例,利用Intel智能边缘开放开发者经验工具包和SD-RAN的能力,在各单元格之间高效地进行智能自动传输UE。
学习更多,继续学习,见下列指南和软件资源:,Intel® Smart Edge Open Architecture,Connection Management xApp,排除故障,试票状态检查,使用以下命令,验证这些舱位是否已经准备好,是否处于运行状态:,如果任何播客处于图像 PullBackoff 状态, 手动拖动图像使用 :,如果任何播客没有在运行状态, 请使用以下命令检查播客故障 :,安装失败,如果 Intel 智能边缘开放开发者体验工具安装在拖动诸如遥测等命名空间舱时失败, 请重新启动系统。 重开后, 执行以下命令 :,Pod 状态显示长期“ 容器添加” 。
如果舱位状态显示集装箱置换或错误或 CrashLoopBackoff 5 分钟或5 分钟以上, 运行以下命令 :,安装和调试日志信息文件路径,安装日志信息自动移交的智能连接管理模块将可用于 :,何 地表示下载的软件包版本。
例如:,支助论坛支助论坛,若您无法解决问题,请联系支助论坛支助论坛.,执行以下命令以 tar.gz 压缩格式合并日志文件列表,例如,智能连接_ connition_ management.tar.gz.,何 地表示下载的软件包版本。
概览概览,使用带有图形神经网络模型的深度强化学习算法,对无线网络实施智能连接管理解决方案。
管理移动用户设备与现有无线电电池的联系,优化用户输送量、手机覆盖面最大化和负载平衡。
利用英特尔智能边缘开放的功能,优化计算密集型业务,减少网络的延迟。
要运行引用执行, 您需要首先下载并安装Intel智能边缘开放开发者经验工具包.,一旦您安装了 Intel智能边缘开放开发者体验工具包, 请选择配置 下载下载参考实施和下列软件。
配置 下载,
完成时间 :15-20分钟,语言:Python*, Go, C, C , Python*, Go, C, C,可用软件 :
Intel智能边缘开放开发者经验工具包,Open Networking Foundation Software Defined RAN Version 1.4,自动移交的智能连接管理 v3. 0,目标系统要求,Intel智能边缘开放群集节点,下列处理器之一:,英特罗·Xeon可缩放处理器,至少64GB内存。
至少256GB硬盘。
互联网连接。
Ubuntu* 20.04.2 LTS 服务器,如何运作,连接管理是任何无线网络确保整个网络顺利和平衡运作的一个重要问题。传统的连接管理方法考虑亚最佳解决方案,例如每个用户与拥有最大电源的细胞连接 。然而,这可能导致一些拥挤的细胞,而其他细胞的宝贵无线电资源可能没有得到充分利用。在这里,我们利用机器学习和人工智能智能解决方案,通过智能移交管理实现负载平衡。
智能连接管理 xApp 是根据O-RAN网络架构开发的,目的是优化用户关联和负负平衡,以提高用户设备的服务质量要求,连接管理是作为组合图形优化问题拟订的。提出了深强化学习解决方案,以学习图形神经网络对优化 UE协会的重量。无线网络建模为智能连接管理xApp 中的虚拟图形,如下图1所示。强化学习., Figure 1: GNN Network,开放无线电接入网络联盟提议的网络结构是设计虚拟式网络网络的构件,用于设计可编程硬件的可编程网络网络,通过人工智能进行无线电接入控制。
O-RAAN结构的主要贡献是:,中央股、分配股和无线电股职能分工,各单位之间标准化接口,引进RAN智能控制器,引入 RIC 使 xApp 开发者能够利用AI 技术来利用RIC 收集的网络数据。 图2显示了分布式控制器的ORAN结构。
Figure 2: O-RAN Architecture,开放网络基金会SD-RAN,开放网络基金会SD-RAN版本1.4是3GPP符合软件定义的RAN平台,符合O-RAN结构。 SD-RAN提供了近实时 RIC和RAN模拟器,用于模拟RAN和UE。
Intel智能边缘开放开发者经验工具包平台基础设施用于部署SD-RAN 1.4号释放版本的 RIC 舱、 RAN 模拟舱和智能连接管理 xApp 舱,如下图所示。 CM xApp 与 RIC 互动,从 RAN 模拟器获取网络数据,并在不同单元格中进行UES的交接。
Figure 3: High Level Deployment Diagram,近RT-RIC 和 xApp 智能边缘开放启用,智能边缘开放是一个用于建设优化边缘平台的边缘计算软件工具包。 以智能边缘开放平台创建的平台可以提供一系列广泛的服务,从5G RAN和5G核心等网络功能到AI、媒体处理和安全工作量。 边缘平台的资源与云层平台相比受到限制。 它们需要更高的网络性能和更大的自主性,强大的硬件亲近性,并面临更多的威胁矢量。 Intele智能边缘开放通过提供从云端景观中选择的功能工具包应对创建边缘平台的挑战,这些功能包括从云端环境中选择的功能、扩展的功能和优化的功能。
Intels智能边缘开放开发者经验包建在Kubernetes* 之上,这是一个管理集装箱化工作量和服务的生产级平台;经验包定制并扩展了Kubernetes控制平面和边缘节点,包括微服务、第三方应用、扩展和优化。控制平面节点和一个或多个边缘节点组成了Intels智能边缘群集。
Figure 4: Intel® Smart Edge Open Edge Node,Intel智能边缘开放节点结构是每个经验包专用的,使开发者能够为特定边缘地点的具体使用案例找到解决办法。
支持的特性,使用SSRAN RIC v1.4.113订阅RSRP/RRC报告,SD-RAN v1.4.113部署在Intel智能边缘开放开发者经验工具包上,该工具包支持E2SM MHO服务模式 v2。
智能连接管理 xApp 使用Golang SDK与SD-RAN RIC进行互动。 Python调解层将App与Golang SDK连接。
CM xApp 订阅定期RSRP报告E2节点;A3事件RSRP报告和RRC国家变化迹象。
连接管理部署,RAN 模拟器正在设置中模拟 4 E2 节点 。
RAN 模拟器 v1.4.2 模拟 140 UEs 跨越 7 个单元格。 模型文件是 RAN 模拟器释放的一部分 。
使用 OpenVINOTM 自动移交,CM xApp 根据 RIC 指示数对单元格进行UE的交接。 它使用 C 预处理和 OpenVINOTM 推断。
CM xApp将这些移交请求以 " 控制请求 " 的形式发送给RIC, 以启动移交。
CM xApp的移交请求在任何时候都排队,在1-10个请求之间。
节点特征发现,在包件中启用了NFD特性,以检测平台能力和OS安装信息,并根据条件部署 xApp。
CPU 管理器 CPU 管理器,CPU 管理器是一个 Kubernetes 功能, 通过将独家 CPU 分配给 某些 pod 容器, 从而更好地安排 Kubernetes 节点代理 Kubelet 的工作量。 对于 CM xApp 容器, CPU 请求是 2 个核心, 请求的内存是 2GBGB 2GB 。
开始,先决条件,要运行引用执行, 您需要首先下载并安装Intel智能边缘开放开发者经验工具包.,确保以下条件得到适当满足,以确保通过边缘软件提供商Intel智能边缘开放开发者经验工具包软件包顺利实施参考实施程序。
硬件需求
确保您拥有一个新的 ESP Intel 智能边缘开阔开发者经验箱, 安装硬件Target System Requirements段 次 页 次,安装 Python 附属库
确认ESP Intel智能边缘开放开发者经验箱安装工作采取了以下步骤:
代理设置
如果您在代理服务器网络背后,请确保代理地址在系统中配置。
确保:/ eec/wgetrc / ec/wgetrc / ec/wgetrc / ec/wgetrc / etc/wgetrc / etc/wgetrc / etc/wgetrc / etc/wgetrc 以下列需要的代理服务器设置配置文件 :

注:使用首选文本编辑器编辑文件,例如,使用命令:sudo vi / etc/ wgettrc,日期和时间,确保日期和时间与当前本地时间同步 。
验证系统上安装的 ssh 公用密钥 。
校验非 root 用户是否为非 root 用户开放的智能智能以密码创建聪明的开放。
安装引用实施,选定配置 下载下载参考执行,然后按以下步骤安装。
配置 下载,在进一步开展工作之前,确保适当满足目标系统要求。
对于单一设备模式,只需要一台机器。 ,对于多设备模式,请确定您至少拥有两台机器。
注:当前版本不支持多设备模式。
确认目标主机已配置为 ESP Intel智能边缘开放开发者经验工具包, 详情见先决条件段 次 页 次,将下载的 zip 软件包移动到/home/文件夹 :,转到/home/使用以下命令并解zip RI 的目录 :,转到Intelligent_Connection_Management目录 :,更改可执行的边缘软件文件的权限 :,运行下面的命令以安装“ 引用执行” :,安装完成后,您可以看到消息Installation of package complete每个模块的安装状态。 Figure 5: Install Successful,注:安装日志将在下列地点提供:/var/log/esb-cli/Intelligent_Connection_Management_for_Automated_Handover_/Intelligent_Connection_Management_for_Automated_Handover/install.log
何 地表示下载的软件包版本。
如果安装了 Intel 智能边缘开放开发者体验工具, 运行以下命令时应该显示与下面图像相似的输出。 所有播客都应该处于运行或完成阶段 。
使用以下命令列出参考应用部署模块列表 :,应用程序输出,SD-RAN运行模拟器将模拟7个单元格的140UE。
登录到 ONOS- cli pod , 运行以下命令以查看 UES 和 单元格 :, Figure 9: Cell Information,要检查订阅,请在Onos-cli内部执行以下命令:,要检查e2节点的订阅请求,请在应用程序日志上执行以下命令:,在应用程序日志上运行以下命令,以确认App正在发出移交请求:,

RAN Sim记录也证实了这一点,即XApp发出的移交请求正在到达RAN模拟器。
在程序日志上运行以下命令以确认 HO 处理时间在 10 毫秒之内 :,

OpenVINOTM工具包,在自动移交应用程序的智能连接管理中,图形神经网络和RL用于一个最佳UE协会,OpenVINOTM工具包20221与GNN模型优化的发布使处理移交请求的延迟时间大大低于10毫秒。
在发布该版本时, OpenVINOTM 工具包是所使用的默认推断方法。下图显示了Python 延时的延时率改善情况。
预处理:C
平行线线Loop: 真实,OpenVINOTM 推断时间, Figure 15: OpenVINOTM 推断时间,Python 推断时间, Figure 16: Python 推断时间,节点特征发现,节点功能发现是Kubernetes* 的附加内容,用来检测平台的硬件和软件能力,并为之做广告。
智能连接管理 xApp 使用 OpenVINOTM 工具包的Intel* 发布方式,该工具包被优化用于支持诸如 AVX512VNNI 等特殊指令的 Intel* 处理器,用于优化性能。在部署该应用程序时,需要与Ubuntu OS 的节点支持该特性的节点。 该NFD 功能确保了在有这些特性支持的节点上部署应用程序。
NFD由Intel智能边缘开放开发者经验箱安装,在Intel智能边缘开放上作为两个舱舱运行,如下文所示。
在 xApp 部署期间, 它会发现平台能力和操作系统安装信息。 只有符合标准, 应用舱才会被部署 。
以下产出显示了智能连接管理 xApp 舱的描述, 显示该舱与全国发展运动的功能运行成功 。
CPU 管理器 CPU 管理器,CPU 管理器是一个 Kubernetes 的特性,它通过将独家 CPU 分配给 某些 pod 容器来更好地安排 Kubellet Kubernetes 节点代理 中的工作量。 CPU 管理器使用 Linux CPUSET 机制将 PODS 排入单个 CPUs 。 Kubernetes 定义了共享的CPU 集合, 它最初包含系统为系统和 kubelet 本身保留的所有没有 CPU 的系统 CPU 。
CPU 用于xApp工作量的核心分配能够优化英特尔处理器的性能。
Kubernetes CPU 管理需要设定 CPU 管理 CPU 管理政策静静
这是Intel智能边缘打开的默认选项 。
CM xApp 容器的CPU请求是2个核心请求的内存2GBGB 2GB.,拆卸 RRI 安装,使用以下命令解除引用执行模块的安装。 Get从输出./对应软件清单命令。
使用以下命令卸载参考执行模块 :,概述和下一步步骤,智能连接管理应用程序在Intel智能边缘开放开发者经验工具包上部署时,产生了一个影响深远的网络AI使用案例,利用Intel智能边缘开放开发者经验工具包和SD-RAN的能力,在各单元格之间高效地进行智能自动传输UE。
学习更多,继续学习,见下列指南和软件资源:,Intel® Smart Edge Open Architecture,Connection Management xApp,排除故障,试票状态检查,使用以下命令,验证这些舱位是否已经准备好,是否处于运行状态:,如果任何播客处于图像 PullBackoff 状态, 手动拖动图像使用 :,如果任何播客没有在运行状态, 请使用以下命令检查播客故障 :,安装失败,如果 Intel 智能边缘开放开发者体验工具安装在拖动诸如遥测等命名空间舱时失败, 请重新启动系统。 重开后, 执行以下命令 :,Pod 状态显示长期“ 容器添加” 。
如果舱位状态显示集装箱置换或错误或 CrashLoopBackoff 5 分钟或5 分钟以上, 运行以下命令 :,安装和调试日志信息文件路径,安装日志信息自动移交的智能连接管理模块将可用于 :,何 地表示下载的软件包版本。
例如:,支助论坛支助论坛,若您无法解决问题,请联系支助论坛支助论坛.,执行以下命令以 tar.gz 压缩格式合并日志文件列表,例如,智能连接_ connition_ management.tar.gz.,何 地表示下载的软件包版本。