机器学习(ML)和人工智能(AI)不再局限于高端服务器或云平台。得益于集成电路(IC)和软件技术的新发展,在微型控制器和微型计算机上实现机器学习算法和深度学习神经网络成为可能。这些安装在边缘的嵌入式设备不必再依赖远程服务器或云来洞察传感器数据或用户输入。
像 TinyML这样的软件框架正在发展成为微控制器专用的机器学习解决方案,而传统的深度学习框架也可以在功能强大的微型计算机上实现。这提供了几个优势>
首先,这些设备不依赖于网络连接或云服务的可用性来为系统添加人工智能。其次,微控制器和微型计算机比基于网络的人工智能服务服务器更省电。
现在,微控制器还可以在纽扣电池上运行时执行特定的人工智能任务。与通常需要数千美元的高端工作站相比,具备机器学习功能的微控制器成本不到几百美元。在边缘设备上实施人工智能的另一个好处是保护用户数据隐私,减少网络攻击和黑客入侵的机会。微控制器无处不在,可以大规模部署用于机器学习任务。
目前有多种单板微控制器和微型计算机可用于开发人工智能嵌入式应用。让我们来了解一下这些顶级平台。
英伟达™(NVIDIA®)Jetson Nano开发者套件
英伟达™(NVIDIA®)Jetson Nano开发者套件是可用于在边缘部署人工智能软件的最灵活的自主机器之一。这款微型计算机可以并行运行多个神经网络。
Jetson Nano基于四核ARM A57处理器和128核英伟达™(NVIDIA®)Maxwell GPU,可提供472 GFLOPS的计算机性能。它还内置4GB 64位LPDDR4内存(1600 MHz)。它有两种供电模式,5W/10W,5V直流输入,板卡售价仅为99美元。
只需插入一张包含系统映像的 MicroSD卡,即可轻松上手。使用英伟达™(NVIDIA®)JetPack SDK对电路板进行人工智能应用编程。最新的SDK提供了基于Ubuntu 18.04的完整Linux环境。该SDK还提供支持英伟达™(NVIDIA®)CUDA工具包10.0的加速图形以及Tensor RT5和cuDNN 7.3等GPU加速库。
支持的机器学习框架包括 PyTorch、Keras、TensorFlow、Caffe/Caffee2、MXNet等。SDK还支持用于计算机视觉的OpenCV和用于机器人应用的ROS。
此外,该开发人员工具包还包括一个 DeepStream SDK,可为基于人工智能的视频和图像处理提供完整的流分析工具包。英伟达™(NVIDIA®)可实时处理多达8个高清全动态视频流。Jetson Nano是为图像分类、分割、物体检测和定位、视频增强、姿态估计和语音处理等应用部署基于人工智能的推理工作负载的绝佳平台。
该电路板具有千兆以太网、HDMI 2.0、Display Port 1.3、MIPI CSI-2摄像头接口、四个USB 3.0端口、一个MicroSD卡插槽和一个40引脚GPIO针座。电路板可通过5V直流桶形插孔适配器或微型USB端口供电。功耗可设置为5瓦。摄像头接口兼容800万像素IMX219和Raspberry Pi的摄像头模块V2。
Jetson Nano能够通过实时计算机视觉推断多个深度神经网络(DNN)模型。甚至可以通过迁移学习在本地保留神经网络。该电路板是各种应用的绝佳选择,包括具有智能边缘分析功能的物联网、多传感器自主机器人、视频分析、图像识别和手势识别。
Google Coral
Google Coral开发板是目前用于边缘机器学习推断的最节能的开发板。Coral Dev基于恩智浦i.MX 8M SoC(包括四核Cortex A53和Cortex-M4F),集成了GC7000 Lite图形处理器和Google Edge TPU,可提供4 TOPS的计算性能。此外,每TOPS的功耗仅为0.5瓦。内存为1或4 GB LPDDR。
该开发板需要 5V直流电源供电,其GPIO兼容3V3。板载8GB eMMC内存和一个MicroSD卡插槽。开发板售价149.99美元。
Coral Dev的一个优势是它将机器学习与无线连接结合在一起。除了千兆以太网,Coral Dev还包括WiFi(802.11b/g/n/ac 2.4/5GHz)和蓝牙4.2。另一个优点是其可拆卸的系统模块(SoM)可在原型设计和生产之间有效扩展。最大的缺点是它只支持TensorFlow Lite,不支持其他深度学习框架。不过,这块电路板运行的是Debian Linux的衍生版本,支持多种流行的Linux工具,这一点非常有用。
如果您计划使用 TensorFlow Lite部署ML推断,那么Coral Dev是您的理想之选,而且上市时间最短。该板卡的计算性能令人印象深刻,能以400 FPS的速度执行MobileNet v2的最新移动视觉模型。用户几乎可以在Coral Dev上完成TensorFlow Lite框架范围内的任何工作。
Orange Pi 5 Plus
Orange Pi 5 Plus是香橙派顶级系列的开发板,它配备了强大的处理器和足够的内存,可以处理高级计算和任务,如训练机器学习模型。它采用了瑞芯微RK3588八核64位处理器,具体为四核A76+四核A55,采用了8nm工艺设计,主频最高可达2.4GHz,集成ARM Mali-G610,内置3D GPU,兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.2和Vulkan 1.2;内嵌的NPU支持INT4/INT8/INT16/FP16混合运算,算力高达6TOPS,可以满足绝大多数终端设备的边缘计算需求;它配备了4GB、8GB、16GB、32GBLPDDR4/LPDDR4X内存和一个eMMC闪存插座,可以外接16GB/32GB/64GB/128GB/256GB eMMC模块,用户就可以根据自己的需要定制存储容量。
Orange Pi 5 Plus提供多种接口,可连接不同的设备和外设,确保了连接选择的多样性。它具有2个HDMl输出端口,1个输入HDMl端口,最高可解码8K@60P视频,两个PCIe扩展的2.5G以太网接口,配备一个支持安装NVMe固态硬盘的M.2 M-Key插槽,一个支持Wi-Fi6/BT模块的M.2 E-Key插槽。此外,Orange Pi 5 Plus有2个USB 3.0、2个USB 2.0、2个Type-C(其中一个为电源接口)。
Orange Pi 5 Plus的一个突出特点是它的联网能力。它有两个2.5 Gbps以太网端口,支持Wi-Fi 6/BT模块,为与各种传感器和设备进行无缝通信提供了充足的带宽。
Orange Pi 5 Plus支持Orange Pi官方研发的操作系统Orange Pi OS,同时,支持Android12、Debian11、Ubuntu22.04等操作系统。
总之,Orange Pi 5 Plus为各种项目和应用提供了一个功能强大、用途广泛的解决方案。凭借其处理能力、联网能力和GPIO功能,它为各种应用和项目奠定了坚实的基础。它的性能、可扩展性和具有竞争力的价格使其成为那些希望探索单板计算机功能的用户的一个极具吸引力的选择。