重磅 | 人加司眸®第三代4.5K双目视觉感知引擎架构全球首发
2020年 1 月，人加公司正式发布司眸®第三代双目视觉感知引擎架构，最高可支持 4.5K 分辨率（4608*2560）20FPS 实时处理。在此之前，世界顶级光学企业日本理光于 2018 年 10 月推出 4K 分辨率的双目立体视觉摄像头产品。
人加公司本次发布的司眸®第三代架构，是目前全球范围内可支持最高分辨率的双目视觉感知引擎架构。该架构整体性能相较于上一代有了较大幅度的提升，其中作为核心参数的分辨率指标提升了近 12 倍。
一直以来，在人工智能3D视觉感知领域，双目立体视觉技术因为算法复杂度高、算力需求大而常常让人又爱又恨，但双目立体视觉技术作为 3D 传感领域的重要组成部分，因其测量距离能远能近、室内室外可兼顾等多种优点，也被不少行业应用者看好。
双目立体视觉技术是利用三角测量原理，通过两台相对位置固定的相机同时对场景进行成像，根据成像中的视差来计算深度，典型计算方法如下：
其中，f为相机焦距，b 为基线，d 为视差，Z 为深度值，在此理论框架的基础上可以得出，双目立体视觉的测量精度会随测量距离的增大而严重衰减，这也是当下双目视觉系统存在的较大痛点之一。与此同时，为提升系统的覆盖面积，需增大相机视场角，由此，将进一步减小焦距 f，进而进一步增大 Z 向精度随距离增大的衰减程度。
因此，一个双目立体视觉系统想要实现既能「看得远」又能「看得清」，在现有的主流分辨率（1280*800）和系统体积（基线通常在 12cm 以下）约束下难以实现。
综上，提升双目视觉系统的分辨率是当下实现技术突破的唯一直接方式，同时也顺应了当下CMOS图像传感器分辨率不断变大的发展趋势。
然而，想要提升双目分辨率，将对算力和存储带宽的需求带来倍级速度的增长，这对于现代计算机存储计算架构将会是一个很大的挑战，在传统CPU或 GPU 的架构下实现代价非常高（在 KITTI 双目测评排名中，4 核、2.6Ghz CPU 仅运行匹配算法 rSGM 需要的时间长达 0.2 秒），且很难达到理想运算效率和功耗/成本之间的平衡。
综合以上分析，人加司眸®第三代双目视觉感知引擎架构在设计上仍然延续了上一代的逻辑单元（FPGA）+ CPU 的异构计算架构，新架构采用 DDR4 64 位存储架构，内存存储带宽相对于上一代提升了 4 倍，经过一系列的算法加速设计创新，达到横向分辨率提升近 4 倍，整体分辨率实现了近 12 倍的性能提升。
第三代架构延续了上一代逻辑单元+ CPU的异构设计方式，在上一代的基础上重点突破了分辨率提升带来的内存带宽技术瓶颈和片上存储资源技术瓶颈，概要设计图如下：
系统采用DDR4作为存储单元，提升了逻辑单元和外部存储单元之间的数据交互效率，设计带宽高达 16.5GB/s。同时系统各核心单元之间延续流水线设计，最大限度降低了计算产生的延迟，设计上满足从数据输入至数据输出延迟小于 1 图像帧时间。同时，系统也可支持各单元更细颗粒度的并行处理，对于实时性要求更高的场景可快速支持以空间换时间的设计，最大限度地降低了系统延迟。
第三代架构的详细性能参数如下表所示：
最终，人加公司在Xilinx Zynq UltraScale+ ZCU102 Evaluation Board平台上对该架构进行了完整实践，资源消耗情况如下表所示：
在Xilinx工具集 Vivado 2018.3 的实践如下图所示：
为了突破分辨率大幅提升带来的存储资源和计算资源瓶颈，人加智能工程师做了一系列创新设计，以其中三个重点为例，概要介绍如下：
（1）采用动态校正参数压缩技术倍级优化内存带宽资源。
双目立体校正采用逆向映射和双线性插值的方式，一个目标像素的产生需对应一组二维坐标值和双线性插值所用比例值。以分辨率4608x2560@20fps设计为例，一个像素所需 4.5 字节的信息，所需 DDR 读速率达 1GB/s，对于两幅图像的同时校正，整体带宽速率占用高达 2GB/s。人加智能根据校正所需数据的分布特征，提出了一种面向校正数据的压缩与解压缩方式，其中压缩是在 CPU 下离线完成，解压缩部分为逻辑资源实时计算。最终采用的压缩方式可达到 2:1 的压缩比，同时解压缩单元占用的资源仅 200 余个 LUT、0.5 个 BRAM，详情如下：
（2）采用动态分片校正技术将片上内存使用空间缩减至 1/3。
横向分辨率的增加带来了行缓存宽度的增加，因此对于实时计算缓存图像数据的存储空间需求增加了近4倍（相对于上一代），为了应对片上 Block RAM 资源紧张的问题，人加智能设计了一种可动态分片校正的框架，典型设定可将图像横向分为 3 块，可将片上存储的空间需求缩减到 1/3，同时在 BRAM 资源更紧张的场景下，也支持更多分片或分区的设定，以满足场景对于 BRAM 资源的需求。
（3）Block to Block 分块立体匹配设计。
该架构中的立体匹配部分仍延用了上一代SGM/BM的设计算法，在保证设计性能的基础上，人加智能采用了分块匹配的思想，将左右图像分为可拆分的两部分，分别独立进行匹配，在设计上进一步将 BRAM 资源使用量缩减至 1/2。
本次双目立体视觉处理架构的升级是在当下场景应用对于双目视觉系统提出更大视场角和更高精度的双重要求下完成的，升级后将会给人加智能的实体消费行为分析应用带来以下益处：
（1）单个双目视觉系统所能覆盖的范围增大。
通过增大相机视场角至130°-150°（上一代设计指标为 100°），单个双目视觉系统的覆盖面积可达百平米，可以减少相机使用数量，从而降低系统维护成本，增强系统稳定性。
（2）空间定位更精准。
更高的深度图分辨率将带来更高的测量精度，使得空间定位更加精准。
（3）图像细节更丰富，识别更精准。
通过本次升级，人加智能双目视觉系统可提供高达1200万像素的原始图像，这将大大提高图像识别等应用的精度。
（4）深度算法支持迭代升级优化，增大场景适应性。
第三代架构延用了FPGA SOC设计，实现了硬件加速级算法的可升级，可维护，可根据具体场景进行相应的配置和优化。
同时，本次升级也为市场带来了双目立体视觉技术应用的新的想象空间，当分辨率提升至1200万像素时，系统可测距范围便能提升至千米级，可以想象，对于一些大范围测量领域（例如自动驾驶、智能安防等领域）也将提供一种全新方案选择。
人加智能( www.humanplus.ai )是一家以智能视觉传感与人体行为识别为核心技术的人工智能公司，现专注于为零售品牌商与零售商提供实体消费行为分析服务（Customer Behavior Analytics），包括客流量分析、销售转化分析、客流动线分析、人货互动分析等，助力品牌零售的决策、执行过程实现「数据驱动」与「人机协同」。
原文链接： https://mp.weixin.qq.com/s/VFp5tZC0dTRIsot4UtTm2A
3d深度感知摄像头什么
所谓超感知摄像头，是指这颗摄像头具有非常强的光线感知能来自力，可以在很暗的光照条件下清晰成像。
独轮平衡车为什么可以不倒？独轮平衡车不倒的原理是什么
一、独轮平衡车不倒的基本原理
一方面是由于人能够调整重心，调整车前行的方向，车前行的方向发生转变由于惯性就能平衡重力的侧翻力矩。还有重要的一点是高速旋转的轮子具有较大的角动量，角动量能够抵抗外力矩，就好比陀螺不倒一样。在大学物理里，这种现象叫进动，自传体能把外力矩的方向旋转90度，在这里就是轮子把侧翻力矩变成使平衡车转向的力矩。
二、独立平衡车实现平衡的主要部件
1、利用电机来加强改进平衡
在此基础上，独轮平衡车加以改进，靠电机驱动的，采用陀螺仪与驱动电路控制保持不倒。把身体向前倾斜就可以启动。速度则是由身体的倾斜程度来控制的，想要加速则向前倾，减速则向后倾。抛开人的主动操控，独轮平衡车保证正常工作一定离不开加速度传感器和角速度传感器（陀螺仪）。
2、加速度传感器
加速度传感器可以测量由地球引力作用或者物体运动所产生的加速度。只需要测量其中一个方向上的加速度值，就可以计算出车倾角。比如使用X轴向上的加速度信号，车直立时，固定加速度器在X轴水平方向，此时输出信号为零偏电压信号。当车发生倾斜时，重力加速度g便会在X轴方向形成加速度分量，从而引起该轴输出信号的变化。
但在实际车运行过程中，由于平衡车本身的运动所产生的加速度会产生很大的干扰信号叠加在上述测量信号上，使得输出信号无法准确反映真正的倾角。因此对于直立控制所需要的姿态信息不能完全由加速度传感器来获得。
3、角速度传感器
陀螺仪可以用来测量物体的旋转角速度。平衡车上安装陀螺仪，可以测量车倾斜的角速度，将角速度信号进行积分处理便可以得到车的倾角。谈到平衡我们就不得不说到陀螺仪，陀螺仪的原理就是，一个旋转物体的旋转轴所指的方向在不受外力影响时，是不会改变的。人们根据这个道理，用它来保持方向，制造出来的东西就叫陀螺仪。我们骑自行车其实也是利用了这个原理。
轮子转得越快越不容易倒，因为车轴有一股保持水平的力量。陀螺仪在工作时要给它一个力，使它快速旋转起来，一般能达到每分钟几十万转，可以工作很长时间。然后用多种方法读取轴所指示的方向，并自动将数据信号传给控制系统。
加速度和角速度两个传感器都无法单独获得动态情况下的准确，稳定的姿态，但是这两种传感器具有互补性，即加速度传感器，在静态情况下使用效果会好一些，陀螺仪在动态情况下使用，效果会好一些。此时，就需要一种算法，来将这两种信号进行有效融合，才能获取准确的姿态信息。
综上所述，电动独轮平衡车主要通过控制器（智能芯片）、姿态传感器（陀螺仪）、执行器（电机）三部分来实现平衡。当驾驶者倾斜身体时，姿态传感器输出相应姿态信息，控制器感知到这个信息后，命令电机向相应方向旋转，姿态传感器按一定频率不停地测量车子姿态，并输出姿态息到控制器，控制器不停地调整电机的转动方向和转速，这样就保持了一个动态的平衡。
独轮平衡车的图片和价格，可以查看独轮平衡车栏目http://www.bbfx.me/index-cate-cid-23.html
