前言,Image Radar即4D 毫米波雷达,它输出3D位置+径向速度,相对于传统的3D毫米波雷达(2D位置+速度)多了一维高度信息输出。Image Radar具备传统3D雷达所有的特点,同时弥补了后者高度信息缺失导致的一系列问题。在特斯拉在其下一代V4智驾硬件上接入Image Radar[1]后引起了行业内的关注。Image Radar在成本以及雨雪等极端天气上表现上优于激光雷达,因此,基于Image Radar设计自动驾驶的感知和定位方案,可能会是接下来两年的一个热点的研究方向。
硬件原理和信号处理,ImageRadar的硬件原理,这部分可以参考[2],在硬件上,和3D毫米波的主要差异在于Image Radar多了垂直方向的天线排布(如下图绿色框所示),这些天线实现了垂直方位的测量,进而可以解算出高度信息,但同时也给信号处理算法带来了新的挑战。 图1 Image Radar硬件示意图(4片级联) [1],Image Radar的测量原理,这部分主要参考[3], ImageRadar的速度测量原理主要是借助多普勒效应,距离测量借助发送和接收信号的时间差,这是中学教材上就熟悉的物理知识。这里稍微复杂的是目标的方位测量,方位测量主要借助多输入多输出技术(MIMO),n个发射端(TX)和m个接收端(RX)构成了n乘m个TX-RX对。某个发射端发送的信号会被不同的接收端接收,构成多个TX-RX组合,而不同的TX-RX组合接收到的信号有不同的相位差,这个相位差可以转换为距离差,借助不同TX-RX接收同一个target信号的距离差和不同TX-RX天线对在硬件上的外参关系,可以解算出target的方向。由于存在多组发射端,为了区分不同的发射信号,不同的发射端的信号是互相正交的。
图2 Image Radar的信号处理流程[3],提升测量精度的方法,提升ImageRadar的方法分为硬件方法和软件方法两种方式[3]。硬件方式上,目前多采用多片级联(cascading)的方式提升测量精度,这种方式通过增加TX-RX对数提升分辨率,是一种比较直观且朴素的方法,也是目前的主流方法,这种方法的缺点是尺寸和功耗会增加。上图1展示的硬件即4片级联的方式。此外,也可以通过提升单个芯片集成的天线数量提升测量精度,是目前比较有潜力替代级联的方案,但是天线间的干扰增加,目前主要处于前沿探索阶段。
软件方式上,可以使用虚拟孔径成像(Virtual aperture imaging)技术,它通过软件方法扩大天线的虚拟孔径,比较明显地提升角度分辨率,一般需要和级联搭配,降低信号干扰。以及超分辨率算法,通过设计新的信号处理方法,优化目前基于FFT算法的信号处理流程,提升精度。
噪声特性和滤波方法,ImageRadar的信号噪声和处理方法和传统的3D毫米波雷达相似,主要包括斑点噪声和多路径反射两种噪声信号的干扰[3]。在噪声信号处理上,也可以借鉴传统的3D毫米波雷达的信号处理方法,常用的比如CTFR滤波和速度滤波等。
Speckle Noise 斑点噪声: 天线发送的电磁脉冲信号,与环境物体相互作用,导致天线接收到的是被干扰的信号,在没做任何处理的情况下,产生了斑点分布的点。
Multipath 多路径反射: 对于同一个物体,产生了多个不同的检测路径,信号在返回过程中,除了直接返回的信号,也存在被墙体,地面反射的信号,这些信号对于接收源来说,看起来就是在地下或者墙体后面有一个goast-object,是一个静态的outlier,斑点噪声(speckle noise,青色)和多路径反射噪声(multipath-reflections noise,红色)表现如下> Image Radar 的斑点噪声和多路径反射噪声 [4],数据格式:4D Tensor VS PointCloud,一般地,我们从Radar上获取的是稀疏的点云形式+速度测量,但在点云数据格式之前,存在一种4D Tensor的更稠密的信息表达形式,相对于稀疏点云形式,它包含了更多的关于目标特性的信息,学术上尤其是感知领域,也有讨论使用4D tensor作为信息输入的算法方案[3][4]。
4D tensor的Image Radar数据形式 [5],算法方案,针对于Image Radar的SLAM方案,我和团队小伙伴做了一些调研,目前已有的方案[6][7][8][9][10]的实现思路,主要集中在如何充分利用Image Radar提供的多普勒速度测量上,来弥补Image Radar点云过少的问题。
这里的基本思路是:对于空间中静止的物体和环境,其反射点提供的多普勒测量速度,根据相对运动,反馈的即是车体本身的速度,即每个静止点都提供了车体本身的速度观测,这是一个非常强且有用的约束。
以其中比较经典的DICP[6]算法为例,它推导了基于多普勒速度的观测方程,且这个观测方程仅和点的测量速度有关,与所处环境的空间结构性无关,可以弥补ICP在非结构化场景下的约束退化问题。方案采用ICP约束和多普勒速度约束两种形式的观测进行状态估计。4d iRIOM[7]融合了Image Radar 和 IMU信息,实现了类似LIO的算法框架,对于多普勒速度的使用上,则是先用多个静止测量点的信息,解算出车体速度,然后将这个车体速度结果作为车体速度状态的观测,核心也是基于静态点的多普勒速度是车体速度的测量的事实。 DICP算法方案 [6],基于以上思路的Image radar SLAM算法,和传统的激光SLAM算法方案相比,除了需要做一些radar噪声信号的特殊处理之外,静态点的筛选策略也是比较关键的部分,其中借助IMU或者轮速计的测量辅助进行静态点筛选,在实际工程中会是比较实用的方式。
除此之外,Image Radar的反射特性不同于大部分的激光雷达,也会给算法研发带来一些新的挑战。比如,对于Image Radar,其在金属物体的反射强度会比较好,对于塑料以及水泥墙体的反射效果会差一些,此外,地面点一般也会当做杂波给滤除,这些都会造成Image Radar 的点云分布和激光雷达的点云表现不太相似。考虑到Image Radar点云的实际表现,索性扔掉点云观测,仅使用其多普勒速度测量,结合IMU和轮速观测,实现一种增强型的DR,倒也不失为一种比较实际且节省算力的方案[10]。
即使挑战重重,作为一种低成本提供深度测量和速度测量的传感器,Image Radar仍然是一种可以充分讨论和探索的实现SLAM技术的传感器之一。