1. 写在前面,今天为大家推荐一篇香港大学MARS实验室最新开源的工作,使用激光雷达实现了微秒级的运动事件检测,发表在Nature子刊Nature Communications上。
下面一起来膜拜一下这项神作
2. 摘要,在动态环境中,机器人需要对具有微秒级延迟的运动事件进行瞬时检测。这个任务,称为移动事件检测,通常是使用事件相机来实现的。尽管激光雷达( Light Detection and Ranging,LiDAR )传感器因其密集和精确的深度测量而对机器人至关重要,但其在事件检测中的应用尚未得到深入探索。目前的方法涉及将LiDAR点积累到帧和检测物体级别的运动,导致了几十到几百毫秒的延迟。我们提出了一种不同的方法,称为M-detector,它确定一个点是否在到达后立即移动,从而导致一个延迟仅为几微秒的逐点检测。M-detector是基于遮挡原理设计的,可以在不同环境下使用多种类型的LiDAR传感器。我们的实验证明了M-detector在各种数据集和应用上的有效性,显示了其优越的准确性、计算效率、检测延迟和泛化能力。
3. 效果展示,M-detector对场景中的运动进行瞬时检测,即对突然穿过的行人进行检测。行人在0.01 s时从墙后冒出,在不检查路况的情况下迅速进入道路(a)。b:检测静止的行人开始运动。女士在十字路口等待,直到0.4 s,她抬起腿开始过马路。其余行人保持静止,未开始移动。在这两种情况下,第一行显示的都是图像序列,第二行显示了在Livox AVIA激光雷达上M-detector的最后100 ms的检测结果,该激光雷达具有非传统的非重复不规则扫描模式。M-detector在点到达后立即判断点是否在移动物体上,导致检测延迟小于LiDAR点采样间隔(几微秒)。M-detector基于第一性原理即遮挡原理设计,检测场景中任何运动部分采样的点,而不管其形状如何。
4. 具体原理是什么?,M-Detector与M-Cell的类比。M-detector以逐点检测的方式从LiDAR点流中检测移动事件,导致检测延迟仅为2 ~ 4 μs。M-detector的低潜伏期类似于人类视觉系统外侧膝状体核( LGN )中的巨细胞细胞( M-cells),同样具有较快的响应时间,但分辨率较低。相比之下,将点累加到帧中会导致更高的分辨率,但也会导致更长的延迟(例如, 100毫秒),这一现象类似于LGN中的小细胞性的细胞( P-cells )。
遮挡原理。a:当物体穿过激光雷达的激光射线时,当前点(蓝色点)将遮挡之前在Tk-1时刻采集到的点(橙色点)。b:当物体沿激光射线运动并远离传感器时,当前点(蓝色点)将被之前的所有点( (即Tk-1处的橙色点和Tk-i处的绿色点) )遮挡,然后被自己的(即Tk-1处的橙色点被Tk-i处的绿色点遮挡)进一步遮挡。当物体沿着激光射线向传感器方向移动时,当前点(蓝色点)将遮挡所有先前的点(即Tk-1处的橙色点和Tk-i处的绿色点),并进一步遮挡自己的(即Tk-1处的橙色点包围Tk-i处的绿色点)。
M-detector的系统工作流程(a)和事件检测步骤(b)。
5. 和其他SOTA方法的对比,M-detector在不同数据集上的性能。a:不同方法在不同数据集上的IoU结果。b:M-detector、LMNet-8*和SMOS在KITTI上的比较。场景图像为序列15中的第68帧。c:AVIA-Indoor数据集细节。左列显示场景中拍摄的图像,右列显示M-detector在frame-out模式下对应的检测结果。在上述所有检测结果中,红色点代表该方法标记的事件点,白色点代表非事件点。
不同数据集上的时间消耗和检测延迟。a:不同方法在不同数据集上的每帧时间消耗。时间消耗以log尺度表示。b:M-detector在不同数据集上的时间消耗分解和检测延迟。外环代表时间消耗分解,包括事件检测、聚类和区域增长以及深度图像构建。圆环的总长度表示框架周期,由上述3个步骤以不同的颜色和相应的数字所占据。每个圆环的未着色部分表示每帧空闲时间。粉红色的中环扇区代表了M-detector在frame-out模式下的检测延迟,它是由事件检测和聚类与区域增长共同引起的。褐色内点表示M-detector在point-out模式的检测延迟,仅由单点的事件探测引起。环中心的单词和数字分别表示数据集的名称和对应的帧周期。