近日,地平线两篇论文入选国际计算机视觉顶会ECCV 2024,自动驾驶算法技术再有新突破。
ECCV(European Conference on Computer Vision,即欧洲计算机视觉国际会议),是计算机视觉领域中最顶级的会议之一,与ICCV(International Conference on Computer Vision)和CVPR(Conference on Computer Vision and Pattern Recognition)并称为计算机视觉领域的“三大顶会”。ECCV每两年举行一次,吸引了全球顶尖的研究人员、学者和业界专家,分享最新的研究成果与技术创新。
聚创新之力 答智驾课题
本次地平线被录用的2篇论文是:
1、Lane Graph as Path: Continuity-preserving Path-wise Modeling for Online Lane Graph Construction
(《LaneGAP:用于在线车道图构建的连续性路径建模》)
论文链接:https://arxiv.org/abs/2303.08815
2、Occupancy as Set of Points
(《OSP:基于点集表征的占据网格预测》)
论文链接:https://arxiv.org/abs/2407.04049
车道图构建新方案:
端到端学习路径,大幅提升预测规划性能
在线车道图构建是自动驾驶领域一项有前途但具有挑战性的任务。LaneGAP 是一种车道图构建新方法,将端到端矢量地图在线构建方法 MapTR(入选深度学习顶会ICLR spotlight论文)拓展到道路拓扑建模,能够大幅提升预测规划性能,应对各种复杂交通状况。LaneGAP 和 MapTR 相关工作已经在地平线高阶智驾系统SuperDrive中落地应用。
具体而言,以前的方法通常在像素或片段级别对车道图进行建模,并通过逐像素或分段连接恢复车道图,这会破坏车道的连续性。作者提出一种基于路径的在线车道图构建方法—— LaneGAP,它采用了端到端学习路径,并通过 Path2Graph 算法恢复车道图。LaneGAP在具有挑战性的 nuScenes 和 Argoverse2 数据集上定性和定量地证明了 LaneGAP 优于传统的基于像素和基于片段的方法。丰富的可视化效果显示 LaneGAP 可以应对各种复杂交通状况。
Occupancy新突破:
全新视角,性能更强大,计算更灵活
OSP提出了全新视角下的自动驾驶场景建模算法——稀疏点集占据网格预测方法,通过与2D图像特征交互的点查询,建立了一种新的基于点的占用表示,可以全面理解3D场景,并且框架更灵活,性能更强大。
本文探索了利用多视角图像进行3D占据网格预测的新方法,称为“点集占据网格”。现有方法倾向于利用BEV表征进行占据网格预测,因此很难将注意力集中在特殊区域或感知范围之外的区域。相比之下,本文提出了Points of Interest (PoIs) 来表示场景,并提出了 OSP,一种基于点的 3D 占用预测的新框架。得益于点集表征的灵活性,OSP 与现有方法相比实现了强大的性能,并且在训练和推理适应性方面表现出色:可以预测感知边界外的范围;可以与基于体特征的方法集成以提升性能。在Occ3D nuScenes占用基准上的实验表明,OSP具有强大的性能和灵活性。
除了这两篇斩获ECCV 2024的最新成果,地平线在ICCV 2023上提出的VAD也有创新进展。VADv2首次提出基于概率建模的多模态决策端到端自动驾驶大模型,在闭环榜单Carla Town05 Benchmark上达到SOTA的端到端自动驾驶规划性能。
此前,VAD初步探索了基于矢量化场景表征的端到端自动驾驶算法框架,在此基础上,VADv2首次将多模态概率规划引入端到端自动驾驶,用于解决判决式模型无法建模决策的天然多模态特性的问题,从而有效提升决策的准确率。VADv2以数据驱动的范式从大量驾驶数据中端到端学习驾驶策略,在Carla闭环榜单上,相比于此前的方案,VADv2大幅提升驾驶评分,实现SOTA性能,在无需规则后处理的情况下也能有良好的驾驶表现。
于7月21日-27日,正在奥地利维也纳举办的2024国际机器学习大会(ICML 2024)上,地平线被ICML 2024接收的最新工作Vision Mamba(简称Vim)也受邀做了分享。Vision Mamba是一种新的通用视觉主干模型,相比现有的视觉Transformer,在性能上有显著提升,是接替Transformer的下一代视觉基础模型。
Vision Mamba使用双向状态空间模型(SSM)对图像序列进行位置嵌入,并利用双向SSM压缩视觉表示。在ImageNet分类、COCO目标检测和ADE20k语义分割任务中,Vim相比现有的视觉Transformer(如DeiT)在性能上有大幅提升,同时在计算和内存效率上也有显著改进。例如,在进行分辨率为1248×1248的批量推理时,Vim比DeiT快2.8倍,GPU内存节省86.8%。这些结果表明,Vim能够克服在高分辨率图像理解中执行Transformer样式的计算和内存限制,具有成为下一代视觉基础模型主干的潜力。
地平线「你好,开发者」直播预告
为了让智驾开发者更深入地了解这些最新的研究成果与算法创新,地平线策划推出2024年「你好,开发者」自动驾驶技术专场,邀请到地平线各位技术专家进行直播分享。敬请关注!