Bridging the Domain Gap for Multi-Agent Perception

摘要

现有的多智能体感知算法通常选择在智能体之间共享从原始感知数据中提取的深度神经特征，以实现精度和通信带宽限制之间的权衡.然而,这些方法假设所有智能体具有相同的神经网络，这在现实世界中可能是不实用的。

当模型不同时,传递的特征可能存在较大的领域差距(domain gap)，导致多智能体感知性能急剧下降.

在本文中，我们提出了第一个轻量级框架来为多智能体感知弥合这种领域鸿沟,它可以作为大多数现有系统的插件模块,同时保持机密性.

我们的框架包括一个可学习的特征成形模来对齐多个维度的特征,以及一个用于领域自适应的稀疏跨域转换器.在公开的多智能体感知数据集V2XSet上的大量实验表明,对于基于点云的三维目标检测,我们的方法可以有效地弥合不同领域特征之间的差距,并显著优于其他基线方法至少8%。

最近的研究表明，通过利用车联网( Vehicle-to- Everything，V2X )通信技术共享视觉信息，多智能体感知系统可以通过透视遮挡和感知更远的范围来显著提高单智能体系统的性能.

现有方法通常不共享原始感知数据或检测输出,而是共享由传感器数据计算得到的中间神经特征,因为它们可以在精度和带宽需求之间实现最佳权衡.

此外,传递的中间特征对GPS噪声和通信延迟的鲁棒性更强.

这忽略了一个关键的事实**:为所有智能体部署相同的模型是不现实的,特别是对于连接的自动驾驶**.

不同公司的网联自动驾驶汽车( CAV )和基础设施产品的检测模型通常是不同的。即使对于同一公司,由于车载软件版本的不同,也可能存在不同的检测模型.当共享特征来自不同的骨干时,存在一个明显的域间隙,这很容易削弱协作的好处。

在本文中，我们深入研究了多智能体感知中，特别是自动驾驶中这一尚未解决的实际问题。我们首先仔细研究了不同特征图的领域差距，然后在分析的基础上提出了我们的框架。