基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题，提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先，利用交叉注意力机制能较好地融合多模态信息的优势，搭建了基于深度学习方式的端到端融合感知网络，用以接收视觉与点云检测网络的输出，并进行后融合处理。其次，对点云检测网络的三维目标信息进行高召回处理，与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后，通过网络实现二维目标信息向三维信息的融合，输出对三维目标检测信息的修正，从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明，通过所提融合方法引入二维检测信息后，相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法，对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比，所提融合网络在行人和骑行人中等、困难样本检测上，分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后，进行了实车试验平台的搭建及算...