基于多传感器信息融合的3维目标实时检测

针对基于多传感器信息融合的3维目标检测,提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段,在区域提案网络中,首先将3维点云投影到2维图像上生成6维RGB点云,然后对输入的6维RGB点云进行特征提取,得到低维特征图与高维特征图,利用融合后的特征图生成大量置信度较高的提案;第2阶段,在目标检测网络中,利用第1阶段生成的提案进行RoI池化,得到特征图上与每个提案对应的特征集合,通过针对性地学习提案的特征集合,实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明,PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络,甚至优于某些先进的多传感器信息融合网络,而且整个网络的目标检测速度为12帧/s,满足实时性要求。