基于CenterNet的路侧单目视角车辆3D形态精确感知

车辆3D形态的精确实时感知对于智能交通中的车辆行为分析、交通流参数估计等应用和无人驾驶都至关重要，其中，如何克服透视投影的限制，从路侧单目视角下感知车辆3D形态正成为具有挑战的课题之一。为解决这个难题，采取深度网络提取投影特征，结合空间标定模型中的几何约束，实现2D投影至3D空间的3D形态恢复构建。首先，基于前期工作，对道路场景中的相机构建空间标定模型，以获取透视空间的2D-3D互映射矩阵；然后，以当前流行的简洁高效的CenterNet深度网络为基础，设计车辆3D形态投影特征的检测网络，融入多尺度特征融合模块以优化透视投影下不同尺度车辆目标的检测，同时优化高斯凸包热力图以增强车辆目标的特征检测力度，根据先验几何约束设计加强损失函数以加快收敛；最后，通过建立的空间形态几何约束模型，对网络输出特征投影点进行解码，构建出完整的车辆3D形态信息。试验以路侧视角下的BrnoCompSpeed数据集和自制数据集为基础，手工标注满足试验需求的样本目标，并做图像增广以模仿多变的道路监控视角及环境。在试验结果评价中，分别对网络检测结果及最终构建的3D形态进行评价，其中对于网络检测结果，以投影特征构成投影凸包的平均精度为评价指标，交并比(IoU)阈值为0.7时，在BrnoCompSpeed测试数据集上得到AP值为87.35%，召回率和精确率分别为87.39%与90.78%。同时，设计消融试验证明网络改进模块的有效性。对于3D形态构建结果，分别对空间定位、3D尺寸、偏转角及3DIoU等指标都进行定义，并以3DIoU为评价标准，验证多个改进模块及不同视角对于最终精度的影响，最后在BrnoCompSpeed测试数据集中的平均3DIoU达到0.738。设计的网络FPS为27，可满足实时性的需求。