基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。     

一种车载数字相机与激光雷达融合算法设计

环境感知是智能辅助驾驶的底层模块，单传感器感知存在易受干扰、所需配置传感器数量多和感知效果差等弊端，为此提出一种车载数字相机与激光雷达融合算法。综合考虑信息融合高效性与系统鲁棒性采取决策级融合策略，利用CENTER POINT算法对雷达点云数据进行处理，再利用Yolo v3算法进行密集型数据训练处理图像数据，最后使用交并比匹配（IOU）和已有文献的D-S论据实现数据融合并输出决策结果。经过KITTI数据集验证，该融合算法输出的识别效果优于单传感器，且在多种路况上均有良好的目标检测效果。     

基于虚拟点云的二阶段多模态融合网络

针对点云的稀疏性和无序性对目标检测准确率的影响,本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先,利用图像检测目标信息构造虚拟点云,增加点云的密集程度,从而提高目标特征的表现;其次,增加点云特征维度以区分真实和虚拟点云,并使用含置信度编码的体素,增强点云的相关性;最后,采用虚拟点云的比例系数设计损失函数,增加图像检测有监督训练,提高二阶段网络训练效率,避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试,检测精度优于经典三维点云检测网络和某些多传感器信息融合网络,车辆检测精度达到了86.9%。     

基于三维激光雷达的动态障碍物检测和追踪方法

为解决无人驾驶车辆在城市路况下对多个动态障碍物同时检测和跟踪的关键问题,提出一种基于三维激光雷达的多目标实时检测和跟踪方法。通过对单帧激光雷达点云数据进行聚类,提取障碍物外接矩形轮廓特征;采用多假设跟踪模型(MHT)算法对连续两帧的障碍物信息进行数据关联;利用卡尔曼滤波算法对动态障碍物进行连续地预测和跟踪。试验结果表明,该算法能够在自行搭建的智能车平台上以每帧100 ms的速度准确、稳定地检测和跟踪。     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

自动驾驶中周围车辆识别与信息地图构建技术

为提高自动驾驶时单传感器对周围车辆识别成功率及工程实用性,提出了一种基于相机图像与激光雷达信息相融合的车辆识别和地图构建方法。对相机与激光雷达进行了联合标定和时间配准。对图像中的车辆阴影与激光雷达检测信息进行提取,获得两者间的坐标关联度特征,并根据其阈值范围确定周围是否存在车辆。将相机图像信息与激光雷达检测信息进行融合,构建周围车辆的信息地图,进行了实验验证。结果表明：采用坐标关联度特征对两传感器采集的信息进行融合,车辆识别的正确率比用D-S证据理论法结果高4.25%;本车辆信息地图,可以在安全的前提下实现基于三阶Bessel曲线的超车轨迹行驶。     

基于改进DBSCAN算法的激光雷达目标物检测方法

传统的DBSCAN聚类算法是基于密度的聚类算法,原始算法在搜索精度和搜索效率上存在一定的局限性。基于LUX4线激光雷达数据点的点云特点,结合DBSCAN算法存在的不足与路面目标物的实际情况,提出了1种基于改进的DBSCAN聚类算法,选取4个代表点取代对所有点的搜索和改进搜索半径使其随扫描的距离而变化的方法,实现激光雷达目标物的快速、准确检测。通过改进DBSCAN算法对雷达数据进行去噪声和聚类处理,根据检测物在激光雷达探测中的形状特征模型进行形状匹配。实验结果表明该改进算法能较好的识别出目标物,行人检测率由原始算法的61.90%提高到了80.95%,搜索时间较原始算法缩短了44.7%,解决了原始算法精度低、搜索慢的缺点。     

基于多传感器信息融合的3维目标实时检测

针对基于多传感器信息融合的3维目标检测，提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段，在区域提案网络中，首先将3维点云投影到2维图像上生成6维RGB点云，然后对输入的6维RGB点云进行特征提取，得到低维特征图与高维特征图，利用融合后的特征图生成大量置信度较高的提案；第2阶段，在目标检测网络中，利用第1阶段生成的提案进行RoI池化，得到特征图上与每个提案对应的特征集合，通过针对性地学习提案的特征集合，实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明，PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络，甚至优于某些先进的多传感器信息融合网络，而且整个网络的目标检测速度为12帧/s，满足实时性要求。     

基于全局位置精度损失最小化的路侧多传感器目标关联匹配方法

针对路侧单传感器存在感知盲区、多传感器协同感知存在大量冗余信息且位置精度较差、车辆位姿准确值无法在线获取等问题,提出一种基于全局位置精度损失最小化的路侧多传感器目标关联匹配方法.首先,根据各传感器历史数据,以方差最小化为优化目标进行多传感器权重分配;然后,基于级联KM匹配算法处理多传感器存在大量冗余信息的目标级数据,实...     

基于激光视觉融合的帧间匹配方法

同步定位与地图构建(Simultaneous Location and Mapping, SLAM)是机器人在未知环境中实现自我导航能力的重要保证。目前SLAM算法使用的主传感器基本是激光雷达或视觉相机。二者各具优劣,激光雷达能更精确地进行测距,视觉相机能反映环境丰富的纹理信息。与使用单一传感器相比,将二者融合的SLAM算法能够获得更多环境信息,达到更好的定位和建图效果。文章提出一种融合激光雷达和视觉相机的帧间匹配方法,通过在SLAM帧间匹配过程中加入地面约束以及视觉特征约束,提高帧间匹配过程精度,增强算法鲁棒性,从而提升SLAM算法整体效果。文章最后利用采集的地下停车库数据进行结果验证,与开源算法A-LOAM进行对比。结果表明,相比A-LOAM的帧间匹配方法,文章提出的方法相对位姿误差提升约30%。     

基于改进YOLOv2模型的驾驶辅助系统实时行人检测

为解决驾驶辅助系统(ADAS)对复杂背景行人和小尺寸行人检测精度较低的问题,基于深度神经网络模型YOLOv2建立了ADAS实时行人检测模型YOLOv2-P。首先在特征提取网络中采用参数化修正线性单元激活函数,以从训练数据中自适应地学习参数,并在行人检测网络中采用多层特征图融合方法,将低层特征图信息与高层特征图信息进行融合;然后使用交叉熵损失函数替代YOLOv2模型中的sigmoid激活函数,并对宽度、高度损失函数进行归一化处理;最后采用迭代自组织数据分析算法对行人数据集中行人边界框尺寸进行聚类。试验结果表明:相比于YOLOv2,YOLOv2-P对复杂背景行人及小尺寸行人的检测精度有明显提升,能够满足ADAS行人检测准确性和实时性需要。     

基于并行短时面部特征的驾驶人疲劳检测方法研究

为实现更快速、准确的疲劳预警,提出了一种基于并行短时面部特征的驾驶人疲劳检测方法。基于加入了MicroNet模块、CA注意力机制、Wise-IoU损失函数的YOLOv7-MCW目标检测网络提取驾驶人面部的短时面部特征,再使用并行Informer时序预测网络整合YOLOv7-MCW目标检测网络得到的面部时空信息,对驾驶人疲劳状态进行检测与预警。结果表明：在领域内公开数据集UTA-RLDD和NTHU-DDD上,YOLOv7-MCW-Informer模型的准确率分别为97.50%和94.48%,单帧检测时间降低至28 ms,证明该模型具有良好的实时疲劳检测性能。     

基于检测无迹信息融合算法的多传感融合方法

针对单一传感器对目标车辆识别准确率低的问题,提出一种基于毫米波雷达和摄像头信息融合的目标跟踪方法,同时,基于扩展信息融合(EIF)和无迹信息融合(UIF)原理建立了检测无迹信息融合(CUIF)算法,对多传感器信息进行融合。CUIF算法采用分布式融合结构,将来自不同传感器的轨迹相互关联并融合以获得目标轨迹,并利用分布式检测系统对获取的传感器延迟信息进行实时系统状态补偿,从而解决了单传感器信号延迟、丢包等问题。通过CarSim与Simulink联合搭建仿真和试验平台对所研究的融合模型进行算法验证。试验结果表明,CUIF算法的目标丢失率比EIF和UIF减少了10%以上,它将时间延迟缩短至5 ms,满足系统对实时性的要求。     

一种混合视觉的车载激光雷达即时定位与地图构建方法

为提高地图的构建精度,提出一种混合视觉即时定位与地图构建方法.利用相机和激光雷达标定获得具有颜色信息的点云,并对点云数据进行预处理,选取相邻帧点云之间的特征点,制定匹配策略,对匹配点采取未解耦的位姿求解算法,获取两帧间的变换矩阵作为后续帧间匹配的初值.分别利用KITTI数据集和实车试验数据进行验证,结果表明,所提出的方...     

基于稀疏彩色点云的自动驾驶汽车3D目标检测方法

针对目前在自动驾驶汽车中,目标检测的点云分割与识别算法的准确率低等问题,提出一种稀疏彩色点云结构,该结构由摄像头采集的图像信息与激光雷达采集的点云信息进行空间匹配与特征叠加后生成.通过改进的PointPillars神经网络算法对融合后的彩色稀疏点云进行运算.实验结果表明,本方法在平均精度上比原算法有较大的提升,尤其是对...     

对高速公路移动目标跟踪的多传感器采集数据融合

针对目前多传感器数据融合算法存在的问题,提出了一种基于冗余信息的多传感器数据融合算法。此算法利用分布式融合结构的优点和强跟踪滤波对于机动目标获得局部状态估计值,通过提取各局部状态估计之间存在的冗余信息建立局部状态估计间的相互支持度,从而实现对其权系数动态的合理分配;通过理论分析和Monte-Carlo仿真表明,本文提出的算法得到的融合估计效果明显地优于利用单传感器测量数据得到的滤波估计结果,算法受外界随机干扰的影响较小,也证明了用分布式融合结构和强跟踪滤波对机动目标的局部状态估计值可信度高,基于冗余信息的多传感器数据融合算法具有较好的鲁棒性。     

基于三维激光点云的目标识别与跟踪研究

针对无人车环境感知中的障碍物检测问题,设计了一套基于车载激光雷达的目标识别与跟踪方法。为降低计算量,提高处理速度,引入了点云过滤与分割算法对原始激光点云数据进行缩减,有效提高了检测的实时性。使用多特征复合判据,基于SVM分类器改进了Adaboost算法,对三维激光点云进行直接处理,最大限度保留了感知信息,提高了识别准确度。提出基于最大熵模糊聚类的数据关联方法和相应的粒子滤波器,有效提高了复杂交通流中目标跟踪的稳定性和准确性。经百度Apollo平台数据集仿真、自主研发的无人驾驶平台实验验证和针对小目标交叠和遮挡情况的实车验证表明,该套方法具有良好的实时性和鲁棒性。     

基于多传感器融合的排队长度检测系统设计

提出了一种基于多传感器信息融合的交通路口排队长度检测方法,该系统以无线地磁车辆检测器作为数据检测来源,基于无线传感器网络,构建了一种互联感知的分布式检测系统.系统以多检测节点协同工作的模式,由点到面,实现排队长度等深度路交通流信息获取,为交通信号控制系统提供准确的路网交通流数据.系统基于交通流特性建立数学模型,采用无线地磁车辆检测器及多传感器融合算法实现交通路口各方向排队长度检测.可实现红灯期间实时排队长度检测及绿灯放行期间队首位置判别及实时排队长度检测.通过绿信比优化,均衡各相位绿灯时间的分配,对提高道路通行能力有重要意义.     

基于毫米波雷达和机器视觉融合的车辆检测

针对车辆检测中使用传统单一传感器的识别效果差、易受干扰等缺点,本文提出一种基于毫米波雷达和机器视觉融合的车辆检测方法.首先利用分层聚类算法对雷达数据进行处理,过滤无效目标;利用改进的YOLO v2算法降低漏检率,提高检测速度;然后运用目标检测交并比和全局最近邻数据关联算法实现多传感器数据融合;最后基于扩展卡尔曼滤波算法...