基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

驾驶辅助系统基于融合显著性的行人检测算法

为满足先进驾驶辅助系统的高准确性行人检测要求,提出一种模拟人类注意力机制的视觉显著性行人检测方法。基于仅含行人信息的标记样本库,建立了条件随机场(CRF)模型,以实现不同显著性计算方法的最优融合。实际检测中,首先采用SLIC算法进行图像超像素形式的几何信息划分,进而对可能存在行人的区域进行初筛选,随后在可能的行人区域内,采用CRF模型计算显著性,并将具有较高显著性的区域确定为行人区域。实验结果表明,该方法具有较好的判别性能并达到满意的检测率,同时,采用的行人区域筛选方法在一定程度上缩短了算法的检测时间,基本满足了车载平台的实时性要求。     

车路协同环境下行人目标信息融合算法研究

车载行人识别系统由于存在检测距离精确度不高及受遮挡影响较大等问题,在弯道及交叉口情况下适应性差。为提高行人防碰撞系统的预警效果,提出在车路协同环境下的行人目标信息融合算法研究。采用路侧和车载摄像头检测行人轨迹信息,通过Kalman滤波进行信息预处理,其次分别通过时间对准、空间对准、轨迹关联和信息融合完成对行人目标的位置估计。最后,搭建实车实验平台,对提出的信息融合算法进行验证。实验结果显示,对于X方向的行人轨迹误差,通过轨迹融合后,行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小,分别为50.00%,55.56%;对于Y方向的行人轨迹误差,通过轨迹融合后,行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小,分别为40.00%,62.07%。实验结果表明,该融合算法提高了行人轨迹检测精度,增强了系统的预警精确度。     

基于改进YOLOv2模型的驾驶辅助系统实时行人检测

为解决驾驶辅助系统(ADAS)对复杂背景行人和小尺寸行人检测精度较低的问题,基于深度神经网络模型YOLOv2建立了ADAS实时行人检测模型YOLOv2-P。首先在特征提取网络中采用参数化修正线性单元激活函数,以从训练数据中自适应地学习参数,并在行人检测网络中采用多层特征图融合方法,将低层特征图信息与高层特征图信息进行融合;然后使用交叉熵损失函数替代YOLOv2模型中的sigmoid激活函数,并对宽度、高度损失函数进行归一化处理;最后采用迭代自组织数据分析算法对行人数据集中行人边界框尺寸进行聚类。试验结果表明:相比于YOLOv2,YOLOv2-P对复杂背景行人及小尺寸行人的检测精度有明显提升,能够满足ADAS行人检测准确性和实时性需要。     

恶劣天气红外热成像行人检测方法研究

为了提高智能汽车在恶劣天气对行人检测的速度和精度,本文提出一种基于YOLO V4的红外热成像行人检测方法.通过迁移学习对YOLO V4模型进行再训练,可快速而准确地实现恶劣道路环境的行人检测.     

基于边缘对称性的车辆前方行人检测方法研究

利用视觉传感器信息丰富的特性，提出了一种基于边缘对称性的行人检测方法。利用Sobel算子和Hough变换确定车辆前方的感兴趣区域（AOI），然后提取感兴趣区域图像的垂直边缘，根据行人腿部的垂直边缘对称性确定垂直边缘对称轴，并结合行人形态特征以确定行人初始候选区域，最后采用灰度对称性和局部熵对行人候选区域进行目标识别验证。道路试验结果表明，该检测方法识别有效、可靠，并具有良好的鲁棒性。     

基于多源信息融合的行人检测实时性方法研究

目前车辆安全预警系统中存在行人检测粗检不准,细检过慢的问题,孤立的采用激光、雷达、红外或是摄像机均很难满足行人检测实时而准确的需求.考虑用多源信息融合的方法进行行人检测即将雷达与摄像机结合运用,使它们的信息有机融合,在提高速度的同时又不以降低精度为代价.研究了适应车载安全系统的摄像机标定与确定行人重点检测区域的方法.     

典型汽车碰撞事故场景中行人运动轨迹预测方法

为提高未来自动驾驶车辆对弱势道路使用群体的感知和决策融合的可靠性，本文提出一种基于目标检测算法（YOLOv5）、多目标跟踪算法（Deep-Sort）和社交长短时记忆神经网络（social-long short-term memory,Social-LSTM）的行人未来运动轨迹预测方法。结合YOLOv5检测和Deep-Sort跟踪算法，有效解决行人检测跟踪过程中目标丢失问题。提取特定行人目标历史轨迹作为预测框架的输入边界条件，并采用Social-LSTM预测行人未来运动轨迹。并对未来运动轨迹进行透视变换和直接线性变换，转换为世界坐标系中的位置信息，预测车辆与行人的可能未来碰撞位置。结果显示目标检测精度达到93.889%，平均精度均值达96.753%，基于高精度的检测模型最终轨迹预测算法结果显示，预测损失随着训练步长的增加呈递减趋势，最终损失值均小于1%，其中平均位移误差降低了18.30%，最终位移误差降低了51.90%，本研究可为智能车辆避撞策略开发提供理论依据和参考。     

基于雷达和视觉技术的车辆跟踪窗口

针对基于视觉技术的运动检测鲁棒性差、计算量大的缺点,提出一种融合雷达与视觉信息建立车辆跟踪窗口的方法。采用动力学模型描述车辆运动,通过基于雷达量测的扩展卡尔曼滤波(EKF)估计,确定目标初始位置,然后根据灰度信息自适应调整跟踪窗口的中心位置及尺寸,快速而准确地建立起以目标形心为中心且适合目标大小的跟踪窗口,缩小了后续图像处理区域。三维场景仿真实验证明,该融合方法能快速有效地建立起目标的跟踪窗口。     

一种基于机器视觉的车道偏离报警系统

本文介绍了车道偏离报警系统及其国内外的研究现状,重点介绍了基于机器视觉的车道偏离报警系统。对基于机器视觉的车道偏离报警系统中的CPCI架构的硬件结构和车道线实时检测算法进行了描述,提出了一种切实有效的车道线检测算法。