基于多传感器信息融合的3维目标实时检测

针对基于多传感器信息融合的3维目标检测，提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段，在区域提案网络中，首先将3维点云投影到2维图像上生成6维RGB点云，然后对输入的6维RGB点云进行特征提取，得到低维特征图与高维特征图，利用融合后的特征图生成大量置信度较高的提案；第2阶段，在目标检测网络中，利用第1阶段生成的提案进行RoI池化，得到特征图上与每个提案对应的特征集合，通过针对性地学习提案的特征集合，实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明，PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络，甚至优于某些先进的多传感器信息融合网络，而且整个网络的目标检测速度为12帧/s，满足实时性要求。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于相机与激光雷达融合多目标检测算法研究

准确的多目标感知系统是自动驾驶技术的关键。本文提出了一种基于相机与激光雷达融合的多目标检测算法。针对相机传感器无法获得准确的目标距离等深度信息,激光雷达无法获得准确的目标类别信息的问题,首先采用嵌入自适应特征融合模块的YOLOv7网络处理相机数据,同时对激光雷达数据进行点云预处理以消除无用的噪声点;其次,利用坐标变换将激光点云数据和相机数据转换到像素坐标系中;最后,采用基于ROI感兴趣区域的方法对点云进行聚类处理,以参数加权的方式融合两种传感器的检测结果。实验结果表明,嵌入改进YOLOv7网络的融合算法能够检测出更加准确的目标信息。     

基于稀疏彩色点云的自动驾驶汽车3D目标检测方法

针对目前在自动驾驶汽车中,目标检测的点云分割与识别算法的准确率低等问题,提出一种稀疏彩色点云结构,该结构由摄像头采集的图像信息与激光雷达采集的点云信息进行空间匹配与特征叠加后生成。通过改进的PointPillars神经网络算法对融合后的彩色稀疏点云进行运算。实验结果表明,本方法在平均精度上比原算法有较大的提升,尤其是对行人和骑单车人的识别平均精度的提升更为明显,在中等难度下的行人和骑单车人3D检测的平均精度值分别提升13.8%和6.6%,显示了本方法的有效性。     

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

融合自适应光照预处理和深度学习的钢桥腐蚀检测方法

针对钢结构桥梁实桥腐蚀图像往往由于光照条件较差或光照不均匀导致腐蚀区域检测困难的问题,提出了一种融合自适应光照预处理方法和深度学习的钢桥腐蚀检测方法。首先,采用Global and Local Fusion(GLF)对比度增强算法结合KinD++低光增强模型的方法,对图像进行预处理;其次,采用粗标注结合K-means算法标注腐蚀区域得到分割标签;最后,采用原始图像和预处理后图像分别对UNet++网络进行了训练和测试,验证了所提出的预处理方法的有效性和优越性。结果表明：所提出的自适应光照预处理方法有效改善了实桥腐蚀图像的光照不均和低光照问题,修复和增强了细节和纹理特征信息,颜色保真度较高;所提出的数据标注方法能够精准标注腐蚀区域,减少边缘描绘工作;与原始图像相比,该方法预处理后的图像训练的模型在准确率、精确率、召回率、F1-score、交并比IoU和A_UC上分别提高了5.2%、2.7%、22.5%、19.4%、25.4%和10.5%;对于光照良好的均匀腐蚀图像,预处理对分割精度提高有限,对于点蚀图像,分割精度有较大的提高,对于低光照或光照均匀性较差的图像,分割精度得...     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

多线索融合的结构化道路检测算法研究

为实现结构化道路的检测，提出了一种用于道路检测的激光雷达和视觉融合法，通过提取激光雷达在道路边缘的三维点云信息，将其投影到视觉图像上，形成激光点云与图像的映射关系，生成激光雷达似然图。通过改进提取道路的颜色、纹理、水平线等特征的方法，生成相对应的视觉似然图。在贝叶斯框架下将激光雷达和视觉生成的似然图进行融合。在KITTI数据集上测试可知，精度达到94%，准确率达到86%，表明该道路检测法具有较好的道路检测果。     

基于体素柱形的激光雷达点云车辆目标检测算法

环境车辆是自动驾驶汽车行驶时的主要障碍物之一，对环境车辆的尺寸、位置、朝向等空间信息进行感知对于保障行驶安全具有重要意义。激光雷达点云数据包含了场景中物体表面扫描点的三维坐标，是实现车辆目标检测任务的重要数据来源。结合SECOND与PointPillars方法，提出一种基于体素柱形的三维车辆目标检测模型，利用三维稀疏卷积聚合点云局部特征，在体素特征图上构造柱形并进行特征编码，有效解决点柱形方法缺乏柱形间特征交互问题，增强点云特征的空间语义信息；基于均值池化操作生成锚框点云占据位图并提出一种简单负样本过滤策略，在模型训练阶段筛除预设在无点云覆盖区域的无效锚框，缓解正负样本或难易样本不均衡问题；在目标框回归模块中，使用类别置信度与交并比(IoU)预测值计算混合置信度，改善分类分支与位置回归分支结果不一致问题，并使用KITTI三维目标检测数据集进行模型训练与评估。研究结果表明：在严格判定标准下(IoU阈值设置为0.7),所提算法在简单、中等、困难3种难度级别下分别获得了89.60%、79.17%、77.75%的平均检测精度(AP_3D),与SECOND、PointPill...     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于改进YOLOv2模型的驾驶辅助系统实时行人检测

为解决驾驶辅助系统(ADAS)对复杂背景行人和小尺寸行人检测精度较低的问题,基于深度神经网络模型YOLOv2建立了ADAS实时行人检测模型YOLOv2-P。首先在特征提取网络中采用参数化修正线性单元激活函数,以从训练数据中自适应地学习参数,并在行人检测网络中采用多层特征图融合方法,将低层特征图信息与高层特征图信息进行融合;然后使用交叉熵损失函数替代YOLOv2模型中的sigmoid激活函数,并对宽度、高度损失函数进行归一化处理;最后采用迭代自组织数据分析算法对行人数据集中行人边界框尺寸进行聚类。试验结果表明:相比于YOLOv2,YOLOv2-P对复杂背景行人及小尺寸行人的检测精度有明显提升,能够满足ADAS行人检测准确性和实时性需要。     

基于目标空间分布特征的无人机航拍车辆实时检测技术研究

针对无人机航拍视角下存在整体图像分辨率高但占比较高的小尺度车辆检测特征点稀少这一问题,从卷积网络检测器针对性优化与基于目标分布特征的航拍图像自适应切分2个角度综合考虑,提出一种基于目标空间分布特征的无人机航拍车辆检测网络DF-Net。以单阶段目标检测框架SSD为基础,引入深度可分离卷积和抗混叠低通滤波器对网络结构进行优化搭建E-SSD,为后续检测网络搭建提供高效检测器;接着基于条件生成对抗CGAN思想构建密度估计网络生成器,从而得到航拍图像中车辆的准确分布特征,生成高质量的车辆密度图;将E-SSD与车辆密度估计网络结合,对车辆密度图进行自适应切分,并将切分后的局部图像与全局图像一同输入E-SSD,最后在决策层融合检测结果,由此实现对航拍视角道路交通场景下车辆目标的精确高效检测。在试验中,一方面将设计的基于目标空间分布特征的无人机航拍车辆检测网络DF-Net与E-SSD进行对比分析,另一方面将DF-Net与航拍目标检测领域表现较为优秀的网络进行比较。研究结果表明：设计的方法对于2个试验在均值平均精度指标上均有提升,与E-SSD网络对比时提升了至少4.4%,与航拍目标检测领域优秀网络比较时也有一定提升,并保持了较好的实时性。     

基于无人机的悬索桥主缆自动巡检及小样本表观病害识别

为了实现悬索桥主缆的自动化、智能化检查,开展了基于无人机的主缆巡检路径规划和小样本数据下的主缆病害识别研究。首先,利用无人机倾斜摄影测量技术快速建立悬索桥的三维模型,提出主缆无人机自动巡检路径的规划方法;然后,采用Faster RCNN网络模型识别主缆图像中的表观病害;最后,采用基于图像融合的数据增强方法,提高小样本数据集下目标检测的准确率。在Faster RCNN网络模型训练过程中,随着训练轮次的增加,测试集中裂纹、锈蚀和划痕3类病害的平均精确率得到提升,并在第15个训练轮次后逐渐稳定,在经过100个训练轮次后,测试集中所有类别的平均精确率为0.723。以小龙湾桥为研究对象,进行了主缆的现场检查试验。研究结果表明：基于悬索桥三维模型进行主缆无人机自动巡检路径规划具有实际可行性;基于Faster RCNN网络模型能较准确地识别主缆的裂纹、锈蚀和划痕病害;利用图像融合方法生成病害数据能有效克服数据样本少的问题,并提高识别的准确性。     

基于Mask R-CNN网络模型的无人驾驶感知

近几年深度学习技术在图像检测方面的应用取得了极大的突破,利用卷积神经网络模型可高效且准确的识别目标。一种开源网络模型——Mask R-CNN,被用于无人驾驶感知检测,取得了较好的检测效果。为了进一步提高检测精度,提出迁移学习方法重新训练网络,使得网络更适用于无人驾驶领域的感知任务。     

基于3D视觉的机械臂无规则零件抓取系统

为解决机械臂抓取零件定位不准或抓取精度不高的问题，提出了一种基于3D视觉机械臂无规则零件抓取方法，该方法主要包括系统空间标定、零件点云定位分割、零件位姿估计算法模块，提出了基于2D图像的点云相机外参标定方法及基于图像语义分割的零件点云分割方法。经试验验证，所提出的标定方法达到1 mm的系统精度误差，而且求解效率高、通用性强；与常用的聚类分割相比，零件点云分割方法精度及效率更高。所设计的二阶段零件空间位姿计算方法能准确估计零件在空间中的6自由度位姿，相比单一阶段匹配方法精度提高约1.8倍。所提出的基于3D视觉的机械臂无规则零件抓取系统精度高、可扩展性强、适应情形广。     

基于无损跨尺度特征融合的交通目标检测算法

针对复杂道路环境下交通目标与背景区分度低、交通小目标密集度高、部分遮挡严重、容易产生漏检、误检等问题，提出了一种融合注意力的无损跨尺度复合空洞残差网络的交通目标检测算法。通过改进SSD基础骨干网络和残差结构，加强网络提取强表征性的高级语义信息能力，解决信息传递损耗和丢失问题。在此基础上提出一种新的多视野聚合空洞残差单元，通过设置不同膨胀率的空洞卷积，获得不同大小感受野，聚合上下文信息实现大目标与小目标的兼顾。提出一种新的无损失跨尺度融合模块，通过该模块进行通道重组，结合通道维度信息填充像素，实现跨通道像素信息融合，进一步提升特征提取的能力。同时引入了坐标注意力机制，将轴向的空间坐标通道信息有效整合到生成注意力图中，构建出能够捕获跨通道信息且包含方向感知和位置敏感信息的注意力残差单元与多视野聚合空洞残差单元。此外，通过引入Soft-NMS降低与高置信度预测框重叠度较大的目标框的置信度，增加二次检测机会，提升了网络模型召回率。最后引入解耦检测头以加快模型收敛速度和提高检测精度。在VOC数据集07+12上的试验结果表明，算法平均精度提升了6.46%,证明了提出算法的准确性和鲁棒性。     

基于小波提升框架的交通目标检测与跟踪

交通图像分析是智能交通领域的关键技术之一。为实现复杂交通场景中的多目标检测与跟踪,设计了一种结合小波提升框架和KLT特征点跟踪的多运动目标检测与跟踪算法。对序列图像中相邻两帧图像的融合图像进行小波提升变换,求取水平和垂直方向上的小波能量,通过合理阈值二值化小波能量矩阵,再利用贴标签方法检测出运动目标;利用KLT特征点集合代表目标,通过跟踪后的特征点集合与目标检测区域的相互关联,实现多目标的跟踪。实验结果表明了所提算法的有效性。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题，提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性，综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点，改进算法提出基于大气散射模型的数据集增强方法；为增强特征提取过程中全局特征的关注能力，改进算法的主干网络采用Swin Transformer提取船舶红外图像特征，并通过滑动窗口多头自注意力机制扩大窗口视野范围；为增强网络对密集小目标空间特征提取能力，通过改进多尺度特征融合网络（PANet），引入底层特征采样模块和坐标注意力机制（CA），在注意力中捕捉小目标船舶的位置、方向和跨通道信息，实现小目标的精确定位；为降低漏检率和误检率，采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失，结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构，提高目标检测结果的可靠性。实验结果表明:在一定浓度的雾霾环境下，改进算法的平均识别精度为93.73%，平均召回率为98.10%，平均检测速率为每秒38.6帧；与RetinaNet、Faster R-CNN、YOLOv3 SPP、YOLOv4、YOLOv5和YOLOv6-N算法相比，其平均识别精度分别提升了13.90%、11.53%、8.41%、7.21%、6.20%和3.44%，平均召回率分别提升了11.81%、9.67%、6.29%、5.53%、4.87%和2.39%。综上，所提的Swin-YOLOv5s改进算法对不同大小的船舶目标识别均具备较强的泛化能力，并具有较高的检测精度，有助于提升港区水域船舶的监管能力。