基于三维锥形栅格的激光点云语义分割方法EI北大核心CSCD

激光点云语义分割是自动驾驶系统中道路场景感知的重要分支。虽然主流方法将点云转换为规则的二维图像或笛卡尔栅格进行处理,减少因点云非结构化所带来的计算量,但二维图像方法不可避免地改变点云的三维几何拓扑结构,而笛卡尔栅格忽略了室外激光点云的密度不一致性,从而限制了包括行人和自行车等小物体的语义分割能力。因此,本文中提出了一种基于三维锥形栅格和稀疏卷积的激光点云语义分割方法,利用锥形栅格分区解决了点云的稀疏性和密度不一致的问题;为提高模型推理速度,设计了重参数化三维稀疏卷积网络。在SemanticKITTI和nuScenes两个大规模数据集上对所提方法进行评估。结果表明,与目前最新的点云分割方法相比,所提方法的平均交并比分别提升了1.3%和0.8%,尤其对小物体识别有显著的提升。     

基于K-means算法的行人检测方法研究

行人作为交通事故易受伤群体之一,其安全保障越发受到重视.结合车载激光测距仪实时采集的车辆前方障碍物距离信息,提出基于K-means算法的行人检测方法.首先对激光测距仪接收的距离信息进行报文解析,形成激光云点图.其次,对激光云点图进行预处理,消除冗余数据.再应用K-means聚类算法对前方障碍物进行分类,最后建立行人宽度模型甄别行人目标.试验结果表明,基于K-means聚类算法能从激光云点图中快速提取行人目标,为汽车主动安全及交通安全研究提供基础.     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

基于KDTree树和欧式聚类的越野环境下行人识别的研究

越野环境下行人的识别是班组伴随自动驾驶车辆的基础要求。本文中针对激光雷达点云数据中的行人识别问题,特别是越野环境下的特殊问题,提出基于聚类思想的解决方案。在理论分析的基础上,结合人的几何物理特征,设计了基于KDTree和欧式聚类的行人识别算法,并在越野环境下履带式车辆上进行试验。结果表明,所设计的激光雷达行人识别算法能准确识别激光雷达点云数据中的行人,在越野环境下有良好的识别率。     

基于改进DBSCAN算法的激光雷达目标物检测方法

传统的DBSCAN聚类算法是基于密度的聚类算法,原始算法在搜索精度和搜索效率上存在一定的局限性。基于LUX4线激光雷达数据点的点云特点,结合DBSCAN算法存在的不足与路面目标物的实际情况,提出了1种基于改进的DBSCAN聚类算法,选取4个代表点取代对所有点的搜索和改进搜索半径使其随扫描的距离而变化的方法,实现激光雷达目标物的快速、准确检测。通过改进DBSCAN算法对雷达数据进行去噪声和聚类处理,根据检测物在激光雷达探测中的形状特征模型进行形状匹配。实验结果表明该改进算法能较好的识别出目标物,行人检测率由原始算法的61.90%提高到了80.95%,搜索时间较原始算法缩短了44.7%,解决了原始算法精度低、搜索慢的缺点。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于稀疏卷积神经网络的车载激光雷达点云语义分割方法

对车载激光雷达扫描得到的点云进行语义分割是保证行车安全、加强驾驶员对周边环境理解的重要手段之一。因为内存限制和大规模点云场景更加稀疏的特点,将传统神经网络的方法直接沿用到车载激光雷达扫描得到的点云场景中的效果不佳。本文中针对大规模点云的稀疏性,利用稀疏卷积神经网络对体素化点云进行特征提取。考虑到逐点处理分支抑制点云数据的密度不一致性导致的信息损失,另外设计了3D-CA和3D-SA模块,使稀疏卷积神经网络更好地提取特征。实验结果表明,与传统卷积神经网络的方法和将点云投影到平面的方法相比,使用稀疏卷积神经网络对大规模点云进行语义分割,可将平均交并比提升4.1%和3.4%,证明了该方法的有效性。     

基于改进门控上下文聚合网络的雾天实时行人检测方法

针对自动驾驶车辆在雾天情况下易将行人误检和漏检的问题，提出一种基于改进GCANet除雾网络和CenterNet检测网络相结合、有效进行雾天行人识别的联合检测方法。该方法在GCANet中引入结合底层细节和全局结构的复合损失函数，优化除雾图的结构细节及图像质量；并将改进的GCANet除雾算法应用于检测算法的训练图像预处理中，最后送入CenterNet网络训练。试验结果显示，本文提出的方法在合成雾天数据集Foggy Citypersons上的平均对数漏检率MR-2值达到9.65，在真实雾天数据集RTTS上的平均精度AP50值达到86.11，降低了雾天场景下行人的漏检和误检情况，有效提升了检测网络在雾天条件下的泛化能力。     

典型汽车碰撞事故场景中行人运动轨迹预测方法

为提高未来自动驾驶车辆对弱势道路使用群体的感知和决策融合的可靠性，本文提出一种基于目标检测算法（YOLOv5）、多目标跟踪算法（Deep-Sort）和社交长短时记忆神经网络（social-long short-term memory,Social-LSTM）的行人未来运动轨迹预测方法。结合YOLOv5检测和Deep-Sort跟踪算法，有效解决行人检测跟踪过程中目标丢失问题。提取特定行人目标历史轨迹作为预测框架的输入边界条件，并采用Social-LSTM预测行人未来运动轨迹。并对未来运动轨迹进行透视变换和直接线性变换，转换为世界坐标系中的位置信息，预测车辆与行人的可能未来碰撞位置。结果显示目标检测精度达到93.889%，平均精度均值达96.753%，基于高精度的检测模型最终轨迹预测算法结果显示，预测损失随着训练步长的增加呈递减趋势，最终损失值均小于1%，其中平均位移误差降低了18.30%，最终位移误差降低了51.90%，本研究可为智能车辆避撞策略开发提供理论依据和参考。     

基于倾向流和深度学习的机场运动目标检测

针对当前基于视频图像的场面监视目标检测方法存在定位误差较大,识别准确率低等问题,建立一种结合目标运动信息的机场场面运动目标检测方法:利用倾向流法提取出运动目标在图像中的候选区域,对候选区域执行点池化操作以确定区域建议的边界,采用Inception结构构建一个浅层卷积神经网络,并使用该网络对区域建议中的航空器、车辆和人员进行识别.结合国内机场的监视视频,构建了一个包含4 938张图片的机场目标数据集,用于算法的训练和测试.结果 表明,运动目标提取的准确率达到94%以上,运动目标识别的Top-1准确率达到了97.23%,运动目标平均准确率达到86.23%.与3种深度学习目标检测算法相比,运动目标检测精度平均提升了39%.      

基于虚拟点云的二阶段多模态融合网络

针对点云的稀疏性和无序性对目标检测准确率的影响,本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先,利用图像检测目标信息构造虚拟点云,增加点云的密集程度,从而提高目标特征的表现;其次,增加点云特征维度以区分真实和虚拟点云,并使用含置信度编码的体素,增强点云的相关性;最后,采用虚拟点云的比例系数设计损失函数,增加图像检测有监督训练,提高二阶段网络训练效率,避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试,检测精度优于经典三维点云检测网络和某些多传感器信息融合网络,车辆检测精度达到了86.9%。     

基于动作预测与环境条件的行人过街意图识别

考虑到人车冲突多发于行人过街过程,本文中提出了一种基于行人动作预测与环境条件的过街意图识别网络MIFRN,它通过结构各异的子网络分别对行人的未来动作信息、行人周围的局部交通场景、车速和人车距离信息进行编码,并在信息融合的基础上预测行人是否有过街意图。最后在公共数据集PIE和JAAD上验证了算法的性能。结果表明:本文提出的方法可准确并鲁棒地识别行人的过街意图。     

基于改进YOLOv2模型的驾驶辅助系统实时行人检测

为解决驾驶辅助系统(ADAS)对复杂背景行人和小尺寸行人检测精度较低的问题,基于深度神经网络模型YOLOv2建立了ADAS实时行人检测模型YOLOv2-P。首先在特征提取网络中采用参数化修正线性单元激活函数,以从训练数据中自适应地学习参数,并在行人检测网络中采用多层特征图融合方法,将低层特征图信息与高层特征图信息进行融合;然后使用交叉熵损失函数替代YOLOv2模型中的sigmoid激活函数,并对宽度、高度损失函数进行归一化处理;最后采用迭代自组织数据分析算法对行人数据集中行人边界框尺寸进行聚类。试验结果表明:相比于YOLOv2,YOLOv2-P对复杂背景行人及小尺寸行人的检测精度有明显提升,能够满足ADAS行人检测准确性和实时性需要。     

基于两阶段分类算法的中国交通标志牌识别

自动驾驶技术对于缓解交通拥堵,降低交通运输成本具有重要作用;高级驾驶辅助系统（ADAS）可以有效增加汽车驾驶的舒适性和安全性。交通标志牌中包含了丰富的语义信息,为自动驾驶汽车和ADAS的决策提供重要约束,因此交通标志牌的识别算法开发至关重要。本文基于中国交通场景特点以及自动驾驶、ADAS对于交通标志牌识别的高准确性需求,提出了一种基于两阶段分类的交通标志牌识别算法框架。算法包含检测和分类两个阶段,检测阶段检测出图像中的交通标志牌,分类阶段对交通标志牌先后进行大类和子类划分。算法通过细化任务,独立提升各算法模块的性能,进而提高整体算法的识别精度。本文对单阶段识别算法进行改进作为算法的检测模块,实验结果表明,提出的算法精度上优于基准单阶段识别算法,mAP平均提升8.52%,并且在检测速度优于传统两阶段识别算法Faster RCNN的情况下,mAP提升40%以上。     

基于体素柱形的激光雷达点云车辆目标检测算法

环境车辆是自动驾驶汽车行驶时的主要障碍物之一，对环境车辆的尺寸、位置、朝向等空间信息进行感知对于保障行驶安全具有重要意义。激光雷达点云数据包含了场景中物体表面扫描点的三维坐标，是实现车辆目标检测任务的重要数据来源。结合SECOND与PointPillars方法，提出一种基于体素柱形的三维车辆目标检测模型，利用三维稀疏卷积聚合点云局部特征，在体素特征图上构造柱形并进行特征编码，有效解决点柱形方法缺乏柱形间特征交互问题，增强点云特征的空间语义信息；基于均值池化操作生成锚框点云占据位图并提出一种简单负样本过滤策略，在模型训练阶段筛除预设在无点云覆盖区域的无效锚框，缓解正负样本或难易样本不均衡问题；在目标框回归模块中，使用类别置信度与交并比(IoU)预测值计算混合置信度，改善分类分支与位置回归分支结果不一致问题，并使用KITTI三维目标检测数据集进行模型训练与评估。研究结果表明：在严格判定标准下(IoU阈值设置为0.7),所提算法在简单、中等、困难3种难度级别下分别获得了89.60%、79.17%、77.75%的平均检测精度(AP_3D),与SECOND、PointPill...     

车路协同环境下行人目标信息融合算法研究

车载行人识别系统由于存在检测距离精确度不高及受遮挡影响较大等问题,在弯道及交叉口情况下适应性差。为提高行人防碰撞系统的预警效果,提出在车路协同环境下的行人目标信息融合算法研究。采用路侧和车载摄像头检测行人轨迹信息,通过Kalman滤波进行信息预处理,其次分别通过时间对准、空间对准、轨迹关联和信息融合完成对行人目标的位置估计。最后,搭建实车实验平台,对提出的信息融合算法进行验证。实验结果显示,对于X方向的行人轨迹误差,通过轨迹融合后,行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小,分别为50.00%,55.56%;对于Y方向的行人轨迹误差,通过轨迹融合后,行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小,分别为40.00%,62.07%。实验结果表明,该融合算法提高了行人轨迹检测精度,增强了系统的预警精确度。     

基于手机GPS定位数据的交通方式换乘点识别方法研究

交通方式换乘点识别长期以来是手机大数据交通调查领域的一大技术难点,既有研究大多通过设置出行时间、距离阈值进行识别,算法经验性强,普适性不佳,且易将起讫点、信号控制、交通拥堵等停留误识别为换乘停留。为此,提出了一种基于手机GPS定位数据的交通方式换乘点识别新方法：首先,构建模糊时空聚类算法识别个体运动-静止状态,算法同步实现了定位点时空密度双重聚类约束与聚类边界弹性需求,对个体运动状态识别效果更佳;其次,建立支持向量机模型进行交通方式换乘点识别,有效解决了起讫点、信号控制、交通拥堵等停留对换乘停留造成的干扰;最后,从出行链视角出发,提出了基于序列相似度算法的误差回溯自检与优化模型,能够有效修复换乘点漏识别与错误识别问题。此外,在成都市开展了大范围实测试验,由150名志愿者采集了近2 160 h得到的777.6万条数据被用于技术实证评估。试验结果表明：所述方法对交通方式换乘点平均识别准确率达89.3%,换乘时间平均识别误差控制在20 s以内;与既有空间聚类、小波分析算法相比,换乘点识别精度提升近10%,换乘时间误差最大可降低20 s以上,算法适用性与效果更佳。研究成果可为基于活动的交通需求模型演进提供数据支撑,为交通规划与管理部门决策提供技术支持。     

基于RGB-D图像与头肩区域编码的实时人流量统计

为解决基于彩色摄像机的人流量统计存在精度低、易受光照影响等问题,研究了利用RGB-D图像与头肩区域编码进行实时人流量检测的方法.在对RGB-D图像前景检测与空洞修复的基础上,采用随机点和漫水填充法提取潜在目标区域,并度量随机点与区域内极值点间的欧式距离以剔除噪声点的干扰,减少了冗余信息的计算量.根据人体头肩区域的先验信息,提出了一种七维头肩特征描述符对潜在目标区域编码,从而避免人体运动过程中产生的头肩部形变对头部区域检测的影响,采用SVM和阈值限制得到满足区域特征的头部区域.根据图像中不同区域的圆形度排序的思路,提出了头部区域筛选方法以去除无效区域,并构建了一种帧间目标匹配算法和多条计数线的方法,对已获得的头部区域实现计数,计数后获取人的身高数据.实验结果表明,该算法在教学楼楼道口和楼门口场景中人流量统计正确率高达99.30% 以上,身高测量平均相对误差在2.59% 以内,处理单帧图像的平均时间仅为18.31 m s.      

公路桥梁智能检测技术研究进展

为促进公路桥梁智能检测技术的发展，系统梳理了桥梁智能检测装备、智能检测方法、智能损伤识别算法、智能安全评价及养护决策的发展现状与趋势。综合分析表明：随着桥梁智能检测技术的发展，针对桥梁检测环境和构件特点，出现了包括无人机、移动机器人、环形爬升机器人、多功能检测机器人、爬索机器人、水下机器人、声呐探测装置等多种类型的智能检测装备。智能检测装备大多采用搭载的图像采集装置进行病害信息收集，其避障及抗环境干扰能力和图像采集精度是设备性能表征的关键；在智能检测方法领域，图像采集技术、激光点云扫描技术、全息摄影技术发展日趋成熟，探地雷达、干涉合成孔径雷达及声呐探测技术可作为桥梁基础及冲刷深度检测的有效手段；但以光纤传感、热成像技术、声发射技术、超声波检测、电磁传感为特征的桥梁检测新技术，其抗环境干扰的能力还有待提升，需要进一步的工程验证。随着桥梁智能装备能力的提升、智能检测技术的发展，不同类型海量数据的涌现，传统的从病害、构件、部件到结构的分层综合安全评价算法已不能适应，采用数字孪生技术进行结构状况的实时再现与评价，以多源数据融合技术进行区域级、路网级桥梁服役性能及抗灾韧性评价是桥梁智能检测与安全评估的主要发展方向。