基于多特征融合的行人意图以及行人轨迹预测方法研究

行人作为重要的交通参与者,其行走意图和轨迹预测对智能驾驶汽车的决策规划具有重要意义。基于注意力机制增强的长短时记忆(Long Short-term Memory,LSTM)网络,设计一种多特征融合的行人意图以及行人轨迹预测方法。该方法通过融合行人骨架和头部方向特征,以加强行人运动特征的表达,并将融合特征作为意图预测网络输入,继而得到行人意图;由于行人运动具有不确定性,将行人意图预测类别和历史轨迹坐标的联合向量作为行人轨迹预测网络的输入,以期生成更为精确的轨迹预测结果。此外,在轨迹预测网络中引入注意力机制,以加强LSTM对各个时刻编码向量的有效利用,从而提高网络的行人轨迹预测性能,并基于Daimler数据集进行训练及验证。研究结果表明：所提出的多特征意图预测方法准确率可达96.0%,优于基于骨架单特征的意图预测网络;在预测时域为1 s的情况下,预测轨迹的位置均方根误差为347 mm,相较于恒速度(Constant Velocity,CV)模型、交互多模型(Interacting Multiple Model,IMM)、常规LSTM等基线方法均有明显的提升;在实际场景分析中,提出的方法可提前0.56 s识别行人的转弯意图,可为智能车辆的决策模块提供有益线索;提出的方法能够有效降低行人意图转变过程中的轨迹预测误差,对减小车辆与行人碰撞事故,提高智能车辆行驶安全性具有重要意义。     

多通路高分辨率网络与注意力机制融合的车辆检测模型

为改善道路交通监测和保证智能网联交通系统的安全、可靠与稳定运行,提出了在路侧边缘平台中基于多通路高分辨率网络与注意力机制融合的车辆检测模型MCHRANet.该模型采用多通路的高分辨率网络的结构设计,保留高分辨率特征并保障识别准确率.融入注意力机制的特征融合方法,通过特征连接权重自学习实现多尺度特征的深度融合.各通路网络...     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

基于 Bi-LSTM 的多类型特征融合驾驶员疲劳识别方法

针对传统的基于驾驶员面部图像采集的单一类型特征的疲劳识别方法，在阴影遮挡及光照变化场景下存在准确性、鲁棒性不足的问题，深入开展基于多类型特征融合的驾驶员疲劳识别方法研究。在分析非图像化的驾驶员疲劳特征的基础上，通过机器人操作系统 （Robot Operating System， ROS）的话题订阅来实现驾驶员生理特征、操作行为特征及面部特征的多源数据同步采集。处理原始数据并分析数据特性，提出了一种融合生理特征与驾驶员及观测者主观评价的数据标注策略，标注疲劳特征，构建驾驶员疲劳数据集；将驾驶员操作行为特征与面部特征融合，形成多类型特征融合序列，并基于双向长短时记忆 （Bi-directional Long Short-Term Memory，Bi-LSTM）网络，构建多类型特征融合的疲劳识别模型；通过单一类型特征与多类型特征对比试验、不同场景对比试验证明，基于Bi-LSTM的多类型特征融合识别方法的准确率和鲁棒性较单一类型特征识别方法均有明显提升，能在各种场景下更好地识别驾驶员的疲劳状态。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平...     

基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

基于无损跨尺度特征融合的交通目标检测算法

针对复杂道路环境下交通目标与背景区分度低、交通小目标密集度高、部分遮挡严重、容易产生漏检、误检等问题，提出了一种融合注意力的无损跨尺度复合空洞残差网络的交通目标检测算法。通过改进SSD基础骨干网络和残差结构，加强网络提取强表征性的高级语义信息能力，解决信息传递损耗和丢失问题。在此基础上提出一种新的多视野聚合空洞残差单元，通过设置不同膨胀率的空洞卷积，获得不同大小感受野，聚合上下文信息实现大目标与小目标的兼顾。提出一种新的无损失跨尺度融合模块，通过该模块进行通道重组，结合通道维度信息填充像素，实现跨通道像素信息融合，进一步提升特征提取的能力。同时引入了坐标注意力机制，将轴向的空间坐标通道信息有效整合到生成注意力图中，构建出能够捕获跨通道信息且包含方向感知和位置敏感信息的注意力残差单元与多视野聚合空洞残差单元。此外，通过引入Soft-NMS降低与高置信度预测框重叠度较大的目标框的置信度，增加二次检测机会，提升了网络模型召回率。最后引入解耦检测头以加快模型收敛速度和提高检测精度。在VOC数据集07+12上的试验结果表明，算法平均精度提升了6.46%,证明了提出算法的准确性和鲁棒性。     

基于机器视觉的智能车辆前方道路边界及车道标识识别方法综述

为了全面了解国内外在基于机器视觉的智能车辆前方道路边界及车道标识识别领域的研究进展，文章介绍了近年来一些典型的基于机器视觉的道路边界及车道标识识别系统，对基于机器视觉的前方道路边界及车道标识识别方法进行了分类，对各大类方法中采用的不同技术进行了阐述，然后对基于机器视觉与其他传感器融合的识别方法进行了总结，最后就该领域的研究难点及发展趋势进行了简要论述。     

基于融合特征稀疏编码模型的车辆品牌识别方法

提出了一种基于融合特征稀疏编码模型的车辆品牌识别方法,该方法首先提取车脸图像的方向梯度直方图特征作为融合特征稀疏编码模型的一级特征向量,然后将车脸图像的一级特征向量作为过完备字典中训练样本集的线性组合,并构建非负性约束稀疏编码模型,最后采用重构误差最小原则对车辆品牌进行识别。基于东南大学的车脸数据库进行了试验,结果表明,基于融合特征稀疏编码模型的车辆品牌识别方法优于HOG+SVM、传统稀疏表示和字典学习稀疏表示的车辆品牌识别方法,其平均识别率达到96.16%。理论分析和试验结果表明,基于融合特征稀疏编码模型的车辆品牌识别方法具有较强的鲁棒性和适用性。     

融合加速度与计算机视觉实测车致响应的梁桥损伤识别方法

基于结构振型相关参数的损伤识别方法对振型的空间分辨率具有较高要求。为了改进计算机视觉技术在桥梁结构全场振型提取和损伤识别方面的不足,同时充分利用SHM系统各类传感器采集的丰富数据,提出了一种基于计算机视觉和有限数量加速度传感器实测桥梁在移动荷载作用下响应的损伤识别方法。首先,通过理论推导研究了损伤前后任意边界条件单跨梁在移动集中力作用下的位移响应,并从理论角度分析了局部刚度损伤引发的结构位移响应和振型改变。在此基础上,提出了一种通过测量少量测点的计算机视觉位移和加速度响应,提取可表征结构真实状态的多阶高空间分辨率振型的方法,所得振型的空间分辨率取决于移动荷载速度和位移采样频率。根据所提取振型的特点,提出了一种多阶全场模态曲率面积差加权融合的结构损伤识别参数,该参数可以直接利用损伤前后该单元前后节点的模态转角求得。为了验证所提出的方法,开展了实验室简支梁模型在不同速度和大小的移动荷载作用下的多工况损伤识别试验。试验结果表明,所提出的方法可以通过计算机视觉和有限数量的加速度传感器实现模型梁全场振型提取,且该振型与测点加速度模态分析得出的结果相符,空间分辨率可达模型梁跨径的1/6 000～1...     

基于检测的高效自动驾驶实例分割方法

基于深度学习的实例分割算法在大规模通用场景中取得了良好的分割性能，然而面向复杂交通场景的多目标实例分割仍然极具挑战性，尤其在算法的高精度和较快推理速度的权衡方面，而这对于智能汽车的行驶安全性至关重要。鉴于此，本文以实时性算法Orienmask为基础，提出了一种基于单阶段检测算法的多头实例分割框架。具体来说，所提框架由骨干网络、特征融合模块和多头掩码构建模块组成。首先，本文通过在骨干网络中加入残差结构获取更加完整的高维表征信息。其次，为了产生更具判别性的特征表达，本文通过引入自校正卷积重构特征金字塔，并使用全局注意力机制改善信息传播以进一步优化所提框架的特征融合模块。最后，提出的多头掩码构建机制通过细化场景目标尺寸分布显著提高不同目标的分割性能。本文算法在开源数据集BDD100k上进行大量测试与验证，分别在边界框和掩码上获得了23.3%和19.4%的均交并比（mAP@0.5:0.95），与基线方法相比，平均指标提高了5.2%和2.2%。同时在基于自主搭建的实车平台上进行的道路实验也证明本算法能够较好地适应真实驾驶环境，且满足实时性分割需求。     

面向高级辅助驾驶雷达和视觉传感器信息融合算法的研究

为提高高级辅助系统对车辆前方环境识别的准确性,提出一种基于雷达和视觉传感器信息融合的目标识别方法。雷达与视觉融合算法是基于决策级的雷达与视觉检测目标,在世界坐标系中进行目标时间空间对准、数据关联匹配、滤波,最后根据应用功能输出融合目标信息。结果表明该算法具有较强的环境适应性和准确率,弥补了单一传感器在目标识别中的不足。     

基于多特征的纹理特征提取方法研究与应用

纹理是图像的1种重要视觉特征,常用于识别和区分图像。纹理特征的提取则是其应用需首先解决的问题。通过总结分析目前较为常用的纹理特征提取方法,基于灰度共生矩阵(GLCM )算法、局部二值模式(LBP)算法和小波变换(DWT )算法的特点,提出基于多特征的纹理特征提取算法,即将各算法提取的特征进行融合。融合中使用权重对参数进行配置。论文设计了1种图像检索实验,通过图像检索实验比较了各算法提取的特征对纹理的描述能力。结果表明,对于Co rel图像库,笔者提出的多特征的纹理特征提取算法检索的平均查准率相对于GLCM 算法提高了20%,相对于LBP算法提高了9%,相对于DWT算法提高了10%,相对于徐少平等人提出的特征融合方法提高了15%。证实了文中所提出的算法能够兼顾各算法的优点,并具有较好的旋转不变性和尺度不变性。其不足之处是需要同时提取GLCM 算法,LBP算法,DWT 算法下的纹理特征,计算所需时间是后3种算法时间之和,使算法的实用性受到了一定的限制。      

红外国像处理在汽车昉撞系统中的运用

基于红外图像的视觉处理,提出了新的汽车夜视安全控制方法.通过对车载热像仪所拍摄的红外图像的一系列处理,包括图像滤噪、图像分割和图像分析,得到前方车辆的排气管的形心坐标.根据这个坐标和已知的参数,建立测距几何模型,可以实时得到本车与前车的距离.指出将这一控制识别方法可以用在汽车防撞系统中,具有一定的应用前景.     

基于局部窗口交叉注意力的轻量型语义分割

在自动驾驶汽车环境感知任务中，采用环视相机在统一鸟瞰图（bird’s eye view,BEV）坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题，本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征，通过构建BEV查询和图像特征之间的局部窗口交叉注意力，完成对跨相机透视图之间的特征查询，然后对融合后的BEV特征图通过上采样残差块对BEV特征解码，以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明，该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%，相较于表现较好的HDMapNet提高2.2%，推理速度相较于较快的GKT提高58.2%，帧率达到106 FPS。     

基于改进深度卷积神经网络的车辆检测方法研究

基于视觉的车辆检测作为辅助驾驶系统的输入,对智能车辆预警和决策起着重要的作用。针对目前传统深度卷积神经网络在基础网络设计和物体检测网络构建的不足,提出一种对经典的深度残差网络进行改进方法,提出带局部连接的残差单元,并以此构建带局部连接的残差网络;同时,提出基于共享参数的多分支网络和双金字塔语义传递网络形式,提升不同语义级别特征融合前的语义级别,以及实现深度融合不同分辨率特征图的语义。经过测试,车辆的检测准确率最高达到95.3%,且具备较高的实时性和环境适应性。     

交通视频辅助的桥梁动态称重方法研究

为了进一步提升既有的桥梁动态称重技术，提出一种交通视频辅助的新型桥梁动态称重方法。首先介绍基于深度神经网络的计算机视觉目标检测技术和一种计算机视觉坐标转换方法，实现从交通监控视频中实时地探测与定位桥上行驶的车辆和车轴。然后引入桥梁应变分解方法和应变影响面识别方法，建立车重、车辆位置与桥梁应变之间的映射关系，从而建立一种综合利用时间和空间冗余信息对车辆进行称重的方法。该方法构建超定的影响面加载方程组，使用最小二乘法求解该方程组以得到桥上行驶车辆的轴重和总重。最后总结出一套交通视频辅助的桥梁动态称重方法框架。为验证以上方法，在某连续大箱梁桥的缩尺模型以及实桥上进行试验。试验包含单车、双车、跟车、并行、直行、变道、匀速、变速等复杂交通工况。模型试验结果表明：该方法的车辆总重识别误差均值为-2.02%，标准差为4.77%；车辆轴重的识别误差均值为4.77%，标准差为17.50%。实桥试验结果表明：该方法的车辆总重识别误差均值为0.21%，标准差为1.53%；车辆轴重的识别误差均值为-3.59%，标准差为42.67%。除此以外，所提出的方法还可用于识别桥上车辆的数量、类型、轴数、实时位置、运动轨迹、行驶速度等多粒度交通信息。     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...     

基于网格分类与纵横向注意力的城市道路车道线检测方法

车道线检测是汽车安全辅助驾驶系统的基础模块,在城市道路场景下车道线存在受碾压致特征缺失、车辆间相互遮挡以及光照环境复杂多变等问题,本文提出基于网格分类与纵横向注意力的车道线检测方法。提取道路图像的全局特征图,将其划分为若干网格,计算网格中车道线的存在概率;通过将车道线检测转化为网格位置的分类,定位每条车道线的特征点;构建基于Ghost模块的主干网络,结合车道线的形状特征,引入纵横向注意力机制,通过增强车道线纹理特征和融合位置信息,获取缺失的细节特征;利用三次多项式,拟合车道线特征点,修正车道线的检测结果。基于TuSimple与CULane数据集,在ResNet18、ResNet34和DarkNet53中嵌入纵横向注意力模块,并开展对比实验。结果表明：在TuSimple数据集上,嵌入纵横向注意力模块后,模型精度均提升了约0.1%,与其他模型相比,Ghost-VHA模型的准确率为95.96%。在CULane数据集上,嵌入纵横向注意力模块可提升精度约0.65%,与其他模型相比,Ghost-VHA的F1分数为72.84%,提升了0.54%。在TuSimple与CULane数据集上,Ghost-...     

基于嵌入式平台的车前红外行人检测方法研究

针对当前目标检测方法普遍需要高功耗GPU计算平台、易受光照条件影响的问题，提出2种基于嵌入式平台的车前红外行人检测方法：将训练好的YOLOv4-tiny模型使用英伟达开源推理加速库TensorRT进行优化，部署于嵌入式平台；以YOLOv4-tiny模型作为算法的基本架构，结合视觉注意力机制和空间金字塔池化思想，同时增加1个YOLO层，提出YOLOv4-tiny+3L+SPP+CBAM网络模型。将2种方法在FLIR数据集上进行训练与测试，并在Jetson TX2嵌入式平台上进行试验，试验结果表明：相较于原始网络YOLOv4-tiny，所提出的第1种方法平均准确率降低0.54%，推理速度提升86.43%（帧速率达26.1帧/s）；提出的第2种方法平均准确率提升16.21%，推理速度降低22.86%（帧速率达10.8帧/s）。2种方法均可兼顾准确率和实时性，能够满足车前红外行人检测的需要。