基于车联网BSM数据与路侧视频融合的港口集装箱卡车碰撞危险辨识方法

大型港口集装箱码头运输车辆调度频繁，堆场过道和交换区等区域视距狭窄，容易导致港口集装箱卡车与设施、作业人员和车辆发生擦碰事故。为提高智能集装箱卡车在港口密集区域的轨迹跟踪精度和行车安全感知能力，提出了一种车联网条件下融合车载终端基本安全消息（Basic Safety Messages，BSM）数据和路侧视频数据的集装箱卡车碰撞风险辨识方法。采用YOLOv5s算法提取视频监控范围内的目标车辆和作业人员，根据目标集卡大尺寸特点设计非极大值抑制锚框来提高目标识别准确度。运用透视变换原理将目标像素坐标转换成地理坐标，并应用Deep-SORT算法匹配每帧图像的车辆轨迹信息。应用交互式多模型方法（interactive multi-model，IMM）融合视频轨迹信息和车载单元（on-board units，OBU）定位数据，减小了目标机动过程中的观测误差。基于集卡融合轨迹结果，提出了1种新型的轨迹冲突风险评估模型，能够根据目标集卡与周围目标轨迹的相对运动状态实时感知车辆碰撞危险，该碰撞危险检测结果在实际场景中可通过路侧设备对车载终端和作业人员终端实时播发预警信息。针对集卡跟踪误差的实验结果表明:IMM自适应跟踪轨迹的平均均方根误差为0.29 m，比集卡自主跟踪轨迹误差提升81.05%；融合路侧监控视频与车载终端定位数据能够克服车辆自主定位系统在密集堆场环境下的误差增大问题。集卡碰撞危险辨识的结果表明:车辆碰撞危险识别结果（预设ETTC阈值为2 s）的召回率、精确度和准确度相对集卡自主感知分别提升了7.39%，4.27%，2.50%，更准确地辨识出了视线遮挡情况下的轨迹冲突风险。      

基于人-车交互的行人轨迹预测

针对行人轨迹预测具有复杂、拥挤的场景和社会交互问题,基于长短时记忆网络（Long Short-term Memory Network, LSTM）对行人与车辆、行人与其他行人的交互进行建模,提出一种基于人-车交互的行人轨迹预测模型（VP-LSTM）。该模型同时考虑了行人与行人的交互、行人与车辆的交互,更适用于复杂的交通场景。所构建的VP-LSTM包括3个输入,以行人的方向和速度作为历史轨迹序列输入,行人与行人的相对位置作为人-人交互信息输入,行人与车辆的相对位置作为人-车交互信息输入。该方法首先设计扇形人-人交互邻域和圆形人-车交互邻域来准确捕捉对被预测行人有相互作用的行人和车辆;其次建立3种不同的LSTM编码层来编码历史行人轨迹序列、人-人、人-车社交信息;然后定义人-人、人-车交互的防碰撞函数和方向注意力函数作为人-车、人-人社交信息的权重,进一步提高社会信息的精度;再将人-人、人-车交互信息输入到注意力模块中筛选出对行人影响大的社会信息;最后将筛选后的社会信息与行人历史轨迹序列一起输入到LSTM神经网络中进行行人轨迹预测,并在构建的DUT人-车交互数据集上验证提出的网络。研究结果表明：提出的方法能够准确地预测出交通场景中,人-车交互行人未来一段时间内的运动轨迹,有效提高了预测精度,提高了智能驾驶决策的准确性。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题，提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性，综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点，改进算法提出基于大气散射模型的数据集增强方法；为增强特征提取过程中全局特征的关注能力，改进算法的主干网络采用Swin Transformer提取船舶红外图像特征，并通过滑动窗口多头自注意力机制扩大窗口视野范围；为增强网络对密集小目标空间特征提取能力，通过改进多尺度特征融合网络（PANet），引入底层特征采样模块和坐标注意力机制（CA），在注意力中捕捉小目标船舶的位置、方向和跨通道信息，实现小目标的精确定位；为降低漏检率和误检率，采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失，结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构，提高目标检测结果的可靠性。实验结果表明:在一定浓度的雾霾环境下，改进算法的平均识别精度为93.73%，平均召回率为98.10%，平均检测速率为每秒38.6帧；与RetinaNet、Faster R-CNN、YOLOv3 SPP、YOLOv4、YOLOv5和YOLOv6-N算法相比，其平均识别精度分别提升了13.90%、11.53%、8.41%、7.21%、6.20%和3.44%，平均召回率分别提升了11.81%、9.67%、6.29%、5.53%、4.87%和2.39%。综上，所提的Swin-YOLOv5s改进算法对不同大小的船舶目标识别均具备较强的泛化能力，并具有较高的检测精度，有助于提升港区水域船舶的监管能力。      

面向车流量智能检测的YOLOv7算法改进与应用

针对当前机器视觉识别中车流量检测的精度问题,以YOLOv7人工智能算法为基础,通过视觉跟踪并叠加注意力机制,提出一种基于YOLOv7和Deep SORT的改进型车流量智能检测方法。通过将注意力模块GAM与YOLOv7网络进行融合增强检测网络的特征提取能力;同时在改进后的YOLOv7网络中引入Deep SORT跟踪算法以改善车辆间相互遮挡导致复检漏检问题。实验选取重庆市渝中区经纬大道双向六车道为研究对象,在新铺社天桥上采用固定相机连接移动笔记本电脑的方式进行数据采集以及算法验证,为了保证算法的可重复性,分别选取早高峰、午平峰和晚高峰3个时段分别录取了5 min的交通流视频。利用在交通视频中通过设置虚拟检测线,让新算法在车辆检测的同时对车辆运行轨迹进行跟踪,当车辆经过检测线时记录车辆的身份编号,以此来实现交通视频的车流量监测与跟踪计数。实验结果表明：改进后的新算法相比于原YOLOv7算法在车辆检测方面平均精度提高了2.3%,视频车流量统计的精度提高了8.2%。     

基于时-空注意力机制的车辆轨迹预测

城市交通环境中车辆的驾驶行为随机性较高，且驾驶人驾驶风格迥异。为了解决复杂交通环境下车辆行驶轨迹难以精确预测的问题，在社会生成对抗网络(Social GAN)的基础上，考虑车辆的行驶速度、加速度、航向角等行驶状态参数和形状尺寸，建立车辆间交互影响力场模型，提出一种基于时-空注意力机制的车辆轨迹预测算法(SIA-GAN)。根据受到场景中其他车辆交互影响力的大小赋予其他车辆不同的空间注意力权重因子，重点关注对自车行驶影响较大的车辆信息，并结合时间注意力机制挖掘自身车辆对观测时段内历史轨迹特征向量的时间依赖性，得到车辆预测轨迹。为验证所提算法的有效性，在开源数据集上对算法进行迭代训练，并与LSTM、Social LSTM、Social GAN三种轨迹预测算法进行对比分析。研究结果表明：SIA-GAN不仅在训练时的收敛速度上有较大提升，且与现有其他轨迹预测算法相比在平均位移误差、最终位移误差、平均速度误差、平均航向角误差等评价指标均有大幅下降，预测3.2 s时各项指标平均降低了51.25%、60.1%、37.84%、13.75%;预测4.8 s时各项指标平均降低了52.78%、61.47%、3...     

基于深度学习的多目标车辆轨迹自动采集方法

车辆轨迹通常用于驾驶行为建模和交通安全领域。为获取交通视频中车辆轨迹,提出一种基于深度学习的自动采集方法。利用YOLOv5检测器在连续帧中的感兴趣区域进行车辆检测,通过DeepSORT跟踪器进行稳健而快速的车辆跟踪,该追踪器可以有效减少目标ID的跳变,提升跟踪稳定性,通过透视变换得到车辆的真实世界坐标并使用局部加权回归算法进行轨迹平滑。实验结果表明,该方法在高速公路监控数据集上的平均多目标跟踪准确率达96.1%,轨迹采集的平均准确度超过了93%,平滑算法能有效去除轨迹噪声。     

车路协同环境下行人目标信息融合算法研究

车载行人识别系统由于存在检测距离精确度不高及受遮挡影响较大等问题,在弯道及交叉口情况下适应性差。为提高行人防碰撞系统的预警效果,提出在车路协同环境下的行人目标信息融合算法研究。采用路侧和车载摄像头检测行人轨迹信息,通过Kalman滤波进行信息预处理,其次分别通过时间对准、空间对准、轨迹关联和信息融合完成对行人目标的位置估计。最后,搭建实车实验平台,对提出的信息融合算法进行验证。实验结果显示,对于X方向的行人轨迹误差,通过轨迹融合后,行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小,分别为50.00%,55.56%;对于Y方向的行人轨迹误差,通过轨迹融合后,行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小,分别为40.00%,62.07%。实验结果表明,该融合算法提高了行人轨迹检测精度,增强了系统的预警精确度。     

基于改进门控上下文聚合网络的雾天实时行人检测方法

针对自动驾驶车辆在雾天情况下易将行人误检和漏检的问题，提出一种基于改进GCANet除雾网络和CenterNet检测网络相结合、有效进行雾天行人识别的联合检测方法。该方法在GCANet中引入结合底层细节和全局结构的复合损失函数，优化除雾图的结构细节及图像质量；并将改进的GCANet除雾算法应用于检测算法的训练图像预处理中，最后送入CenterNet网络训练。试验结果显示，本文提出的方法在合成雾天数据集Foggy Citypersons上的平均对数漏检率MR-2值达到9.65，在真实雾天数据集RTTS上的平均精度AP50值达到86.11，降低了雾天场景下行人的漏检和误检情况，有效提升了检测网络在雾天条件下的泛化能力。     

行人过街模拟及车辆右转避障路径规划方法

为解决无信号十字路口右转车辆与同侧过街行人的交互冲突问题,提出一种模拟过街行为的行人过街运动模型,设计了车辆横纵向解耦避障路径规划算法,并进行了仿真实验。使车辆面向动、静态行人时能合理切换避障路径规划策略;同时,将过街运动模型驱动下的行人作为车辆避障对象,以过街模型输出的行人未来轨迹生成车辆纵向速度规划障碍位移—时间区域,从而让行人未来运动状态反馈到车辆避障中。结果表明:本文的行人过街运动模型相对观测值的准确率达到了90%,因此,该模型复现了行人过街过程;能根据行人运动状态切换避障方案,使车辆安全避让过街行人。     

基于多参数自适应优化的智能车轨迹跟踪

为了在不同工况中，同时兼顾轨迹跟踪算法的跟踪精度，计算速度与车辆稳定性，提出基于不同车速和路面附着系数的参数自适应MPC算法。在线性时变MPC的基础上增加车辆稳定性控制，并基于路面附着系数设计2种控制策略：在高附着系数路面，针对不同车速优化预测时域与控制时域；在低附着系数路面，开启车辆稳定性控制并基于改进粒子群算法优化权重参数。2种策略在保证跟踪精度与车辆稳定性的基础上提高计算速度。设计基于前馈神经网络的路面识别算法从而为多参数自适应轨迹跟踪算法识别所在道路的路面附着系数，利用CarSim-Simulink平台进行联合仿真。研究结果表明：路面识别算法的平均绝对百分比误差为12.77%,足够满足多参数自适应轨迹跟踪算法的需求；相较于传统线性时变MPC跟踪算法，低速工况下参数自适应轨迹跟踪算法在高附着系数和低附着系数的路面上，横向平均绝对误差分别降低了20.7%和24.6%;高速工况下横向平均绝对误差分别降低了66.2%和50.7%;综合所有试验，算法的计算时间减少了40.2%;在保障车辆稳定性的同时降低算法的计算时间。研究成果针对不同车速与附着系数对轨迹跟踪算法参数进行优化，利用自适应预...     

基于多特征融合的行人意图以及行人轨迹预测方法研究

行人作为重要的交通参与者,其行走意图和轨迹预测对智能驾驶汽车的决策规划具有重要意义。基于注意力机制增强的长短时记忆(Long Short-term Memory,LSTM)网络,设计一种多特征融合的行人意图以及行人轨迹预测方法。该方法通过融合行人骨架和头部方向特征,以加强行人运动特征的表达,并将融合特征作为意图预测网络输入,继而得到行人意图;由于行人运动具有不确定性,将行人意图预测类别和历史轨迹坐标的联合向量作为行人轨迹预测网络的输入,以期生成更为精确的轨迹预测结果。此外,在轨迹预测网络中引入注意力机制,以加强LSTM对各个时刻编码向量的有效利用,从而提高网络的行人轨迹预测性能,并基于Daimler数据集进行训练及验证。研究结果表明：所提出的多特征意图预测方法准确率可达96.0%,优于基于骨架单特征的意图预测网络;在预测时域为1 s的情况下,预测轨迹的位置均方根误差为347 mm,相较于恒速度(Constant Velocity,CV)模型、交互多模型(Interacting Multiple Model,IMM)、常规LSTM等基线方法均有明显的提升;在实际场景分析中,提出的方法可提前0.56 s识别行人的转弯意图,可为智能车辆的决策模块提供有益线索;提出的方法能够有效降低行人意图转变过程中的轨迹预测误差,对减小车辆与行人碰撞事故,提高智能车辆行驶安全性具有重要意义。     

基于小型化YOLOv3的实时车辆检测及跟踪算法

为了研究现有车辆目标检测算法的检测精度与检测速度相矛盾的问题,提出了一种小型化的改进YOLOv3深度卷积网络的实时车辆检测及跟踪算法。采用构建卷积层数少的网络架构以及进行多目标跟踪的方法,分析了大网络模型结构时正向推理速度慢、小网络模型结构时检测精度低的原因。在不同尺度卷积特征多层次提取车辆特征信息来保证准确率的基础上,利用K-means++算法改进聚类先验框中心点的提取,同时借鉴darknet19骨干网络结构,构建一种网络深度更小的基础卷积网络结构,采用更少的重复残差块结构单元,使网络模型结构小型化。在采用卡尔曼滤波算法对目标检测后下一时刻的车辆位置进行跟踪的基础上,利用匈牙利匹配算法进行分配关联视频相邻帧中的车辆,确定被检测目标唯一标签ID,实现对多个目标的精确定位与跟踪,以此改善检测不连续、漏检、目标被遮挡等检测不稳定的情况。结果表明:在实车自采集数据和公开数据集KITTI上进行测试,相较于YOLOv3网络,在平均准确率基本保持不变情况下,网络参数减小,网络模型大小缩小为1/4,为57.2 MB,检测速度提高一倍,达到101.7 f/s。整体算法检测速度达到11.3 ms/帧,检测率为97.50%。该小型化网络检测跟踪算法在复杂道路环境中有较强的鲁棒性,可以满足实际智能驾驶过程中对车辆检测跟踪的精度、速度的要求。     

基于核相关滤波和运动模型的多目标轨迹跟踪

在自动驾驶系统中,基于视觉的车辆前方多目标检测和轨迹跟踪能够为前方目标的姿态估计、行为分析提供有效信息。针对协同运动信息和核相关滤波跟踪信息的多目标跟踪的不足,使用卷积神经网络YOLOv2检测目标,提出了融合核相关滤波和目标运动信息的多目标轨迹跟踪方法,目的是将运动信息融入到图像特征跟踪容器中,优化运动模型,减少环境噪声造成的目标跟踪丢失、偏离。提出了基于运动信息改进核相关滤波跟踪尺度不变性算法。建立了多目标的检测跟踪容器,提出了结合目标属性、重合度、运动状态、跟踪状态的多目标匹配方法。实验表明,本文算法能够实现一定场景下的多目标的持续实时轨迹跟踪,平均有效跟踪率为92.5%。     

基于毫米波雷达组群的全域车辆轨迹检测技术方法

高精度车辆轨迹数据对于高速公路交通管理和智慧服务具有非常重要的研究及应用价值，然而现有的车辆轨迹感知技术难以获得全域全时车辆轨迹数据。为此，提出一种基于毫米波雷达的全域车辆轨迹跟踪技术方法，该方法包括：雷达原始数据获取及适配、轨迹数据清洗及降噪、道路线形感知及还原、车辆轨迹匹配及拼接。其中，雷达原始数据获取及适配通过构建雷达帧数据适配表将雷达数据格式标准化，并通过构建的轨迹可信度评价指标K，剔除镜像车辆轨迹数据，进而基于历史行车轨迹的统计学特征，采用聚类方法还原道路线形，最终通过雷达群组间车辆轨迹特征分析及匹配拼接，实现设备内部及跨设备对车辆轨迹的持续跟踪。利用载波相位差分技术(Real-time Kinematic, RTK)和基于无人机航拍视频定位技术分别对单车及多车轨迹跟踪精度进行检验。研究结果表明：在单目标跟踪状态下，系统的纬度偏差均值为-0.284 m，经度偏差均值为-0.352 m，纬度误差均值为0.712 m，经度误差均值为0.539 m；在多目标跟踪状态下，系统丢车率约为8%，轨迹定位与真实位置偏差均值为0.990 m，具备良好的轨迹跟踪精度。该方法为未来从更加宏观的范围内研究个体驾驶行为风险转移分析、微观水平的驾驶风险的时空演化提供了数据支撑。     

面向弱势道路使用者的多目标运动轨迹预测方法

针对复杂行驶环境下弱势道路使用者（VRU）多目标轨迹预测方法存在的预测精度不足和预测性能不稳定的问题，提出一种基于历史序列信息的面向VRU的多目标轨迹预测方法（Vulnerable Road User Trajectory Predictor， VRU_TP）。首先，为了解决预测精度不足的难题，该轨迹预测方法框架融合时空的多维运动状态特征和多维外观语义特征因子，同时基于外观特征综合考虑目标的运动意图，提取多线索的轨迹预测因子作为各个VRU目标历史轨迹的编码输入。其次，为了克服现有方法预测性能不稳定的难题，在序列到序列的编解码器方法（Seq2Seq Encoder-decoder）的基础上，从网络结构设计和网络优化策略等方面提出适用于VRU轨迹预测的门循环神经网络（GRU）。该网络融合设计的plelu6激活函数，能基于历史的序列信息映射学习未来的轨迹信息，用来提高编解码器对未来轨迹的解码能力。最后，为了验证时空多元轨迹线索和门循环神经网络优化方法的有效性和实用性，在已公开的MOT16数据库和提出的VRU-Track数据库上，采用在图像空间上通用的归一化平均位置偏移（NADE）、平均重叠率分值（AOS）评价指标以及平均成功率（ASR）和成功率曲线（Success Plot）评价指标，并进行试验验证。研究结果表明：在MOT16划分的验证集中，相比于基准方法，NADE下降了19.4%，ASR提高了22.6%；在VRU-Track数据库测试集中，NADE下降了23.0%，AOS提高了17.1%，ASR提高了16.5%；提出的VRU_TP方法减少了预测值与真值之间的位置偏移，增加了预测值与真值的重叠率，提升了各类VRU目标轨迹预测的性能，而验证了该方法的有效性。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于深度学习的行人和骑行者目标检测及跟踪算法研究

以YOLOv2网络作为目标检测的基础模型,为提高模型检测群簇小目标的准确率,在YOLOv2中加入残差网络,构成YOLO-R网络,通过构建行人和骑行者样本库,以及修改anchor boxes尺寸等网络参数,训练出更适合检测行人和骑行者目标的网络模型,并通过匹配算法完成行人、骑行者分类,进一步运用Kalman滤波实现多目标跟踪。试验结果表明:在训练样本、网络参数相同的情况下,YOLO-R比YOLOv2网络的平均精度均值(mAP)提高了3.4%,在满足速度要求的前提下,YOLO-R网络检测效果更优。     

基于地空信息融合的无人机交通状态感知方法研究

现有的无人机（UAV）交通状态感知方法，主要针对宏观交通状态参数的获取，同时尚未克服UAV自运动对交通参数检测精度的影响，难以满足智能交通系统对于高精度微观交通参数的应用需求。为此，提出一种基于地空信息融合的UAV交通状态感知方法，该方法包括：地空信息融合模型、道路关键点（IKP）检测及跟踪、车辆目标检测及追踪算法和交通状态参数提取及估计。其中，地空信息融合模型利用地基信息（IKP世界坐标）与空基信息（IKP像素坐标）进行最优化融合，并通过自适应IKP追踪算法与自适应UAV位置偏移判断算法实时更新模型参数，以此克服UAV自运动对车辆轨迹精度的影响，进而获取可靠的车辆级（瞬时速度、车头间距和车头时距）与车道级（车道动态密度、车道流量和空间平均车速）交通状态参数。利用提出的感知方法获取实地拍摄视频的车辆级交通参数并进行了分布检验，同时比较了基于不同交通流模型的车道级参数估算方法。结果表明：该方法在车辆检测的mAP@0.5指数超过90%，同时提取的车辆轨迹相对完整，获取的车辆级和车道级交通状态参数也符合实际交通流状况。最后，将该模型应用于实地道路的交通拥堵检测及交通事件检测，该研究结果为UAV在现代交通感知和管理中的应用提供了一种理论和技术参考。     

基于LSTM网络的驾驶意图识别及车辆轨迹预测

自动驾驶汽车需具备预测周围车辆轨迹的能力，以便做出合理的决策规划，提高行驶安全性和乘坐舒适性。运用深度学习方法，设计了一种基于长短时记忆（LSTM）网络的驾驶意图识别及车辆轨迹预测模型，该模型由意图识别模块和轨迹输出模块组成。意图识别模块负责识别驾驶意图，其利用Softmax函数计算出驾驶意图分别为向左换道、直线行驶、向右换道的概率；轨迹输出模块由编码器-解码器结构和混合密度网络（MDN）层组成，其中的编码器将历史轨迹信息编码为上下文向量，解码器结合上下文向量和已识别的驾驶意图信息预测未来轨迹；引入MDN层的目的是利用概率分布来表示车辆未来位置，而非仅仅预测一条确定的轨迹，以提高预测结果的可靠性和模型的鲁棒性。此外，将被预测车辆及其周围车辆组成的整体视为研究对象，使模型能够理解车-车间的交互式行为，响应交通环境的变化，动态地预测车辆位置。使用基于真实路况信息的NGSIM（Next Generation SIMulation）数据集对模型进行训练、验证与测试。研究结果表明：与传统的基于模型的方法相比，基于LSTM网络的轨迹预测方法在预测长时域轨迹上具有明显的优势，考虑交互式信息的意图识别模块具备更高的预判性和准确率，且基于意图识别的轨迹预测能降低预测轨迹与真实轨迹间的均方根误差，显著提高轨迹预测精度。     

基于YOLOv5的车辆目标检测算法轻量化改进

针对传统路端车辆目标检测算法参数多、检测速度较慢等问题,提出了基于YOLOv5 的车辆目标检测算法轻量化改进。首先,选用轻量化 EfficientnetV2 卷积神经网络对原骨干网络进行重构,同时在网络中引入 GAM 注意力机制;其次,为平衡 CIoU 损失和 IoU 损失在损失函数中的权重,引入 α-CIoU 损失代替原有的 CIoU 损失;最后,使用 soft-NMS 算法替换原有的 NMS 非极大值抑制算法。结果表明：相比原算法,改进后算法的精度提升了.51%,检测速度提升了 8.6%,模型大小降低了 31.7%;改进后的模型在提升检测速度的同时,还提高了路端车辆目标的检测性能。