基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

自适应均衡学习的端到端类人驾驶控制决策网络

针对现有端到端自动驾驶网络对于类人驾驶行为与思维特征模拟不足的问题，从类人驾驶特征出发，设计了一个包含时空特征、历史状态特征及未来特征的端到端类人驾驶控制决策网络。采用多层卷积和长短期卷积时序记忆网络（Conv-LSTM），对前方道路视觉感知图像时间序列进行时空特征提取，同时采用一维卷积和长短期时序记忆网络（Long Short-Term Memory，LSTM） 对车辆状态信息时间序列进行历史状态特征提取，进而采用多任务参数共享方式进行当前时刻和未来序列的方向盘转角、车速的控制决策，并以未来序列作为辅助任务督促当前时刻的主任务学习。为更好地耦合汽车纵横向控制参数学习的过程，还提出一种权衡纵横向控制参数损失量级及学习速度的权重自适应方法，并引入容差阈值，建立衡量纵横向控制参数训练效果的评价方法。依托Comma2k19数据集对所构建控制决策网络进行训练和验证，体现出良好的可行性及优越性。     

面向自动驾驶数据生成的风格迁移网络研究

自动驾驶数据集的丰富性是保证基于深度学习的自动驾驶算法鲁棒性和可靠性的关键。当前的自动驾驶数据集在夜晚场景和各类气候、天气条件下的数据量仍十分有限，为满足无人驾驶领域的应用需求，本文中构建了风格迁移网络，可将当前自动驾驶数据集转换为夜晚、雪天等多种形式。该网络采用单编码器-双解码器结构，综合语义分割网络、跳跃连接和多尺度鉴别器等多种手段用于提高图像的生成质量，生成的图像具有良好的视觉效果。用真实数据训练deeplabv3+语义分割网络来评价生成图像的结果表明，本文采用的网络生成图像的平均交并比比基于双编码-双解码结构的两种网络（AugGAN和UNIT）分别提升了2.50%和4.41%。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

面向多元场景结合GLNet的车道线检测算法

各种复杂环境下路面车道线的高效精确检测是自动驾驶领域中车道偏离预警系统的关键性技术之一。由于车辆实际运行环境的复杂性和路面车道线的多样性，现有方法在车道线检测的准确性和鲁棒性上仍需不断增强。提出一种面向多元场景结合GLNet的车道线检测算法。首先采用改进Gamma校正对待检测路面图像预处理，消减光照不均匀、夜晚等环境干扰，增强车道线纹理。然后为增强数据集的多样性，在LaneNet网络的基础上引入对抗生成网络DCGAN，构建GLNet网络模型。该模型采用编码-解码的网络结构提取车道线特征（车道蒙板和像素点），通过DBSCAN聚类算法将不同车道线划分为不同的实体，使用H-Net网络学习的视觉转换矩阵优化并拟合输出车道线。最后基于已训练好的GLNet权重模型对车道线进行精确提取，并在Tusimple数据集和自制数据集上测试验证。试验结果表明：该方法的检测准确率可达97.4%，相较于基于LaneNet网络的车道线检测算法明显提高；DCGAN网络的加入丰富了数据集类型，并提高了该模型的表征及分类能力；DBSCAN聚类算法的平均聚类时间约为0.016 s，相较于Meanshift算法运行效率更高。所提出的方法考虑了不规范、环境复杂等多种道路类型的车道线检测任务，提升了对复杂噪声与多元场景的处理能力，在车辆辅助驾驶领域具有较好的鲁棒性和适用性。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

基于不同风格行驶模型的自动驾驶仿真测试自演绎场景研究

为了验证自动驾驶汽车决策结果的安全性,提出一种具有自主决策和交互能力的行驶模型生成方法,该行驶模型作为背景车被用于构建自演绎仿真场景来测试自动驾驶汽车的连续决策能力。首先,以强化学习为基础、结合遗传与进化思想,创新地设计并生成了具有自主决策和交互能力的不同风格行驶模型;然后,在模型构建阶段分别训练生成了保守、普通和激进3种风格的行驶模型,其中普通风格行驶模型的训练参数来源于自然驾驶数据集highD的车辆参数分布,保证了该行驶模型的真实性;最后,在普通风格行驶模型的基础上设计并训练出了具有显著激进特征的激进风格行驶模型,以增强自演绎场景的复杂性和测试效果。结果表明：在模型真实性方面,以highD数据集中的跟车速度、车头间距、换道时刻下碰撞时间等参数的分布为真值,研究所生成的普通风格行驶模型的参数分布与真值的平均相似程度为88%,相较于基于规则的智能驾驶人模型（IDM）提升了20.3%;在场景测试性方面,以被测系统为主要责任方的碰撞次数为评估指标,研究生成的不同风格行驶模型所构成的自演绎场景的测试性约是由IDM构成的基线场景的7倍。因此,设计和生成的行驶模型所构成的自演绎场景可以有效支撑面向自动驾驶决策系统的仿真测试。     

基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于驾驶行为生成机制的智能汽车类人行为决策EI北大核心CSCD

本文通过分析驾驶人驾驶行为生成机制,构建了类人行为决策策略(HBDS)。它具有匹配驾驶行为生成机制的策略框架,通过最大熵逆强化学习得到类人奖励函数,并采用玻尔兹曼理性噪声模型建立行为概率与累积奖励的映射关系。通过预期轨迹空间的离散化处理,避免了连续高维空间积分中的维数灾难,并基于统计学规律和安全约束对预期轨迹空间进行压缩和修剪,提升了HBDS采样效率。HBDS在NGSIM数据集上进行训练和测试的结果表明,HBDS能做出符合驾驶人个性化认知特性和行为特征的行为决策。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题，提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性，综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点，改进算法提出基于大气散射模型的数据集增强方法；为增强特征提取过程中全局特征的关注能力，改进算法的主干网络采用Swin Transformer提取船舶红外图像特征，并通过滑动窗口多头自注意力机制扩大窗口视野范围；为增强网络对密集小目标空间特征提取能力，通过改进多尺度特征融合网络（PANet），引入底层特征采样模块和坐标注意力机制（CA），在注意力中捕捉小目标船舶的位置、方向和跨通道信息，实现小目标的精确定位；为降低漏检率和误检率，采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失，结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构，提高目标检测结果的可靠性。实验结果表明:在一定浓度的雾霾环境下，改进算法的平均识别精度为93.73%，平均召回率为98.10%，平均检测速率为每秒38.6帧；与RetinaNet、Faster R-CNN、YOLOv3 SPP、YOLOv4、YOLOv5和YOLOv6-N算法相比，其平均识别精度分别提升了13.90%、11.53%、8.41%、7.21%、6.20%和3.44%，平均召回率分别提升了11.81%、9.67%、6.29%、5.53%、4.87%和2.39%。综上，所提的Swin-YOLOv5s改进算法对不同大小的船舶目标识别均具备较强的泛化能力，并具有较高的检测精度，有助于提升港区水域船舶的监管能力。      

实测数据驱动的自动驾驶道路测试驾驶模式辨别方法

自动驾驶道路测试中车企驾驶模式数据具有一定保密性，导致自动驾驶能力难以被客观评估。为此，提出了实测数据驱动的自动驾驶道路测试驾驶模式辨别方法。首先选取数据特征值构建K近邻估计、支持向量机、决策树、随机森林和BP神经网络5种机器学习监督分类模型；其次通过非参数秩和显著性检验确定驾驶模式持续时长阈值，持续时长大于阈值的数据段记录为准确的驾驶模式数据，小于等于阈值的数据段则为驾驶模式待分类数据集；随机选取70%记录准确的驾驶模式数据作为监督分类模型训练数据集，剩余30%作为测试数据集；最后利用正确率、精确率和召回率3个指标评价5种监督分类模型，并选取表现最佳的分类模型用于待分类数据的驾驶模式辨别。基于上海市城市道路和快速路2个道路测试场景共约43.6万条数据，验证驾驶模式辨别方法的有效性。结果表明：随机森林监督分类模型辨别道路测试驾驶模式的效果最佳；城市道路场景和快速路场景待分类数据驾驶模式记录有误率分别达到42.3%和39.4%。实测数据驱动的驾驶模式的辨别与修复，可显著提升评估自动驾驶道路测试驾驶能力的准确度。     

基于BP神经网络的智能车辆换道决策模型研究

为了正确刻画智能网联环境下的车辆换道行为,提出基于BP神经网络的车辆换道决策模型.分析了交通流中车辆换道行为,以HighD自然驾驶数据集为数据来源,筛选出1 900组车辆换道和未换道信息作为模型的训练与验证,利用高斯滤波方法拟合目标车辆换道轨迹和横向位移轨迹,选择影响车辆换道决策的7个参数作为模型输入,建立BP神经网络...