基于深度学习模型的疲劳驾驶行为识别算法

为降低道路交通事故发生率,提出了一种基于深度学习模型的疲劳驾驶行为识别算法。采用照度增强和反射分量均衡化的方法,以提高视频图像质量。将机器视觉工具箱软件用于提取疲劳驾驶人脸行为特征,并通过双流网络构建和训练深度学习模型,实现对疲劳驾驶行为识别。选择了不同睡眠时间段参与者在全封闭路段内的驾驶行为图像,作为实验测试目标。结果表明：用该算法测试1 000张疲劳驾驶行为图像时,识别时间为89 ms,精准度为97.6%,召回率为97.0%;算力需求（每秒所执行的浮点运算次数,FLOPS）≤88;该算法能够提高疲劳驾驶行为的识别精度,有助于降低道路交通事故的发生率。     

基于深度学习的多目标车辆检测及追踪方法

文章是以MTALAB软件为主要平台,基于深度学习建立一种多目标车辆检测及追踪的方法。首先建立一个基于深度学习的模型用于训练的不同场景的车辆数据集,并对所采集的数据集进行标注和格式归一化处理。然后使用K-means聚类算法进行锚框,建立以YOLOv3SPP算法为主的神经网络框架,采用非极大值拟制（NMS）算法得到最终的预测框。最终训练神经网络模型,再对该模型进行测试和评定。经实验可以得出该模型能够准确地检测及追踪多目标车辆。     

基于规则约束的深度强化学习智能车辆高速路场景下行驶决策

针对强化学习算法下智能车辆训练中动作选择过程随机性强、训练效率低等问题，提出了基于规则约束和深度Q网络（DQN）算法的智能车辆行驶决策框架，将引入的规则分为与换道相关的硬约束和与车道保持相关的软约束，分别通过动作检测模块（Action Detection Module）与奖励函数来实现。同时结合竞争深度Q网络（Dueling DQN）和双重深度Q网络（Double DQN）对DQN的网络结构进行改进，并引入N步自举（N-Step Bootstrapping）学习提高DQN的训练效率，最后在Highway-env平台高速路场景下与原始DQN算法进行综合对比验证模型的有效性，改进后的算法提高了智能车辆任务成功率和训练效率。     

基于卷积自编码的沥青路面目标与裂缝智能识别

目前基于深度学习的路面裂缝识别经常面临训练数据集小，以及路面图片标注成本高等问题，基于小规模路面图片数据集，利用卷积自编码（CAE）方法进行数据增强，开展包括路面裂缝在内的路面目标智能化识别方法研究。在传统图像几何变换数据增强的基础上，采用CAE重构图片方法对原始数据集进行两步骤扩增；利用卷积神经网络DenseNet，设置了不同数据扩增方法的对比试验；针对沥青路面裂缝图片背景较黑，裂缝特征不清晰，无监督聚类学习难度大等问题，采用了一种基于CAE预训练的深度聚类算法DCEC，对经数据增强的路面图片进行无标注的聚类识别。研究结果表明：经过DenseNet网络100代的训练，在同一测试集的测试下，基于原始数据集训练的网络分类准确度为78.43%，利用传统图像处理方法进行扩增后准确度为83.44%，利用所提出的图片增强方法进行数据扩增后准确度达87.19%；在保持扩增后数据集样本量大小相同的情况下，与几何变换、像素颜色变换等经典数据增强手段相比，CAE重构图片的数据扩增方法有较高的路面图片识别精度；CAE数据扩增方法较受训练数据集样本量的影响，利用传统方法将数据集扩增后进行CAE特征学习，重构后的图片样本更易被机器识别；相较于传统机器学习聚类算法，所提出的的DCEC深度聚类方法将聚类准确率提升了约10%，初步实现了无需人工标注的路面目标的端到端智能识别。     

基于图神经网络的交互车辆驾驶意图识别及轨迹预测

为实现周围车辆行驶轨迹的准确预测，运用深度学习方法，设计了一种基于图神经网络与门控循环单元（GRU）的驾驶意图识别及车辆轨迹预测模型。驾驶意图识别模型将车-车间的交互关系构造成时空图，运用图神经网络学习其交互规律，并利用Softmax函数计算出不同驾驶意图的概率；轨迹预测模型采用编码-解码的GRU网络，编码器将车辆历史轨迹信息进行编码并融合识别的驾驶意图信息，再通过解码器实现轨迹预测。最后采用NGSIM数据集对模型进行训练和验证，结果表明：所提出的模型能够更好地识别车辆的驾驶意图，且考虑驾驶意图的车辆轨迹预测模型能够有效提高预测精度。     

基于深度学习的车辆目标检测算法综述

车辆目标检测是自动驾驶环境感知的重要组成部分。近年来随着深度学习在目标识别领域取得重大突破,基于深度学习的车辆目标检测算法逐渐成为该领域的研究热点。论文对当前主流的两阶段车辆目标检测算法和单阶段车辆目标检测算法进行简要介绍,分析了其中几种具有代表性的卷积神经网络算法的优缺点,最后总结目前车辆目标检测存在的问题以及未来的发展方向。     

基于深度学习的分心驾驶行为检测方法

针对现有分心驾驶行为检测方法存在的检测精度低、实时性差等问题，利用基于深度学习的目标检测方法进行了驾驶员分心驾驶行为检测，首先构建分心驾驶行为数据集，包括驾驶员使用手机、饮水和吸烟3种行为的图像，并进行目标物的标注，然后选用轻量化目标检测模型NanoDet进行训练验证，结果表明，该方法可以准确并快速地识别出驾驶员在驾驶过程中使用手机、饮水和吸烟的行为。     

基于改进掩码-区域卷积神经网络的混凝土病害实例分割

为对混凝土病害图像进行更精确的实例分割，提出改进掩码-区域卷积神经网络(Mask Region Convolution Neural Network, Mask-RCNN)。该网络采用轻量级的可移动网络(MobileNetV2)代替原始Mask-RCNN中卷积层过大的主干网络——残差网络(ResNet101),加入路径聚合网络(PANet),以提高Mask-RCNN提取浅层特征信息的能力。为验证改进Mask-RCNN的识别精度及其在实际工程中的可行性，首先构建多类混凝土病害图像数据集，利用K-means聚类算法确定最适合该数据集的先验边界框的长宽比，然后对比改进Mask-RCNN与原始Mask-RCNN、其它主流深度学习网络对混凝土五类病害(裂缝、露筋、剥落、白皙和空洞)的识别结果；最后利用无人机采集到的钢筋混凝土桥梁病害图像作为测试集进行测试。结果表明：改进Mask-RCNN在提高计算速度的同时能更准确地定位病害，减少了误检和漏检，识别精度高于原始Mask-RCNN及其它深度学习网络；改进Mask-RCNN可以识别无人机拍摄的未经训练的新的混凝土病害图像，识别精度满足实际工程需求。     

一种车载数字相机与激光雷达融合算法设计

环境感知是智能辅助驾驶的底层模块，单传感器感知存在易受干扰、所需配置传感器数量多和感知效果差等弊端，为此提出一种车载数字相机与激光雷达融合算法。综合考虑信息融合高效性与系统鲁棒性采取决策级融合策略，利用CENTER POINT算法对雷达点云数据进行处理，再利用Yolo v3算法进行密集型数据训练处理图像数据，最后使用交并比匹配（IOU）和已有文献的D-S论据实现数据融合并输出决策结果。经过KITTI数据集验证，该融合算法输出的识别效果优于单传感器，且在多种路况上均有良好的目标检测效果。     

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。     

面向自动驾驶汽车测试的交通车辆交互过程建模

为满足自动驾驶汽车测试对场景真实度的要求,提出一种针对交通车辆交互关系的耦合特征建模方法。结合基于机理模型构建的虚拟数据和采集的真实场景数据建立交通车辆行为数据集;采用深度学习建立局部信息响应的交通车辆行为决策模型、跟驰模型和换道模型,结构相对简单的单体模型能提升场景模拟的可扩展性;针对自动驾驶汽车测试对模型鲁棒性要求高的问题,建立分布执行-集中对抗训练的架构进行交通车辆模型优化,提高模型对输入扰动的鲁棒性。构建交通车辆交互仿真环境对模型进行仿真,通过仿真数据与真实数据分布之间的对比和量化评价指标验证模型的有效性。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

基于深度学习的车辆检测及车型识别研究

正当前,在新一代信息技术引领下,数据快速积累、运算能力持续提升、算法模型不断优化、多场景应用快速兴起,人工智能发展环境发生了深刻变化。车辆检测及车型识别作为深度学习目标检测领域在智能交通的重要应用,也是近年来国内外学者的研究热点。本文针对已有的车辆检测方法缺乏车型识别问题,利用深度学习图像识别技术,提出了基于Faster R-CNN的车辆检测及车型识别方法。通过将Faster R-CNN深度学习模型应用     

谷歌Tensorflow框架在自动驾驶汽车车辆识别功能中的应用

文章研究了基于谷歌深度学习框架Tensorflow的图像识别在智能驾驶汽车领域里应用的可能性。使用卷积神经网络模型,将车辆图片作为训练集输入神经网络,通过多次训练校正神经网络参数,最终可以得到可以识别汽车图片的神经网络模型。通过学习Tensorflow建模,编程的完整流程,为进一步使用Tensorflow构建图像识别应用打下了基础。     

车牌定位及车辆特征识别研究

车牌定位及车辆识别是智能交通管理的主要研究问题.车牌定位识别,通过对图像进行预处理并结合形态学能粗略获取候选车牌位置,对符合特征的候选车牌进行筛选,精确获取车牌位置,最后采用神经网络完成字符识别过程.车辆识别采用迁移学习,采用AlexNet卷积神经网络构造出深度特征向量.形态学能够应对灰度底质量差的情形,为字符识别提供保障.车辆识别时对比直接分类图片特征,迁移学习构造的深度特征分类精度为85.13%,提高了38%,验证了迁移学习的有效性,通过KNN算法表明深度特征能够表征图片属性.针对新数据集重新提取特征、训练样本将消耗大量时间,对比迁移学习和AlexNet框架发现分类精度持平,表明了迁移学习的鲁棒性.      

面向自动驾驶数据生成的风格迁移网络研究

自动驾驶数据集的丰富性是保证基于深度学习的自动驾驶算法鲁棒性和可靠性的关键。当前的自动驾驶数据集在夜晚场景和各类气候、天气条件下的数据量仍十分有限，为满足无人驾驶领域的应用需求，本文中构建了风格迁移网络，可将当前自动驾驶数据集转换为夜晚、雪天等多种形式。该网络采用单编码器-双解码器结构，综合语义分割网络、跳跃连接和多尺度鉴别器等多种手段用于提高图像的生成质量，生成的图像具有良好的视觉效果。用真实数据训练deeplabv3+语义分割网络来评价生成图像的结果表明，本文采用的网络生成图像的平均交并比比基于双编码-双解码结构的两种网络（AugGAN和UNIT）分别提升了2.50%和4.41%。     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于车辆行驶数据的驾驶风格识别

车辆驾驶员驾驶风格对于汽车的燃油经济性和行驶安全性有重要的影响。文章就基于车辆行驶数据在驾驶风格识别方面的研究进行综述,首先介绍了驾驶员驾驶风格识别的基本流程,接着论述不同学者在驾驶风格识别方面使用的算法模型,包括支持向量机（SVM）算法、反向传播（BP）神经网络算法、随机森林模型算法,然后基于实际车辆行驶数据,利用不同驾驶风格识别模型对其进行实现分析,最后对驾驶员驾驶风格识别的研究工作进行了展望。     

基于残差神经网络的沥青路面裂缝识别分类研究

为提高沥青路面裂缝的识别精度与速度,提出一种基于残差神经网络的沥青路面裂缝自动识别算法。首先建立沥青路面图像集,使用数据清洗算法对综合检测车采集到的裂缝图像进行数据清洗,构建沥青路面裂缝图像样本数据集,并将图像集按8∶2的比例划分为训练集和测试集;接着采用残差神经网络ResNet50对清洗后的数据进行训练,得到网络权重后使用训练好的网络对沥青路面裂缝数据进行预测,评价网络准确性。试验结果表明:沥青路面图像清洗算法的准确率为95%,能良好地实现沥青路面原始图像的清洗;裂缝图像分类的平均准确率达到94%,其中横向裂缝、纵向裂缝、龟裂、块状裂缝的识别准确率分别为96.1%、94.6%、93.6%和94.1%。