基于人体姿态估计的分心驾驶行为检测

为弥补现有驾驶特征提取方法的不足,提高分心驾驶行为检测的准确性和鲁棒性,将2D/3D人体姿态估计应用于驾驶人行为检测,提出一种适用于驾驶舱环境下的驾驶特征提取方法。首先通过将2D姿态估计网络Simple Baseline和分类网络ResNet进行融合,构建基于2D姿态估计的分心驾驶行为检测模型,并在分心驾驶数据集State Farm上分析不同数据增强方法、不同超参数、不同分类网络对模型性能的影响。其次,融合3D密集姿态估计网络DensePose与分类网络ResNet,构建基于3D姿态估计的分心驾驶行为检测模型。接着,在State Farm数据集上,针对模型的实时性和泛化能力,对比分析基于原始图像和基于2D/3D姿态的分心驾驶行为检测模型。最后,针对效果更优的基于2D姿态估计的分心驾驶行为检测模型,在分心驾驶数据集State Farm上,对使用不同姿态估计算法和分类网络的分心驾驶行为检测模型做了交叉试验,对比分析4个不同检测模型的优缺点。进一步地,将基于2D姿态估计的分心驾驶行为检测模型应用于实际采集的驾驶图片,对模型的泛化能力和有效性进行了测试验证。研究结果表明:与基于原始图像的检测模型相比,基于2D和3D姿态的检测模型都能显著提高分心驾驶行为的检测准确率;基于3D姿态的检测模型在检测精度方面略优,但基于2D姿态的检测实时性更好,检测效率是基于3D姿态检测的4倍;在驾驶舱单一环境下,基于2D姿态估计的分心驾驶行为检测模型能够满足分心驾驶行为检测的需求,在分心驾驶行为检测方面具有重要应用价值。     

基于深度学习的分心驾驶行为检测方法

针对现有分心驾驶行为检测方法存在的检测精度低、实时性差等问题，利用基于深度学习的目标检测方法进行了驾驶员分心驾驶行为检测，首先构建分心驾驶行为数据集，包括驾驶员使用手机、饮水和吸烟3种行为的图像，并进行目标物的标注，然后选用轻量化目标检测模型NanoDet进行训练验证，结果表明，该方法可以准确并快速地识别出驾驶员在驾驶过程中使用手机、饮水和吸烟的行为。     

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

基于MobileViT-CA模型的营运车辆驾驶人分心行为检测

营运车辆驾驶人因其职业特殊性,驾驶过程中易产生分心驾驶行为从而引发重大交通事故。为提高营运车辆驾驶人分心驾驶行为的检测准确性和泛化性,提出一种基于改进MobileViT网络的驾驶人分心行为检测方法。首先,基于自然驾驶实车试验,构建包含安全驾驶、使用手机、喝水、整理仪容和与副驾驶交谈5类行为的营运车辆驾驶人分心行为数据集。其次,将注意力机制引入轻量型MobileViT网络,通过选择有效的网络主干MobileViT、注意力模块CA、网络嵌入位置从而设计出最优分类模型MobileViT-CA。研究结果表明：所提出的MobileViT-CA分类模型可以有效提升分类网络的性能,在正常光照条件下的营运车辆驾驶人分心行为数据集和State Farm数据集上分别达到了96.57%和99.89%的准确率,且模型具有体积小、检测精度高的优势,有较高的可靠性和泛化能力。     

基于图卷积网络的多信息融合驾驶员分心行为检测

为减少由驾驶员分心造成的交通事故,并检测驾驶员在自动驾驶情况下的分心状态以判断驾驶员是否有接管车辆的能力,提出了一种基于图卷积的多信息融合驾驶员分心行为检测方法。通过分析驾驶员分心行为和姿态特征,设计了驾驶员姿态估计图,基于图卷积网络对驾驶员姿态估计图进行特征提取,使用全连接层对所提取特征进行行为分类,同时融合手机等关键物体信息对驾驶员分心行为进行再判断。实验结果表明,本文提出的方法在SrateFarm数据集和自制数据集上分别达到了90%和93%的准确率,检测速度约为20帧/s,准确性和实时性均达到检测要求。     

基于自然驾驶数据的分心驾驶行为识别方法

大量证据表明，驾驶人分心是导致交通事故的主要原因之一。当前基于侵入式（如脑电波等）或半侵入式（如视频等）检测驾驶人分心的方法，不仅对驾驶任务造成一定干扰，且受多种环境因素的制约，误报率较高。基于此，只考虑非侵入式车辆运动特征，提出一种基于深度学习的驾驶人分心状态识别方法：首先，从自然驾驶数据集中获得大量的跟驰片段，采用态势感知方法，提取典型的分心驾驶片段，并建立仅包含车辆运动学特征的分心判别指标集；其次，利用梯度提升决策树-递归特征消除算法（GBDT-RFE）和随机森林-递归特征消除算法（RF-RFE）对特征进行重要度排序，得到重要度较高的分心监测指标；最后，采用长短时记忆神经网络（LSTM-NN）实现分心驾驶的分类识别，并与支持向量机和AdaBoost的模型结果进行对比。研究结果表明：LSTM-NN在判别分心或正常状态时F₁分别为89%、91%，高于SVM和AdaBoost对应二分类结果；进行多分类任务时，判别分心情景的平均F₁较SVM和AdaBoost分别提升了12%和7%，不同类别分心识别的误报率在15%以下，说明LSTM-NN能够有效学习分心序列的前后信息，有利于准确估计驾驶人的状态。研究结果可为车辆分心预警系统和驾驶风险倾向性评估提供方法基础。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于超效率数据包络分析的重型车驾驶人驾驶安全绩效评价方法

为解决网联环境下重型车驾驶人驾驶安全绩效评价在指标多样性、模型可靠性、评价完整性和结果可溯性等方面的问题，提出一种基于超效率数据包络分析的重型车驾驶人驾驶安全绩效评价框架，包括驾驶行为指标提取方法、包含零值的超效率数据包络分析方法和基于效率前沿分析的驾驶安全绩效提升方案。基于网联环境下重型车自然驾驶数据特征，提取6个行程级的危险驾驶行为指标作为模型输入项，包括：表征激进驾驶的超速行为、急加速行为和急减速行为；表征分心驾驶和疲劳驾驶的打哈欠行为、使用手机行为和吸烟行为。表征驾驶风险暴露因素的行驶时间和行驶里程作为模型输出项。将每个驾驶人视为独立的决策单元，构建3种驾驶绩效评价模型，分别从激进驾驶、分心和疲劳驾驶以及综合驾驶风险3个维度对驾驶绩效进行评价。进一步利用效率前沿分析准确识别低绩效驾驶人，并量化其达到最佳驾驶绩效所需提升的驾驶行为指标。将该框架应用于南京某重型车车队的34名驾驶人，使用连续3个月的网联数据开展驾驶绩效评价。结果表明：该框架能够准确计算驾驶绩效得分，不同驾驶绩效等级驾驶人之间的驾驶行为特征存在显著差异，超速行为和打哈欠行为是影响驾驶绩效评价结果的关键因素，针对低绩效...     

基于驾驶人分心影响程度的驾驶分心任务评级

为了进行驾驶分心任务评级,以选择反应判断检测和处置判断检测为试验平台,分析分心任务对驾驶人的影响.对13名被试驾驶人施加分心任务,包括视线遮挡、交谈、回忆、数学计算及部分任务的组合,并将各种分心状态下的反应时间及操作错误次数与无分心任务时进行对比.研究表明,在无驾驶操作的情况下,视线偏离1 s和交谈所产生的分心对驾驶人反应时间和操作准确度影响的差异不显著;认知分心任务比视觉分心任务产生更高的精神负荷;视觉分心与认知分心形成的复合分心任务对驾驶人的反应时间和操作准确度影响最大;基于对驾驶人的影响程度,可将常见分心试验任务大致划分为5个等级,依次为:无分心,视觉分心1 s/交谈,回忆,视觉分心3 s/计算,复合分心.     

基于类间距优化的分心驾驶行为识别模型训练方法

分心驾驶行为识别任务可以看作细粒度图像分类任务,即图像中较小区域所包含的特征决定了该图像的类别,如一张图像是正常驾驶还是与副驾驶聊天完全由驾驶员的脸部朝向来决定.对于那些图像差异很小的类别,图像分类通常训练方法训练出的模型无法高精度地区分.针对这一问题,提出了基于类间距优化的分心驾驶行为识别模型训练方法,通过增大模型从...     

低光照环境下基于面部特征点的疲劳驾驶检测技术

提出了一种新型在低光照环境下有较高适应性和识别精度的疲劳驾驶检测技术。用深度视觉传感器获取驾驶员驾驶图像,用人脸跟踪算法实时提取面部特征点数据,基于最小二乘法对眼睛和嘴巴轮廓进行曲线拟合。计算眼睛和嘴巴开合度归一化指标,提取了眨眼频率、眨眼平均时长、眼睛闭合总时长、打哈欠频率、打哈欠总时长、低抬头频率等6个疲劳识别特征数据。基于数据统计序列的卷积神经网络算法,建立识别模型,构建疲劳状态检测系统。实验表明：本文算法在低光照环境下的疲劳驾驶识别精度达到了90%,识别时间约为130 ms。     

基于深度学习的船舶驾驶员疲劳检测算法

针对日益凸显的船舶值班人员疲劳驾驶问题，为有效预警值班驾驶员的疲劳状态，保障船舶航行安全，研究了基于深度学习的疲劳检测算法。考虑到船舶驾驶台空间大、背景复杂等特点，使用深度可分离卷积改进RetinaFace人脸检测模型，优化模型的检测速度；基于Channel Split和Channel Shuffle思想，结合批量归一化、全局平均池化等技术搭建改进的ShuffleNetV2网络，自动提取图像特征，识别眼睛、嘴巴的开闭状态；根据PERCLOS准则融合眼睛、嘴巴2个特征参数综合判定驾驶员是否疲劳。实验结果表明:改进后RetinaFace模型的检测速度由9.33帧/s提升至22.60帧/s，人脸检测精度和速度均优于多任务卷积神经网络（MTCNN）；改进的ShuffleNetV2网络识别眼睛、嘴巴状态的准确率高达99.50%以上；算法在模拟驾驶台环境中识别疲劳状态的精确率达到95.70%，召回率达到96.73%，均高于目前常见的Haar-like+Adaboost以及MTCNN+CNN疲劳检测算法。算法检测每帧图片仅需0.083 s，基本满足实时检测的要求。      

浅析目标检测算法及其在自动驾驶场景中的应用

基于深度学习的目标检测算法在自动驾驶领域的比重日益上升。文章首先介绍了基于深度学习的卷积神经网络和目标检测算法的发展过程,其中简要介绍了几种经典卷积神经网络模型的结构特点;然后详细介绍了以R-CNN系列为代表的基于候选框的two-stage算法和以YOLO系列为代表的基于回归的one-stage算法,简要介绍了这两大类算法各自的结构和优缺点,最后总结了目标检测算法在自动驾驶场景中应用时比较常用的几种优化方法和研究趋势。     

分心驾驶事故场景研究

为在车辆主动安全系统开发测试中提供具有危险性的典型分心驾驶场景，基于375例分心驾驶事故深度调查案例，确定了包括道路环境、参与方速度和运动状态3个方面的场景参数，对比分析国家统计数据与样本各事故类型间的特征，分别提取出关键特征参数，利用二阶聚类分析方法得到不同事故类型的11类分心驾驶事故典型场景，并结合关键特征参数进一步提炼得到4类核心测试场景。     

驾驶分心行为及应对策略研究综述

驾驶分心行为对驾驶安全具有重要影响,文中对驾驶分心行为的定义、来源、影响因素、心的检测,研究实验方法以及缓解应对策略进行了综述。     

模拟驾驶环境下驾驶人分心状态判别

为了探寻驾驶人分心判别方法,构建了驾驶人分心状态判别模型。首先设计分心模拟驾驶试验,采集正常驾驶和发送语音信息过程中的驾驶绩效特征和驾驶人眼动特征数据,建立驾驶人分心状态判别指标备选集;其次,采用基因选择算法对备选指标进行筛选,得到29个备选指标的重要度排序;然后,依次选取重要度较高的部分指标作为BP神经网络的输入指标,利用遗传算法（GA）全局搜索的性能优化BP神经网络的初始权值和阈值,将优化后的GA-BP神经网络作为弱分类器,再将多个弱分类器组合成Adaboost强分类器,建立基于Adaboost-GA-BP组合算法的驾驶人分心状态判别模型;最后,利用模拟驾驶器试验平台采集的数据计算不同判别指标数量下模型的性能,从而确定最优判别指标,并对模型进行验证和评价。结果表明：模型最优判别指标为重要度排序中前14个指标;模型能够准确识别驾驶人分心状态,判别精度为95.09%;与BP神经网络算法、GA-BP神经网络算法和Adaboost-BP神经网络算法相比,Adaboost-GA-BP组合算法在准确率、精准率、召回率、F₁值和ROC曲线等模型性能方面均最优。建立的模型能够有效判别驾驶人分心状态,可为驾驶人分心预警系统和分心控制策略提供依据。     

基于Dlib和变种Transformer的哈欠检测方法

为及时检测驾驶员的疲劳驾驶情况，提出了一种基于Dlib和变种Transformer的哈欠检测方法。首先，基于Dlib的人脸关键点模型构建驾驶员眼部和嘴部的哈欠特征矩阵，然后在视频检测领域提出一种变种Transformer模型对哈欠特征矩阵进行提取和分类，最后基于YawDD数据集进行验证，结果表明，所提出算法的哈欠检测准确率达96.8%，高于已有算法，适用于驾驶员疲劳驾驶时哈欠行为的检测。     

基于深度学习模型的疲劳驾驶行为识别算法

为降低道路交通事故发生率,提出了一种基于深度学习模型的疲劳驾驶行为识别算法。采用照度增强和反射分量均衡化的方法,以提高视频图像质量。将机器视觉工具箱软件用于提取疲劳驾驶人脸行为特征,并通过双流网络构建和训练深度学习模型,实现对疲劳驾驶行为识别。选择了不同睡眠时间段参与者在全封闭路段内的驾驶行为图像,作为实验测试目标。结果表明：用该算法测试1 000张疲劳驾驶行为图像时,识别时间为89 ms,精准度为97.6%,召回率为97.0%;算力需求（每秒所执行的浮点运算次数,FLOPS）≤88;该算法能够提高疲劳驾驶行为的识别精度,有助于降低道路交通事故的发生率。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。