基于人体姿态估计的分心驾驶行为检测

为弥补现有驾驶特征提取方法的不足,提高分心驾驶行为检测的准确性和鲁棒性,将2D/3D人体姿态估计应用于驾驶人行为检测,提出一种适用于驾驶舱环境下的驾驶特征提取方法。首先通过将2D姿态估计网络Simple Baseline和分类网络ResNet进行融合,构建基于2D姿态估计的分心驾驶行为检测模型,并在分心驾驶数据集State Farm上分析不同数据增强方法、不同超参数、不同分类网络对模型性能的影响。其次,融合3D密集姿态估计网络DensePose与分类网络ResNet,构建基于3D姿态估计的分心驾驶行为检测模型。接着,在State Farm数据集上,针对模型的实时性和泛化能力,对比分析基于原始图像和基于2D/3D姿态的分心驾驶行为检测模型。最后,针对效果更优的基于2D姿态估计的分心驾驶行为检测模型,在分心驾驶数据集State Farm上,对使用不同姿态估计算法和分类网络的分心驾驶行为检测模型做了交叉试验,对比分析4个不同检测模型的优缺点。进一步地,将基于2D姿态估计的分心驾驶行为检测模型应用于实际采集的驾驶图片,对模型的泛化能力和有效性进行了测试验证。研究结果表明:与基于原始图像的检测模型相比,基于2D和3D姿态的检测模型都能显著提高分心驾驶行为的检测准确率;基于3D姿态的检测模型在检测精度方面略优,但基于2D姿态的检测实时性更好,检测效率是基于3D姿态检测的4倍;在驾驶舱单一环境下,基于2D姿态估计的分心驾驶行为检测模型能够满足分心驾驶行为检测的需求,在分心驾驶行为检测方面具有重要应用价值。     

基于深度学习的分心驾驶行为检测方法

针对现有分心驾驶行为检测方法存在的检测精度低、实时性差等问题，利用基于深度学习的目标检测方法进行了驾驶员分心驾驶行为检测，首先构建分心驾驶行为数据集，包括驾驶员使用手机、饮水和吸烟3种行为的图像，并进行目标物的标注，然后选用轻量化目标检测模型NanoDet进行训练验证，结果表明，该方法可以准确并快速地识别出驾驶员在驾驶过程中使用手机、饮水和吸烟的行为。     

基于MobileViT-CA模型的营运车辆驾驶人分心行为检测

营运车辆驾驶人因其职业特殊性,驾驶过程中易产生分心驾驶行为从而引发重大交通事故。为提高营运车辆驾驶人分心驾驶行为的检测准确性和泛化性,提出一种基于改进MobileViT网络的驾驶人分心行为检测方法。首先,基于自然驾驶实车试验,构建包含安全驾驶、使用手机、喝水、整理仪容和与副驾驶交谈5类行为的营运车辆驾驶人分心行为数据集。其次,将注意力机制引入轻量型MobileViT网络,通过选择有效的网络主干MobileViT、注意力模块CA、网络嵌入位置从而设计出最优分类模型MobileViT-CA。研究结果表明：所提出的MobileViT-CA分类模型可以有效提升分类网络的性能,在正常光照条件下的营运车辆驾驶人分心行为数据集和State Farm数据集上分别达到了96.57%和99.89%的准确率,且模型具有体积小、检测精度高的优势,有较高的可靠性和泛化能力。     

基于Dlib和变种Transformer的哈欠检测方法

为及时检测驾驶员的疲劳驾驶情况，提出了一种基于Dlib和变种Transformer的哈欠检测方法。首先，基于Dlib的人脸关键点模型构建驾驶员眼部和嘴部的哈欠特征矩阵，然后在视频检测领域提出一种变种Transformer模型对哈欠特征矩阵进行提取和分类，最后基于YawDD数据集进行验证，结果表明，所提出算法的哈欠检测准确率达96.8%，高于已有算法，适用于驾驶员疲劳驾驶时哈欠行为的检测。     

基于防疫常态化的驾驶员疲劳状态检测方法

疲劳驾驶检测是交通安全领域的研究分支, 而新冠疫情形势下口罩的佩戴又提出了新的挑战。为此通过基于ResNet-10的SSD模型检测驾驶员人脸, 并使用MobileNet-V2轻量级模型判断是否佩戴口罩, 测试集验证该分类器可以达到98.50%的判断精度。在未佩戴口罩的情况下采用传统图像HOG特征结合SVM分类器检测驾驶员人脸。在后续处理中利用级联回归器定位特征点和提取时间窗口内的疲劳指标, 采用二次判定对疲劳状态采取文字和声音预警, 而在清醒状态下会调整各项判断阈值。对算法在预采集的视频样本和NTHU-DDD测试集下进行测试, 验证了该框架能以18.42帧/s的总体速度实现92.65%和86.09%的检测精度。实验结果表明, 该框架应对佩戴眼镜、脸部姿态变化和光照条件差异具有强鲁棒性, 而且能够兼顾疲劳检测的口罩干扰和实时性。      

基于深度学习的驾驶员状态识别

提出了基于驾驶员脸部及周围信息的驾驶员状态检测方法。文章通过实车摄像头采集了驾驶员驾驶状态视频数据,利用Dlib和OpenCV库对采集的驾驶员图像进行脸部检测,基于驾驶员脸部数据建立了深度学习数据集,然后基于该数据集设计了一种卷积神经网络模型FaceNet,利用PyTorch深度学习框架在数据集上对模型进行训练,最终得到了有较高准确率的驾驶员状态检测模型,其可识别抽烟、睡觉、左手打电话和右手打电话四种驾驶员状态。     

基于自然驾驶数据的分心驾驶行为识别方法

大量证据表明，驾驶人分心是导致交通事故的主要原因之一。当前基于侵入式（如脑电波等）或半侵入式（如视频等）检测驾驶人分心的方法，不仅对驾驶任务造成一定干扰，且受多种环境因素的制约，误报率较高。基于此，只考虑非侵入式车辆运动特征，提出一种基于深度学习的驾驶人分心状态识别方法：首先，从自然驾驶数据集中获得大量的跟驰片段，采用态势感知方法，提取典型的分心驾驶片段，并建立仅包含车辆运动学特征的分心判别指标集；其次，利用梯度提升决策树-递归特征消除算法（GBDT-RFE）和随机森林-递归特征消除算法（RF-RFE）对特征进行重要度排序，得到重要度较高的分心监测指标；最后，采用长短时记忆神经网络（LSTM-NN）实现分心驾驶的分类识别，并与支持向量机和AdaBoost的模型结果进行对比。研究结果表明：LSTM-NN在判别分心或正常状态时F₁分别为89%、91%，高于SVM和AdaBoost对应二分类结果；进行多分类任务时，判别分心情景的平均F₁较SVM和AdaBoost分别提升了12%和7%，不同类别分心识别的误报率在15%以下，说明LSTM-NN能够有效学习分心序列的前后信息，有利于准确估计驾驶人的状态。研究结果可为车辆分心预警系统和驾驶风险倾向性评估提供方法基础。     

基于图时空神经网络的多充电站负荷协同预测方法

针对传统充电站负荷预测方法只能实现对单一站点预测的问题，提出一种基于图时空神经网络 （Graph Spatiotemporal Neural Network， GSTNN） 模型的多充电站负荷协同预测方法。定义时空信息图，描述充电站负荷之间的时空关系；构建时空特征提取网络，分别利用图卷积神经网络和门控序列卷积网络提取信息图的空间和时间维度信息，并使用长短期记忆网络 （Long Short Term Memory Networks，LSTM） 挖掘影响负荷预测的外部特征信息；融合提取的所有特征，进行负荷预测。算例结果表明，基于 GSTNN模型的方法能充分考虑时空特征和外部特征的影响，协同多个充电站的负荷数据进行预测，并同时输出各充电站的预测结果，有效提高预测准确度，有助于电网稳定运行。     

基于转向盘转角的疲劳驾驶检测方法研究

为监测驾驶人员的疲劳驾驶行为,提出了基于转向盘转角的疲劳驾驶检测方法。该方法利用角度传感器MLX90316采集转向盘转角数据,并从采集的转角数据中提取出了能描述驾驶员疲劳状态的角度标准差和静止百分比,根据角度标准差和静止百分比建立疲劳状态判别模型对驾驶员疲劳状态进行检测。实车试验表明,该方法能够简单、快捷地判断驾驶员的疲劳状态,准确率达到80.3%。     

基于Bi-LSTM的多类型特征融合驾驶员疲劳识别方法

针对传统的基于驾驶员面部图像采集的单一类型特征的疲劳识别方法,在阴影遮挡及光照变化场景下存在准确性、鲁棒性不足的问题,深入开展基于多类型特征融合的驾驶员疲劳识别方法研究。在分析非图像化的驾驶员疲劳特征的基础上,通过机器人操作系统（Robot Operating System, ROS）的话题订阅来实现驾驶员生理特征、操作行为特征及面部特征的多源数据同步采集。处理原始数据并分析数据特性,提出了一种融合生理特征与驾驶员及观测者主观评价的数据标注策略,标注疲劳特征,构建驾驶员疲劳数据集;将驾驶员操作行为特征与面部特征融合,形成多类型特征融合序列,并基于双向长短时记忆（Bi-directional Long Short-Term Memory,Bi-LSTM）网络,构建多类型特征融合的疲劳识别模型;通过单一类型特征与多类型特征对比试验、不同场景对比试验证明,基于Bi-LSTM的多类型特征融合识别方法的准确率和鲁棒性较单一类型特征识别方法均有明显提升,能在各种场景下更好地识别驾驶员的疲劳状态。     

驾驶分心检测方法综述

道路交通事故已经成为世界人民非自然死亡的主要原因,有学者认为90％的交通事故与驾驶员自身因素关联,而其中又有超过50％与驾驶分心相关.为了对驾驶员分心进行识别以及为下一步的分心预警干预提供结果判断,文章介绍了常见的驾驶分心检测与识别方法,包括人脸识别方法,眼睛瞳孔位置识别以及基于驾驶员生理信号(EEG)的分心监测方法....     

面向ARM平台的自标定驾驶员疲劳检测方法

提出了一种面向进阶精简指令集机器(ARM)平台的自标定驾驶员疲劳检测方法。对驾驶员不同身高、体型及车内摄像头不同位置,采用驾驶员初始姿态自标定方法;采用改进的基于深度学习的多任务卷积神经网络(MTCNN),提取人脸识别和特征点,以得到头部姿态、眼睛、嘴巴运动等信息;基于操作员序列的深度卷积神经网络,来判断驾驶员的疲劳状态等级。实验了驾驶员疲劳检测方法。结果表明:相对于没有标定,采用本驾驶员自标定的方式,识别准确性提高了15%,采用MTCNN方法和ARM NEON加速技术,在“全志H5”、“树莓派”和Android手机上,运行速度分别是200、150、140 ms,提高约50%。因而,该检测方法,既提高了系统鲁棒性,也满足实时需求。     

基于因子图的自动驾驶融合定位研究

在自动驾驶系统的即时定位及地图构建问题中，当行车路况复杂多变时，如何对车辆位姿进行准确实时估计是一个关键问题。就该问题提出基于因子图的多传感器融合方法，在Matlab 软件环境中实现车辆的准确实时定位。根据实际驾驶过程的特性选择试验采用的数据类型并建立相应的数学模型，分别根据GPS 及IMU 数据特征以及VO 和IMU的数据特征建立相应的融合因子图模型，基于KITTI 数据集，对所建立的融合因子图模型进行试验验证。结果表明，通过融合因子图模型可以准确地估计车辆当前时刻的位姿。     

多线索融合的结构化道路检测算法研究

为实现结构化道路的检测，提出了一种用于道路检测的激光雷达和视觉融合法，通过提取激光雷达在道路边缘的三维点云信息，将其投影到视觉图像上，形成激光点云与图像的映射关系，生成激光雷达似然图。通过改进提取道路的颜色、纹理、水平线等特征的方法，生成相对应的视觉似然图。在贝叶斯框架下将激光雷达和视觉生成的似然图进行融合。在KITTI数据集上测试可知，精度达到94%，准确率达到86%，表明该道路检测法具有较好的道路检测果。     

基于SVM的危货车驾驶员饮水分心判别模型

执行车内次任务是导致驾驶员注意力分散乃至造成交通事故的重要原因。为对危货车驾驶员饮水分心进行辨识,进行了驾驶模拟试验。试验中,将水杯放置在危货车驾驶舱内3种常见的杯架位置处,采集饮水分心驾驶和正常驾驶时的车辆运行状态数据。在差异性统计分析提取特征指标的基础上,对变化较快的特征引入频域分析方法提取特征指标,经分析新增加的特征指标能够反映被试驾驶员对车辆横向稳定性的控制能力。使用支持向量机建立驾驶员饮水分心驾驶判别模型,分别使用遗传算法和粒子群算法对初步判别模型进行优化并对比分析,最终对优化后的模型进行评估。结果表明,应用遗传算法和粒子群算法优化后的判别模型对驾驶员饮水分心状态的正确分类比例分别达到94.02%和93.21%,遗传算法的参数寻优结果优于粒子群算法,同时遗传算法主要通过选择、交叉、变异操作产生新的种群个体进化到下一代,是较为成熟的收敛性分析方法,故认为遗传算法更适合作为驾驶员饮水分心驾驶判别模型的优化算法。     

基于国外技术研究方法的弯道驾驶行为特征统计分析

为理解驾驶员行为特征,提高自动驾驶汽车的类人驾驶能力,借鉴国外研究成果,基于自然驾驶数据集,对驾驶员在弯道行驶过程中的行为特征开展了研究。选择车辆纵向速度、侧向加速度、横摆角速度和车速作为驾驶员行为特征,选择弯道曲率半径作为道路几何特征,利用车辆动力学原理进行弯道工况识别,通过核密度估计及相对熵对数据集特征参数分布的收敛性进行验证,并对弯道行驶过程中驾驶员行为特征及道路几何特征进行了统计分析。分析结果可以为设计具有类人操作特性的自动驾驶或驾驶辅助个性化系统提供数据支撑。     

考虑动态空间关系的短时交通流预测方法

为有效提取交通流的时空特征,提升交通流的预测精度,研究了基于动态时空图卷积网络的短时交通流预测模型（DySTGCN）。DySTGCN不仅实现了对交通流时空维度的信息建模,而且考虑了时间维度信息对空间维度信息的影响,创新性提出了基于时间信息的空间拓扑结构——时变空间图（spatial topology graph,TSG）,并设计出了1种能够高效、简便地计算时变空间图的深层网络结构。该结构通过编码、解码方式提取不同节点的交通流数据的相关性特征并实现降噪处理。时变空间图反映了交通网络的实时空间特征,基于交通网络中节点空间位置的稳定空间图（stable spatial graph,SG）反映了交通网络的稳定空间特征。TSG与SG在图卷积过程中共同指导交通流预测,更加准确地刻画了交通流的时空特性,以提高预测精度。为测试模型的预测效果,在2个权威公开数据集上进行实验,结果表明：DySTGCN学习到的时变空间图可以较为准确地反映出不同节点的交通流之间的相关性,在平均绝对误差、均方根误差,以及加权平均绝对百分比误差指标上,比其他时空图卷积网络模型如STGCN、ASTGCN等降低了近13.40%、10...     

基于自然驾驶的中国驾驶员驾驶使用手机行为研究

手机频繁地出现在人们的日常活动中,甚至驾驶人驾驶时使用手机造成分心驾驶,产生了较大的安全隐患。目前世界范围内约束手机使用的法律、教材种类繁多,但对使用手机对驾驶人视觉及操作的影响缺乏了解。国内对该领域的研究相对较少,且主要停留在通过问卷和蹲点调查进行驾驶使用手机现状调查分析,或通过简单的驾驶模拟试验来进行特定行为特征分析的程度,我国驾驶员在真实驾驶状态下的驾驶使用手机情况和行为特征尚无明确的研究结果。本文依托上海自然驾驶研究数据,利用23名驾驶员2013年的115次出行数据对其驾驶行为特征与安全性进行研究。结果显示,被试驾驶员最常使用的手机功能为发送短信、通话和阅读,三者还对驾驶员的视线分心影响最大,达到最高的平均视线偏离时长;在操作分心方面,发送短信具有远高于其他功能的双手占用率;手机使用对于驾驶速度的波动和车辆在车道内的横向位置波动有极大的影响。     

单级特征图融合坐标注意力的视觉位置识别方法

针对视角和环境变化的场景中现有视觉位置识别方法存在的匹配遗漏和实时性差的问题，提出基于单级特征图融合坐标注意力的视觉位置识别方法。首先通过坐标注意力捕获特征的相对位置信息，然后利用扩张卷积和局部聚合向量网络（NetVLAD）构造多尺度特征融合的编码器，最后基于三元组损失训练网络。经Pitts30k和Nordland数据集验证，在位置识别试验中，与同基线的先进方法 Patch-NetVLAD相比，所提出的方法能够获得同等的召回精度且检索速度提高19%。在回环检测试验中，所提出的方法达到了合理平衡鲁棒性和检索速度的目标。     

基于驾驶员避撞行为的行车风险判别方法的仿真研究

提出了一种基于驾驶员避撞行为的行车风险状态分类方法,并综合考虑驾驶员驾驶行为、道路和环境因素对行车风险状态变化的影响,运用支持向量机(SVM)建立不同行车模式下行车风险判别算法。基于美国弗吉尼亚理工大学"100-car"自然驾驶数据对预测算法进行了训练和验证,结果表明,在进行行车风险状态预测建模时考虑驾驶员行为、道路和环境因素的差异(特别是驾驶员分心状态)将有利于提高预测模型的准确率;另外,在满足假正率低于5%的条件下,本文构建的预测算法对未来行车过程中的高风险状态预测具有较高的准确率,有助于对临近危险状态的驾驶员给予及时的警告或辅助纠正,为防撞预警策略和控制方法的研究提供了新的思路。