适用驾驶员疲劳状态监测的人眼定位方法研究

驾驶员在车辆行驶过程中是否疲劳驾驶可以从眼睛的状态反映出来，利用驾驶员眼睛的状态信息来判断驾驶员疲劳状况是一种可行的方法。在采用计算机视觉对驾驶员进行驾驶行为监控时，驾驶员面部眼睛定位是判断驾驶员是否疲劳驾驶的关键。为了解决面部眼睛定位的实时性以及头部旋转不确定性等问题，本文在人脸面部定位的基础上，给出了一种基于区域标示算法的面部人眼定位算法。试验验证了上述算法的有效性。     

基于并行短时面部特征的驾驶人疲劳检测方法研究

为实现更快速、准确的疲劳预警,提出了一种基于并行短时面部特征的驾驶人疲劳检测方法。基于加入了MicroNet模块、CA注意力机制、Wise-IoU损失函数的YOLOv7-MCW目标检测网络提取驾驶人面部的短时面部特征,再使用并行Informer时序预测网络整合YOLOv7-MCW目标检测网络得到的面部时空信息,对驾驶人疲劳状态进行检测与预警。结果表明：在领域内公开数据集UTA-RLDD和NTHU-DDD上,YOLOv7-MCW-Informer模型的准确率分别为97.50%和94.48%,单帧检测时间降低至28 ms,证明该模型具有良好的实时疲劳检测性能。     

基于眼睛状态识别的驾驶员疲劳实时监测

提出了一种基于眼睛状态识别的驾驶员疲劳状态实时监测的方法。为了实现眼睛状态的检测,首先通过计算累计背景和当前帧的差分图像的质心确定脸部范围,然后通过二值化和轮廓检测确定眼睛的搜索区域。在利用启发式规则进行筛选定位之后,计算眼睛骨架曲线和两眼角连线之间的距离得到眼睛的睁开程度。通过计算相应的疲劳指标如PERCLOS、平均睁眼程度、最长眼睛闭合时间来推测驾驶员的疲劳状态。以驾驶员面部视频的主观评分作为评价依据对检测方法进行评价,结果显示上述3个指标在不同的疲劳等级下均存在显著性差异,通过对不同指标的融合可达到较好的疲劳检测准确率。     

基于AdaBoost算法的疲劳驾驶检测系统研究

为提高行车安全性,结合驾驶员人眼开度特征开展了疲劳驾驶检测系统研究,提出采用AdaBoost算法实现人脸及人眼的定位方法。驾驶员视频图像在动态直方拉伸和训练好的AdaBoost算法分类器作用下实现人脸、人眼定位;对获得的眼部图像进行边缘检测及轮廓提取,计算轮廓内像素点得到眼睛的开度信息;利用PERCLOS算法计算一段时间内驾驶员的闭眼帧数及眨眼频率比例,获得驾驶员疲劳状态。试验结果表明,该系统具有较好的抗环境干扰和实时性,能准确地完成疲劳判断。     

驾驶人眼睛定位与跟踪算法的研究

通过机器视觉技术对眼睛动作和视线转移特征的分析可实现驾驶人警觉状态的有效估计,但实际行车过程中驾驶人面部姿态的不确定性变化对眼睛定位算法提出了严峻挑战.本文中在采用主动形状模型算法对面部区域进行配准的基础上,提出运用Lucas-Kanade光流进行全局跟踪,并采用基于自商图的Meanshift算法进行局部校准的跟踪策略.实验结果表明,Meanshift算法的局部极值化能力能有效消除Lucas-Kanade光流跟踪中的误差积累,有效提高了人眼定位与跟踪精度.     

基于头部姿态特征的列车司机疲劳驾驶检测系统研究

列车司机疲劳驾驶严重威胁列车行车安全.为弥补人眼检测方法存在的不足,提出了1种基于头部姿态特征的列车司机疲劳驾驶检测方法.该方法首先采用AdaBoost算法检测人脸区域,然后采用Camshift算法对人脸进行跟踪,并对人脸的旋转角度进行计算,得出其旋转角速度以及旋转角加速度,最后根据其头部的倾斜角度以及旋转角速度综合判断列车司机的疲劳状态.建立了头部旋转物理模型,得到头部自由旋转时角速度与角加速度随旋转角度的变化曲线.在上述方法的研究基础上,研发了1个基于头部偏转情况判断疲劳驾驶的系统.该方法的疲劳检测成功率为87.5％,但其只能对头部缓慢倾斜和头部突然向两侧倾斜这2种疲态状态进行报警,尚不能对打呵欠、低头、闭眼等其他疲劳状态做出反应,需与其他检测方式结合使用.     

基于眼睛状态的驾驶员疲劳识别

有效防止和监督驾驶员疲劳驾驶,对降低交通事故具有重要意义。文章提出了一种基于眼睛状态识别的驾驶员疲劳状态的识别方法。首先通过计算累计背景和当前帧的差分图像的质心确定脸部范围,然后采用了二值边缘图像的人眼定位方法,计算出眼睛区域的面积和持续闭合时间,依据PERCLOS准则,判断驾驶员是否处于疲劳状态。实验表明,系统能够实时准确地定位人眼及检测眼睛的开闭状态,从而有效地检测驾驶员的疲劳程度。     

基于OpenCV的红外图像预处理算法研究

准确获取驾驶员的面部表情特征不仅能够有效判定驾驶员当前驾驶疲劳程度,而且能够为驾驶意图的判断提供可靠基础数据。为了全天候监控驾驶员面部表情特征,提出利用具有良好兼容性和快速处理图像特点的OpenCV获取人的面部表情特征,该算法利用车载红外探头实时采集驾驶员面部图像信息,对采集回来的图像进行滤波以及二值化处理,依据红外红外光谱和夜间驾驶员红外脸图特征对图像进行分割,从中提取出驾驶员脸部区域,从而实现对驾驶员脸部区域的准确定位。     

驾驶人状态适应式疲劳预警方法的研究

为设计针对驾驶人不同疲劳状态的预警方案,本文建立了包括察觉性、理解性和接受性的评价体系,系统研究了听觉、视觉和触觉3种预警方式对处于不同疲劳状态的驾驶人的预警效果。研究结果表明,各种预警方式对处于不同疲劳状态下的驾驶人具有不同的预警效果。听觉方式较适合于轻微疲劳状态,而触觉方式则更适合于非常疲劳状态。据此最终提出了一种适应于驾驶人不同疲劳状态的复合预警方案。     

基于驾驶人疲劳特征的疲劳驾驶监测系统研究

<正>由于长时间驾驶、睡眠不足、过度劳累、长期缺乏运动等因素会造成驾驶人的注意力、反应能力、判断力等下降,进而导致疲劳驾驶,疲劳驾驶是造成交通事故的重要原因之一,因此疲劳驾驶检测技术得到了广泛关注和研究。目前,疲劳驾驶检测技术已广泛应用于汽车制造业、交通管理、物流行业等领域,一些汽车厂商已开始将疲劳驾驶检测技术纳入车辆的智能安全系统中,以提高车辆驾驶的安全性。如日本三菱汽车公司开发了利用车辆横向位移量、驾驶人操作量等复合参数识别驾驶人疲劳状态,     

面向ARM平台的自标定驾驶员疲劳检测方法

提出了一种面向进阶精简指令集机器(ARM)平台的自标定驾驶员疲劳检测方法。对驾驶员不同身高、体型及车内摄像头不同位置,采用驾驶员初始姿态自标定方法;采用改进的基于深度学习的多任务卷积神经网络(MTCNN),提取人脸识别和特征点,以得到头部姿态、眼睛、嘴巴运动等信息;基于操作员序列的深度卷积神经网络,来判断驾驶员的疲劳状态等级。实验了驾驶员疲劳检测方法。结果表明:相对于没有标定,采用本驾驶员自标定的方式,识别准确性提高了15%,采用MTCNN方法和ARM NEON加速技术,在“全志H5”、“树莓派”和Android手机上,运行速度分别是200、150、140 ms,提高约50%。因而,该检测方法,既提高了系统鲁棒性,也满足实时需求。     

基于红外光源的驾驶员眼睛特征提取

驾驶员疲劳与精神分散是引发夜间行车交通安全事故的主要因素之一,驾驶员服睛位置的快速准确定位是利用视觉方法对驾驶员的夜间驾驶状态进行监测和预警的前提。文中利用Otsu阈值方法分割驾驶员人脸,根据分割后的二值化图像进行水平和垂直方向投影确定人脸位置,并在可靠定位人脸区域的基础上,建立了眼睛位置检测的感兴趣区域。采用Harris角点特征提取的方法在感兴趣区域内进行眼睛位置的快速有效定位。实验结果表明,该算法具有很好的可靠性和实时性,为后续夜间驾驶员状态研究奠定了良好基础。     

基于深度学习的驾驶员状态识别

提出了基于驾驶员脸部及周围信息的驾驶员状态检测方法。文章通过实车摄像头采集了驾驶员驾驶状态视频数据,利用Dlib和OpenCV库对采集的驾驶员图像进行脸部检测,基于驾驶员脸部数据建立了深度学习数据集,然后基于该数据集设计了一种卷积神经网络模型FaceNet,利用PyTorch深度学习框架在数据集上对模型进行训练,最终得到了有较高准确率的驾驶员状态检测模型,其可识别抽烟、睡觉、左手打电话和右手打电话四种驾驶员状态。     

基于视频图像和RBF神经网络的疲劳驾驶监测系统

采用视频采集方式和神经网络方法实现了驾驶员疲劳驾驶的非接触式监测。应用车头前端和车厢内部双路视频摄像头分别采集车辆相对于车道线的行驶轨迹和驾驶员的睁闭眼状态,应用Radon变换提取5 s内车头与车道线间的最大和最小偏离、相邻2帧间车头与车道线的最大角度变化量和平均角度差,应用AdaBoost算法提取驾驶员眼睛闭合帧数比例,并将上述各参数作为RBF神经网络的输入来实现驾驶员疲劳状态的动态监测,实验数据表明监测效果良好。     

基于脉搏波特征融合的驾驶疲劳检测方法

疲劳驾驶是交通事故的主要诱因之一，精确检测驾驶人的疲劳程度是主动预防疲劳驾驶事故的核心内容之一。通过开展自然驾驶试验，以驾驶人的生物信号脉搏波（Blood Pressure Waveform，BPW）为数据源，使用脉搏波波形分析方法从中提取有效表征驾驶疲劳的特征指标，构建用于检测驾驶疲劳等级的BPW特征指标集，在此基础上引入D-S证据理论建立了基于BPW特征融合的驾驶疲劳检测模型。结果表明：该模型对测试数据的疲劳驾驶理论检测精度达到了91.8%，优于贝叶斯网络模型的81.4%和支持向量机模型的84.3%，能够满足实际应用的需求，但与决策回归树检测模型99.7%的精度相比较还有差距。研究获得的基于生物信息融合的驾驶疲劳检查模型和方法在驾驶疲劳检测与监测中具有很好的应用前景，可为辅助安全驾驶和疲劳预警及主动干预提供新的技术方案。     

HRV分析在驾驶疲劳中的应用研究

驾驶员在驾驶过程中易因疲劳、烦躁和压力等不良生理反应引发事故,而心率变异性(HRV)作为评价人体自主神经系统活性,反映人体生理状态的重要指标,能够准确评估驾驶员的精神状态。为了有效预防事故发生,文章介绍了驾驶员在驾车过程中HRV指标的变化及其应用。结果表明HRV指标结合相应算法模型对驾驶员生理状态识别的准确率高达90%以上,能够有效降低事故发生率。     

汽车动态仿真器运动系统控制算法研究

汽车动态仿真器的研制必须建立在驾驶员视觉，触觉，听觉及体感的高逼真度模拟的基础上，研究了体感模拟技术的算法及建模，并进行了计算机仿真，仿真结果表明，所研究的运动控制算法，可为驾驶员提供逼真的运动感觉，可用于汽车动态仿真器的开发研究中心。     

A Control Authority Transition System for Collision and Accident Avoidance

Summary This paper addresses the problems ensuing with the human being who is controlling the technical system, especially problems related to his skill levels, driving habits, capabilities and decisions (especially when impaired by drugs, fatigue or physical handicaps). It may be possible to improve the ability of a driver to operate a vehicle safely if certain parameters in the control of the vehicle are adjusted according to the driver's normal characteristics. Value has already been established for tailoring certain attributes such as seat, pedals, steering wheel position and mirrors to a given driver through memory functions. This research concentrates on assessing a driver's operating characteristics and modifying the control to improve safe operation of the vehicle on a real-time basis.     

基于防疫常态化的驾驶员疲劳状态检测方法

疲劳驾驶检测是交通安全领域的研究分支, 而新冠疫情形势下口罩的佩戴又提出了新的挑战。为此通过基于ResNet-10的SSD模型检测驾驶员人脸, 并使用MobileNet-V2轻量级模型判断是否佩戴口罩, 测试集验证该分类器可以达到98.50%的判断精度。在未佩戴口罩的情况下采用传统图像HOG特征结合SVM分类器检测驾驶员人脸。在后续处理中利用级联回归器定位特征点和提取时间窗口内的疲劳指标, 采用二次判定对疲劳状态采取文字和声音预警, 而在清醒状态下会调整各项判断阈值。对算法在预采集的视频样本和NTHU-DDD测试集下进行测试, 验证了该框架能以18.42帧/s的总体速度实现92.65%和86.09%的检测精度。实验结果表明, 该框架应对佩戴眼镜、脸部姿态变化和光照条件差异具有强鲁棒性, 而且能够兼顾疲劳检测的口罩干扰和实时性。      

基于Bi-LSTM的多类型特征融合驾驶员疲劳识别方法

针对传统的基于驾驶员面部图像采集的单一类型特征的疲劳识别方法,在阴影遮挡及光照变化场景下存在准确性、鲁棒性不足的问题,深入开展基于多类型特征融合的驾驶员疲劳识别方法研究。在分析非图像化的驾驶员疲劳特征的基础上,通过机器人操作系统（Robot Operating System, ROS）的话题订阅来实现驾驶员生理特征、操作行为特征及面部特征的多源数据同步采集。处理原始数据并分析数据特性,提出了一种融合生理特征与驾驶员及观测者主观评价的数据标注策略,标注疲劳特征,构建驾驶员疲劳数据集;将驾驶员操作行为特征与面部特征融合,形成多类型特征融合序列,并基于双向长短时记忆（Bi-directional Long Short-Term Memory,Bi-LSTM）网络,构建多类型特征融合的疲劳识别模型;通过单一类型特征与多类型特征对比试验、不同场景对比试验证明,基于Bi-LSTM的多类型特征融合识别方法的准确率和鲁棒性较单一类型特征识别方法均有明显提升,能在各种场景下更好地识别驾驶员的疲劳状态。