基于深度学习的船舶驾驶员疲劳检测算法

针对日益凸显的船舶值班人员疲劳驾驶问题，为有效预警值班驾驶员的疲劳状态，保障船舶航行安全，研究了基于深度学习的疲劳检测算法。考虑到船舶驾驶台空间大、背景复杂等特点，使用深度可分离卷积改进RetinaFace人脸检测模型，优化模型的检测速度；基于Channel Split和Channel Shuffle思想，结合批量归一化、全局平均池化等技术搭建改进的ShuffleNetV2网络，自动提取图像特征，识别眼睛、嘴巴的开闭状态；根据PERCLOS准则融合眼睛、嘴巴2个特征参数综合判定驾驶员是否疲劳。实验结果表明:改进后RetinaFace模型的检测速度由9.33帧/s提升至22.60帧/s，人脸检测精度和速度均优于多任务卷积神经网络（MTCNN）；改进的ShuffleNetV2网络识别眼睛、嘴巴状态的准确率高达99.50%以上；算法在模拟驾驶台环境中识别疲劳状态的精确率达到95.70%，召回率达到96.73%，均高于目前常见的Haar-like+Adaboost以及MTCNN+CNN疲劳检测算法。算法检测每帧图片仅需0.083 s，基本满足实时检测的要求。      

基于深度学习的驾驶员状态识别

提出了基于驾驶员脸部及周围信息的驾驶员状态检测方法。文章通过实车摄像头采集了驾驶员驾驶状态视频数据,利用Dlib和OpenCV库对采集的驾驶员图像进行脸部检测,基于驾驶员脸部数据建立了深度学习数据集,然后基于该数据集设计了一种卷积神经网络模型FaceNet,利用PyTorch深度学习框架在数据集上对模型进行训练,最终得到了有较高准确率的驾驶员状态检测模型,其可识别抽烟、睡觉、左手打电话和右手打电话四种驾驶员状态。     

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于神经网络的疲劳驾驶识别系统

驾驶疲劳识别系统主要依据驾驶员眼部信号、驾驶行为、生理信号等来判断疲劳状态。文章通过BP神经网络与疲劳驾驶相结合,对疲劳参数进行分析,建立基于神经网络的疲劳驾驶实时识别系统,从而提高疲劳检测的准确率。     

基于改进长短时记忆网络的驾驶行为检测方法研究

疲劳驾驶和不安全驾驶行为是引起交通事故的主要原因,随着智能交通技术的发展,利用深度学习算法进行驾驶行为检测已成为研究的热点之一。在卷积神经网络和长短时记忆神经网络的基础上,结合注意力机制改进网络结构,提出一种混合双流卷积神经网络算法,空间流通道采用卷积神经网络提取视频图像的空间特征值,以空间金字塔池化代替均值池化,统一了特征图的尺度变换,时间流通道采用SSD算法计算视频序列相邻两帧光流图像,用于人眼等脸部小目标的检测,再进行图像特征融合与分类,在LFW数据集和自建数据集中进行了实验,结果表明本方法的人脸识别和疲劳驾驶的检测准确率分别高于其他方法 1.36和2.58个百分点以上。     

区域卷积神经网络用于遥感影像车辆检测

针对大范围快速的车辆检测与计数,利用高分辨率卫星影像数据,提出了一种基于区域卷积神经网络的车辆检测算法。区域卷积神经网络是深度卷积神经网络和区域建议网络二者的结合。首先利用深度卷积神经网络自动提取各个层的特征,为了减少检测窗口的数量,提出区域建议网络,对下采样后的每个位置考虑3种窗口和对应的3种比例,这样大大减少了检测窗口的数量。再根据分类器对目标进行分类。这样将特征、检测窗口和分类器有效地结合在一起。在对遥感影像车辆检测试验中,通过对手工标注的车辆样本数据多次迭代来训练卷积神经网络和区域建议网络获取车辆检测的先验模型,再由先验模型检测出测试影像中车辆目标。与传统的基于梯度方向直方图(HOG)特征和支持向量机(SVM)车辆检测算法进行比较,在检测率方面,区域卷积神经网络算法明显高于HOG+SVM算法;在误检率方面,区域卷积神经网络检测明显小于HOG+SVM算法;在检测时间方面,同样的一张图像,区域卷积神经网络检测速度比HOG+SVM算法提升近800倍。试验结果表明:利用区域卷积神经网络方法进行大范围车辆检测,在精度和速度方面都有显著提升。     

基于深度学习的多角度车辆动态检测方法

针对在复杂场景下,背景区域干扰特征过多、被检测目标运动速度快等导致的动态目标检测率低的问题,研究了基于深度学习的多角度车辆动态检测方法,将带有微型神经网络的卷积神经网络(MLP-CNN)用于传统算法的改进.使用快速候选区域提取算法提取图像中可能存在车辆的区域,之后使用深层卷积神经网络(CNN)提取候选区域的特征,并在卷积层中增加微型神经网络(MLP)对每层的特征进一步综合抽象,最后使用支持向量机(SVM)区分目标和背景的CNN特征.实验表明,该方法能够处理高复杂度背景条件下,部分遮挡、运动速度快的目标特征检测,识别率高达87.9%,耗时仅需225ms,比常用方法效率有大幅度提升.      

疲劳驾驶检测方法的研究进展

全世界每年因驾驶员疲劳驾驶而导致的死亡人数占交通灾难性事故的57%,故针对疲劳驾驶检测方法的研究具有现实意义.阐述了目前国内外各类疲劳驾驶检测方法的研究难点,介绍并对比分析了基于驾驶员生理参数、驾驶员行为特征、车辆行为特征的各类客观检测方法;最后对疲劳驾驶检测方法的发展趋势和应用前景进行了论述.     

基于CNN和HUD技术的交通标志提醒辅助驾驶系统设计

为了提高驾驶的安全性,维护交通秩序,文章应用卷积神经网络(CNN)和抬头显示技术(HUD)提出了一种提醒驾驶员交通标志的系统。首先通过红外摄像头做成的视觉采集器收集车辆周围交通标志牌信息,再传递给训练好的卷积神经网络,通过卷积神经网络进行对捕捉到的图像进行识别并生成提示信息,然后通过抬头显示技术将卷积神经网络生成的提示信息显示到车辆的前挡风玻璃上,从而起到提示驾驶员辅助驾驶的作用。     

基于脑电信号的疲劳驾驶状态研究EI北大核心CSCD

为准确快速检测驾驶员的疲劳状态,本文中提出了一种基于脑网络特征的疲劳检测方法。首先选取真实驾驶实验环境,实时采集驾驶员的脑电信号,对其进行小波包分解与重构,提取各个节律信号。接着通过计算各导联间的相位迟滞指数,构建连接矩阵,并提取各个节律的脑网络特征。最后通过对驾驶员主观疲劳度与所提取特征的人工神经网络回归分析,得到二者间的复杂关系,相关性系数R为90.27%。结果验证了基于功能连接的精神疲劳评估方法的可行性,为不同精神状态下建立脑动态模型开辟了新的途径。本文中提出的方法利用较少电极可穿戴EEG设备检测疲劳简便、经济,对驾驶员疲劳检测系统的开发具有重要意义。     

基于视觉的驾驶人疲劳及注意力监测方法

对驾驶人疲劳状态监测技术进行了深入研究,分析了在实际应用中存在的问题,在此基础上提出基于灰度方差定位驾驶人面部,利用投影曲线极点位置分割面部器官独立区域,对每一个独立区域进行OSTU计算和轮廓提取,最终获得眼睛的轮廓状态,利用PERCLOS判断驾驶人的精神状态。利用驾驶人面部器官定位的结果,对人体头部旋转运动模型进行分析,提出了计算驾驶人面部旋转角度的计算方法。最后给出判断驾驶人的注意力是否分散的判断策略。试验结果表明,该算法实时性好,具有较好的鲁棒性,可以为驾驶人疲劳状态及注意力状态的判断提供较为准确的依据。     

A Research on Analytical Method of Driver-Vehicle-Environment System for Construction of Intelligent Driver Support System

In this study, a driver model with the multiple regression and the neural network is constructed to analyze the relationship between the driver's control action and the information that includes data of vehicle behavior and environment. Using these models, effectiveness of the information to control the action of a driver is examined. To evaluate the intelligent driver support systems, Mental Work Load (MWL) model is constructed with the multiple regression and the neural network. MWL is expressed as Heart Rate Variability (HRV). Measured HRV data and calculated HRV data with MWL model show good agreement. Effectiveness of information is examined using the MWL model. From these results, it is shown that the analytical method with the driver's MWL can be used to assess and improve the intelligent driver support systems as the next stage of this research.     

基于红外光源的驾驶员眼睛特征提取

驾驶员疲劳与精神分散是引发夜间行车交通安全事故的主要因素之一,驾驶员服睛位置的快速准确定位是利用视觉方法对驾驶员的夜间驾驶状态进行监测和预警的前提。文中利用Otsu阈值方法分割驾驶员人脸,根据分割后的二值化图像进行水平和垂直方向投影确定人脸位置,并在可靠定位人脸区域的基础上,建立了眼睛位置检测的感兴趣区域。采用Harris角点特征提取的方法在感兴趣区域内进行眼睛位置的快速有效定位。实验结果表明,该算法具有很好的可靠性和实时性,为后续夜间驾驶员状态研究奠定了良好基础。     

基于脉搏波特征融合的驾驶疲劳检测方法

疲劳驾驶是交通事故的主要诱因之一，精确检测驾驶人的疲劳程度是主动预防疲劳驾驶事故的核心内容之一。通过开展自然驾驶试验，以驾驶人的生物信号脉搏波（Blood Pressure Waveform，BPW）为数据源，使用脉搏波波形分析方法从中提取有效表征驾驶疲劳的特征指标，构建用于检测驾驶疲劳等级的BPW特征指标集，在此基础上引入D-S证据理论建立了基于BPW特征融合的驾驶疲劳检测模型。结果表明：该模型对测试数据的疲劳驾驶理论检测精度达到了91.8%，优于贝叶斯网络模型的81.4%和支持向量机模型的84.3%，能够满足实际应用的需求，但与决策回归树检测模型99.7%的精度相比较还有差距。研究获得的基于生物信息融合的驾驶疲劳检查模型和方法在驾驶疲劳检测与监测中具有很好的应用前景，可为辅助安全驾驶和疲劳预警及主动干预提供新的技术方案。     

模拟驾驶环境下驾驶人分心状态判别

为了探寻驾驶人分心判别方法,构建了驾驶人分心状态判别模型。首先设计分心模拟驾驶试验,采集正常驾驶和发送语音信息过程中的驾驶绩效特征和驾驶人眼动特征数据,建立驾驶人分心状态判别指标备选集;其次,采用基因选择算法对备选指标进行筛选,得到29个备选指标的重要度排序;然后,依次选取重要度较高的部分指标作为BP神经网络的输入指标,利用遗传算法（GA）全局搜索的性能优化BP神经网络的初始权值和阈值,将优化后的GA-BP神经网络作为弱分类器,再将多个弱分类器组合成Adaboost强分类器,建立基于Adaboost-GA-BP组合算法的驾驶人分心状态判别模型;最后,利用模拟驾驶器试验平台采集的数据计算不同判别指标数量下模型的性能,从而确定最优判别指标,并对模型进行验证和评价。结果表明：模型最优判别指标为重要度排序中前14个指标;模型能够准确识别驾驶人分心状态,判别精度为95.09%;与BP神经网络算法、GA-BP神经网络算法和Adaboost-BP神经网络算法相比,Adaboost-GA-BP组合算法在准确率、精准率、召回率、F₁值和ROC曲线等模型性能方面均最优。建立的模型能够有效判别驾驶人分心状态,可为驾驶人分心预警系统和分心控制策略提供依据。     

针对自适应巡航的驾驶人风格辨识

车辆进入自适应巡航工况下行驶时,不同风格的驾驶人会对自适应巡航控制系统(Adaptive Cruise Control,ACC)有不同的需求。文章首先通过对不同驾驶人在9种跟随试验下获取的实验数据分析,选取表征驾驶人风格的驾驶特征参数;其次对所有驾驶人驾驶特征参数利用K-mean算法聚类分析,将驾驶人三类,并利用BP神经网络建立辨识模型对驾驶人风格进行辨识。结果表明;文章提出的方法可以较高的准确率对驾驶人风格进行分类,提高自适应巡航系统适应驾驶人的能力。     

基于前额脑电多尺度小波对数能量熵的驾驶疲劳检测分析

为研究脑机接口（BCI）在交通运输中的应用，减少因疲劳驾驶导致的交通安全事故，提出基于前额脑电（EEG）信号多尺度小波对数能量熵的驾驶疲劳检测方法。首先，设计驾驶仿真模拟试验，利用脑电帽采集26名被试清醒驾驶和疲劳驾驶的前额EEG信号，试验过程中，使用主观检测方法每隔20 min对被试进行问询；其次，应用MATLAB对采集到的EEG数据进行预处理，基于2种驾驶状态形成被试初始样本数据集；进而，在该数据集基础上，利用多尺度熵的概念，提取EEG信号小波对数能量熵（WLE）特征，同时提取经典模糊熵（FE）特征进行比较分析；然后，运用极限学习机（ELM）对提取的特征数据集进行快速有效的精准分类，并使用留一交叉验证法进行验证评估；最后，对比经典FE分类表现，并结合多种性能指标对驾驶疲劳检测结果进行综合比较。研究结果表明：在本文试验条件下，基于多尺度WLE（MWLE）的前额EEG疲劳识别率显著高于基于多尺度FE（MFE）的识别率，其理论平均正确率达91.8%；基于多尺度熵的EEG信号特征提取方法能有效提高驾驶疲劳识别效果和算法效率；多种性能指标表明前额EEG的WLE可以作为衡量驾驶疲劳的有效生理指标；结果验证了采用基于ELM对MWLE的前额EEG信号进行驾驶疲劳检测方法的有效性和实用性，有助于促进可穿戴BCI在疲劳驾驶预警中的应用。     

基于 Bi-LSTM 的多类型特征融合驾驶员疲劳识别方法

针对传统的基于驾驶员面部图像采集的单一类型特征的疲劳识别方法，在阴影遮挡及光照变化场景下存在准确性、鲁棒性不足的问题，深入开展基于多类型特征融合的驾驶员疲劳识别方法研究。在分析非图像化的驾驶员疲劳特征的基础上，通过机器人操作系统 （Robot Operating System， ROS）的话题订阅来实现驾驶员生理特征、操作行为特征及面部特征的多源数据同步采集。处理原始数据并分析数据特性，提出了一种融合生理特征与驾驶员及观测者主观评价的数据标注策略，标注疲劳特征，构建驾驶员疲劳数据集；将驾驶员操作行为特征与面部特征融合，形成多类型特征融合序列，并基于双向长短时记忆 （Bi-directional Long Short-Term Memory，Bi-LSTM）网络，构建多类型特征融合的疲劳识别模型；通过单一类型特征与多类型特征对比试验、不同场景对比试验证明，基于Bi-LSTM的多类型特征融合识别方法的准确率和鲁棒性较单一类型特征识别方法均有明显提升，能在各种场景下更好地识别驾驶员的疲劳状态。