面向ARM平台的自标定驾驶员疲劳检测方法

提出了一种面向进阶精简指令集机器(ARM)平台的自标定驾驶员疲劳检测方法。对驾驶员不同身高、体型及车内摄像头不同位置,采用驾驶员初始姿态自标定方法;采用改进的基于深度学习的多任务卷积神经网络(MTCNN),提取人脸识别和特征点,以得到头部姿态、眼睛、嘴巴运动等信息;基于操作员序列的深度卷积神经网络,来判断驾驶员的疲劳状态等级。实验了驾驶员疲劳检测方法。结果表明:相对于没有标定,采用本驾驶员自标定的方式,识别准确性提高了15%,采用MTCNN方法和ARM NEON加速技术,在“全志H5”、“树莓派”和Android手机上,运行速度分别是200、150、140 ms,提高约50%。因而,该检测方法,既提高了系统鲁棒性,也满足实时需求。     

基于DSP的嵌入式驾驶疲劳监测系统研究

为了进行有效的、实时的、非接触式的驾驶员疲劳检测,采取NHTSA和FHWA推荐的非接触式疲劳检测方法PERCLOS,利用TI公司的专用图像处理DSP芯片TMS320DM642,构建了车载的基于DSP的嵌入式驾驶疲劳监测系统。首先使用肤色模型算法迅速定位人脸,然后利用累积差分帧和Hough变换等实时图像处理技术来检测、跟踪眼睛,分析眼睛的状态和提取眼睛的特征参数,计算PERCLOS值、判断疲劳程度并采取报警或其他措施。试验结果表明,系统的算法简单、快速、鲁棒性强。     

适用驾驶员疲劳状态监测的人眼定位方法研究

驾驶员在车辆行驶过程中是否疲劳驾驶可以从眼睛的状态反映出来，利用驾驶员眼睛的状态信息来判断驾驶员疲劳状况是一种可行的方法。在采用计算机视觉对驾驶员进行驾驶行为监控时，驾驶员面部眼睛定位是判断驾驶员是否疲劳驾驶的关键。为了解决面部眼睛定位的实时性以及头部旋转不确定性等问题，本文在人脸面部定位的基础上，给出了一种基于区域标示算法的面部人眼定位算法。试验验证了上述算法的有效性。     

基于眼睛状态的驾驶员疲劳识别

有效防止和监督驾驶员疲劳驾驶,对降低交通事故具有重要意义。文章提出了一种基于眼睛状态识别的驾驶员疲劳状态的识别方法。首先通过计算累计背景和当前帧的差分图像的质心确定脸部范围,然后采用了二值边缘图像的人眼定位方法,计算出眼睛区域的面积和持续闭合时间,依据PERCLOS准则,判断驾驶员是否处于疲劳状态。实验表明,系统能够实时准确地定位人眼及检测眼睛的开闭状态,从而有效地检测驾驶员的疲劳程度。     

基于眼睛状态识别的驾驶员疲劳实时监测

提出了一种基于眼睛状态识别的驾驶员疲劳状态实时监测的方法。为了实现眼睛状态的检测,首先通过计算累计背景和当前帧的差分图像的质心确定脸部范围,然后通过二值化和轮廓检测确定眼睛的搜索区域。在利用启发式规则进行筛选定位之后,计算眼睛骨架曲线和两眼角连线之间的距离得到眼睛的睁开程度。通过计算相应的疲劳指标如PERCLOS、平均睁眼程度、最长眼睛闭合时间来推测驾驶员的疲劳状态。以驾驶员面部视频的主观评分作为评价依据对检测方法进行评价,结果显示上述3个指标在不同的疲劳等级下均存在显著性差异,通过对不同指标的融合可达到较好的疲劳检测准确率。     

基于防疫常态化的驾驶员疲劳状态检测方法

疲劳驾驶检测是交通安全领域的研究分支, 而新冠疫情形势下口罩的佩戴又提出了新的挑战。为此通过基于ResNet-10的SSD模型检测驾驶员人脸, 并使用MobileNet-V2轻量级模型判断是否佩戴口罩, 测试集验证该分类器可以达到98.50%的判断精度。在未佩戴口罩的情况下采用传统图像HOG特征结合SVM分类器检测驾驶员人脸。在后续处理中利用级联回归器定位特征点和提取时间窗口内的疲劳指标, 采用二次判定对疲劳状态采取文字和声音预警, 而在清醒状态下会调整各项判断阈值。对算法在预采集的视频样本和NTHU-DDD测试集下进行测试, 验证了该框架能以18.42帧/s的总体速度实现92.65%和86.09%的检测精度。实验结果表明, 该框架应对佩戴眼镜、脸部姿态变化和光照条件差异具有强鲁棒性, 而且能够兼顾疲劳检测的口罩干扰和实时性。      

基于红外光源的驾驶员眼睛特征提取

驾驶员疲劳与精神分散是引发夜间行车交通安全事故的主要因素之一,驾驶员服睛位置的快速准确定位是利用视觉方法对驾驶员的夜间驾驶状态进行监测和预警的前提。文中利用Otsu阈值方法分割驾驶员人脸,根据分割后的二值化图像进行水平和垂直方向投影确定人脸位置,并在可靠定位人脸区域的基础上,建立了眼睛位置检测的感兴趣区域。采用Harris角点特征提取的方法在感兴趣区域内进行眼睛位置的快速有效定位。实验结果表明,该算法具有很好的可靠性和实时性,为后续夜间驾驶员状态研究奠定了良好基础。     

基于人眼特征的疲劳驾驶状态检测方法

为获取用于检测驾驶疲劳状态的关键指标,通过实车试验采集了驾驶员行为状态、眼动数据和车辆动态信息,对比分析了各参数对驾驶员主观疲劳状态的反映程度。对于驾驶员眼部特征检测,使用特征提取器完成人脸位置的实时跟踪,并使用 68 点面部特征检测算法标记关键点位置,估算出眼睛长宽比（EAR）。通过分类与回归树（CART）决策算法训练数据模型,实现在一定窗口期内对驾驶员眨眼行为的准确决策分类,获得眼睛闭合率（PERCLOS） 等关键眼部特征指标。在此基础之上设计了 13 种驾驶疲劳状态检测指标,并与卡罗林斯卡嗜睡量等级（KSS）这一主观疲劳程度衡量参数作相关性评价。研究结果表明： PERCLOS 与KSS 的相关性最高,相关系数为 0.83,因此借助 PERCLOS 可以较准确地判断驾驶疲劳状态。     

基于AdaBoost算法的疲劳驾驶检测系统研究

为提高行车安全性,结合驾驶员人眼开度特征开展了疲劳驾驶检测系统研究,提出采用AdaBoost算法实现人脸及人眼的定位方法。驾驶员视频图像在动态直方拉伸和训练好的AdaBoost算法分类器作用下实现人脸、人眼定位;对获得的眼部图像进行边缘检测及轮廓提取,计算轮廓内像素点得到眼睛的开度信息;利用PERCLOS算法计算一段时间内驾驶员的闭眼帧数及眨眼频率比例,获得驾驶员疲劳状态。试验结果表明,该系统具有较好的抗环境干扰和实时性,能准确地完成疲劳判断。     

基于红外图像的夜间驾驶员疲劳检测系统设计

当前来说由于疲劳驾驶而引发的交通事故越来越多,而夜间是疲劳驾驶的高发时段,由于这种原因,文章设计了适用于在夜间监测驾驶员是否处于疲劳状态的系统。利用OPENCV软件对得到的红外图像进行人脸的检测与识别,得到人脸的红外图像,针对得到的人脸红外图像进行灰度化和二值化的处理,设定一个阈值根据二值化后像素的个数判断驾驶员是否处于疲劳状态,如果处于疲劳状态的情况下,系统就会报警提醒驾驶员注意采取措施。如果驾驶员并不处于驾驶疲劳的状态,那么监测系统将继续检测。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平...     

基于异步交互聚合网络的港船作业区域人员异常行为识别

港船作业区域人员的异常行为识别可为智能航运的管控与决策提供重要数据支撑,有利于推动智慧港口和智能船舶的发展.基于异步交互聚合网络开展了面向港船工作环境下的人员异常行为识别研究.基于YOLO模型对港船图像进行卷积操作,利用特征金字塔优化卷积结果得到图像序列中每一帧的人员位置,结合联合学习检测和嵌入范式输出港船图像序列中的...     

基于深度学习的多角度车辆动态检测方法

针对在复杂场景下,背景区域干扰特征过多、被检测目标运动速度快等导致的动态目标检测率低的问题,研究了基于深度学习的多角度车辆动态检测方法,将带有微型神经网络的卷积神经网络(MLP-CNN)用于传统算法的改进.使用快速候选区域提取算法提取图像中可能存在车辆的区域,之后使用深层卷积神经网络(CNN)提取候选区域的特征,并在卷积层中增加微型神经网络(MLP)对每层的特征进一步综合抽象,最后使用支持向量机(SVM)区分目标和背景的CNN特征.实验表明,该方法能够处理高复杂度背景条件下,部分遮挡、运动速度快的目标特征检测,识别率高达87.9%,耗时仅需225ms,比常用方法效率有大幅度提升.      

基于改进RepVGG网络的车道线检测算法

为提高自动驾驶系统中车道线检测的速度和精度,提出了基于可解耦训练状态与推理状态的车道线检测算法.在结构重参数化VGG(RepVGG)主干网络中引入注意力机制压缩-激励(SE)模块,增强对重要车道线信息的特征提取;同时设计并行可分离的辅助分割分支,对局部特征进行建模以提高检测精度.采用行方向位置分类车道线检测方式,在主干...     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

基于随机森林算法的内河船舶油耗预测模型

准确的船舶油耗预测模型是船舶实现各项航行优化措施的基础.以长江干线某旅游船为研究对象,通过安装信息采集系统获得了大量的船舶实时营运数据.通过理论分析得出影响船舶油耗的主要因素为风速、风向、水深、水流速度和船舶航速;改进了随机森林建模时参数的设置方法,提出一种变量的重要性测度方法;对去噪处理后数据进行系统抽样并进行归一化处理,得到建模的样本数据;把样本数据按0.7∶0.3的比例随机分为训练样本和测试样本,对训练样本采用随机森林(RF)算法建立油耗预测模型;通过模型预测测试样本的油耗值,与实测数据对比,结果显示预测误差低于6.8%,优于BP神经网络与支持向量机(SVM)的预测结果;分析模型中各变量的重要性顺序为:航速>水流速度>水深>风速>风向,利用偏相关分析得到了单个因素与油耗间的定量关系.      

基于机器视觉对交通场景中车辆速度识别研究

通过对YOLOv5机器视觉框架进行二次开发，同时融合DeepSORT追踪算法，实现对桥梁交通车辆时空信息的提取和车辆轨迹的追踪。改进了传统的虚拟线圈法，实现了对车辆速度的测量，避免对传统方法中因检测线圈的像素变化进行阈值的设定，提高了算法的普适性。最后，将算法应用到实际的场景中与测速仪结果进行对比，其中平均误差在1%以内，误差最大值控制在为15%以内。     

智能驾驶实时目标检测的深度卷积神经网络

为提高深度学习神经网络运行速度,满足智能驾驶对算法实时性的要求,基于一种一体化实时目标检测算法YOLO和一种目标检测网络模型Faster RCNN,提出一种结合两者特点的实时目标检测神经网络。该网络保留区域卷积神经网络(R-CNN)算法的二次检测模式和区域生成神经网络RPN,去掉先验框,采用YOLO直接预测位置。结合Mask R-CNN中的ROI-Align方法进行二次位置修正,减少了Faster R-CNN中ROI-pooling所带来的位置预测偏差。对改进后的网络在KITTI数据集上进行测试,结果表明:改进后的神经网络检测一次仅耗时38 ms,检测的平均精确度高于YOLO和Faster RCNN,且对于不同大小的目标都具有很好的泛化能力。     

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。