基于深度学习的车辆目标检测算法综述

车辆目标检测是自动驾驶环境感知的重要组成部分。近年来随着深度学习在目标识别领域取得重大突破,基于深度学习的车辆目标检测算法逐渐成为该领域的研究热点。论文对当前主流的两阶段车辆目标检测算法和单阶段车辆目标检测算法进行简要介绍,分析了其中几种具有代表性的卷积神经网络算法的优缺点,最后总结目前车辆目标检测存在的问题以及未来的发展方向。     

基于改进长短时记忆网络的驾驶行为检测方法研究

疲劳驾驶和不安全驾驶行为是引起交通事故的主要原因,随着智能交通技术的发展,利用深度学习算法进行驾驶行为检测已成为研究的热点之一。在卷积神经网络和长短时记忆神经网络的基础上,结合注意力机制改进网络结构,提出一种混合双流卷积神经网络算法,空间流通道采用卷积神经网络提取视频图像的空间特征值,以空间金字塔池化代替均值池化,统一了特征图的尺度变换,时间流通道采用SSD算法计算视频序列相邻两帧光流图像,用于人眼等脸部小目标的检测,再进行图像特征融合与分类,在LFW数据集和自建数据集中进行了实验,结果表明本方法的人脸识别和疲劳驾驶的检测准确率分别高于其他方法 1.36和2.58个百分点以上。     

面向智能驾驶的人脸检测研究进展

智能驾驶作为汽车领域的一项前沿技术,日益受到广泛关注。人脸检测在智能驾驶中扮演着重要的角色,通过实时监测驾驶员和乘客的脸部特征能够提高车辆内部环境感知能力,增强系统对驾驶员和乘客的理解,从而提升交通安全性、舒适性和个性化服务体验。文章首先回顾了基于传统特征提取的人脸检测算法,然后介绍了基于深度学习的几种主流检测方法,包括基于级联卷积网络、单阶段检测及双阶段检测算法,分析了这几种算法的结构和优缺点并介绍了轻量级检测方法。最后,对未来的研究方向进行了展望。     

区域卷积神经网络用于遥感影像车辆检测

针对大范围快速的车辆检测与计数,利用高分辨率卫星影像数据,提出了一种基于区域卷积神经网络的车辆检测算法。区域卷积神经网络是深度卷积神经网络和区域建议网络二者的结合。首先利用深度卷积神经网络自动提取各个层的特征,为了减少检测窗口的数量,提出区域建议网络,对下采样后的每个位置考虑3种窗口和对应的3种比例,这样大大减少了检测窗口的数量。再根据分类器对目标进行分类。这样将特征、检测窗口和分类器有效地结合在一起。在对遥感影像车辆检测试验中,通过对手工标注的车辆样本数据多次迭代来训练卷积神经网络和区域建议网络获取车辆检测的先验模型,再由先验模型检测出测试影像中车辆目标。与传统的基于梯度方向直方图(HOG)特征和支持向量机(SVM)车辆检测算法进行比较,在检测率方面,区域卷积神经网络算法明显高于HOG+SVM算法;在误检率方面,区域卷积神经网络检测明显小于HOG+SVM算法;在检测时间方面,同样的一张图像,区域卷积神经网络检测速度比HOG+SVM算法提升近800倍。试验结果表明:利用区域卷积神经网络方法进行大范围车辆检测,在精度和速度方面都有显著提升。     

车载驾驶辅助系统及其深度学习与视觉技术

本文简要介绍自动驾驶技术的基础,包括ADAS的原理、架构和功能。深度学习嵌入式视觉技术在实现车载驾驶辅助系统(ADAS)的功能架构中起着关键作用。从深度神经网络机器学习的原理和特点出发,分析了驾驶辅助系统中深度学习和嵌入式视觉技术的原理、功能与架构,简述ADAS中视觉技术的块拼贴、场景分割等技术手段的相关特性,以及简述卷积神经网络CNN在ADAS中应用的现状与发展展望。     

智能驾驶实时目标检测的深度卷积神经网络

为提高深度学习神经网络运行速度,满足智能驾驶对算法实时性的要求,基于一种一体化实时目标检测算法YOLO和一种目标检测网络模型Faster RCNN,提出一种结合两者特点的实时目标检测神经网络。该网络保留区域卷积神经网络(R-CNN)算法的二次检测模式和区域生成神经网络RPN,去掉先验框,采用YOLO直接预测位置。结合Mask R-CNN中的ROI-Align方法进行二次位置修正,减少了Faster R-CNN中ROI-pooling所带来的位置预测偏差。对改进后的网络在KITTI数据集上进行测试,结果表明:改进后的神经网络检测一次仅耗时38 ms,检测的平均精确度高于YOLO和Faster RCNN,且对于不同大小的目标都具有很好的泛化能力。     

基于深层卷积神经网络的公路边坡灾害识别研究

人工检测公路边坡灾害,费时费力,效率和识别率较低,随着以深度卷积神经网络为代表的深度学习技术在图像目标识别方面取得的卓越成绩,为实现公路边坡灾害图像自动检测提供了新的思路。有鉴于此,针对传统人工方案存在的问题,本文设计了基于深度卷积神经网络实现公路边坡灾害自动识别系统。系统由预处理、深度学习网络模型及后处理三部分构成,在深度学习开源Caffe开发环境下,实现了Alex Net和Goog Le Net深度学习网络模型并采用大量公路边坡数据完成模型训练。通过对公路边坡实测数据的分类试验,本方案的边坡灾害识别率达到90%左右,表明基于深度学习的公路边坡检测方案可有效完成公路边坡灾害识别任务,有效替代传统人工检测方式。     

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

基于机器视觉的隧道衬砌表观病害检测技术研究进展

针对隧道衬砌表观裂缝病害的智能化检测算法问题,梳理了自动检测算法的处理流程,介绍了3种裂缝自动检测的方法:图像处理、传统机器学习、深度学习算法,并分析了3种方法的适用范围及优缺点,重点讨论了深度学习算法,它从根本上改变了裂纹检测的方式,大幅提高了检测性能。对基于分类、目标检测和分割的深度学习神经网络在裂纹检测中的应用进行了综述和比较,展望了该算法在裂缝自动检测的应用前景。     

自适应均衡学习的端到端类人驾驶控制决策网络

针对现有端到端自动驾驶网络对于类人驾驶行为与思维特征模拟不足的问题，从类人驾驶特征出发，设计了一个包含时空特征、历史状态特征及未来特征的端到端类人驾驶控制决策网络。采用多层卷积和长短期卷积时序记忆网络（Conv-LSTM），对前方道路视觉感知图像时间序列进行时空特征提取，同时采用一维卷积和长短期时序记忆网络（Long Short-Term Memory，LSTM） 对车辆状态信息时间序列进行历史状态特征提取，进而采用多任务参数共享方式进行当前时刻和未来序列的方向盘转角、车速的控制决策，并以未来序列作为辅助任务督促当前时刻的主任务学习。为更好地耦合汽车纵横向控制参数学习的过程，还提出一种权衡纵横向控制参数损失量级及学习速度的权重自适应方法，并引入容差阈值，建立衡量纵横向控制参数训练效果的评价方法。依托Comma2k19数据集对所构建控制决策网络进行训练和验证，体现出良好的可行性及优越性。     

基于深度学习的驾驶员状态识别

提出了基于驾驶员脸部及周围信息的驾驶员状态检测方法。文章通过实车摄像头采集了驾驶员驾驶状态视频数据,利用Dlib和OpenCV库对采集的驾驶员图像进行脸部检测,基于驾驶员脸部数据建立了深度学习数据集,然后基于该数据集设计了一种卷积神经网络模型FaceNet,利用PyTorch深度学习框架在数据集上对模型进行训练,最终得到了有较高准确率的驾驶员状态检测模型,其可识别抽烟、睡觉、左手打电话和右手打电话四种驾驶员状态。     

基于深度学习的多角度车辆动态检测方法

针对在复杂场景下,背景区域干扰特征过多、被检测目标运动速度快等导致的动态目标检测率低的问题,研究了基于深度学习的多角度车辆动态检测方法,将带有微型神经网络的卷积神经网络(MLP-CNN)用于传统算法的改进.使用快速候选区域提取算法提取图像中可能存在车辆的区域,之后使用深层卷积神经网络(CNN)提取候选区域的特征,并在卷积层中增加微型神经网络(MLP)对每层的特征进一步综合抽象,最后使用支持向量机(SVM)区分目标和背景的CNN特征.实验表明,该方法能够处理高复杂度背景条件下,部分遮挡、运动速度快的目标特征检测,识别率高达87.9%,耗时仅需225ms,比常用方法效率有大幅度提升.      

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于差异性区域预测的行人与骑车人联合检测

本文中针对自动驾驶车辆在环境感知过程中易将行人与骑车人混淆的问题,提出一种有效区分行人与骑车人的联合检测方法,并基于快速区域卷积神经网络Faster R-CNN进行改进。首先,通过增加一个子网络提取图像形状特征通道,将其与主干网络生成的特征图进行聚合,额外的形状语义通道用以辅助检测器区分行人与骑车人的特征;接着,通过构建差异性区域预测单元,以区分行人与骑车人差异部位,将建议区域划分为多个部件并计算其置信度,根据该置信度对部件特征进行加权;最后,将主体特征与加权后的部件特征聚合后送至分类器进行分类。在本文中构建的行人-骑车人数据集和公开的Caltech数据集中进行测试的结果表明,改进后的检测方法能有效减少将骑车人误检为行人的情况,具有较高的检测精度。     

面向智能驾驶行为的机器学习

基于机器学习的智能驾驶行为分析是智能车辆发展的方向和难点之一.驾驶行为的知识获取和表达,涉及机器学习中的诸多算法.首先对机器学习在驾驶行为识别判断、建模预测、智能决策等方面的研究进行了分析,进而对驾驶行为分析中的几种主要机器学习算法进行了较为全面的总结,最后给出了各种算法的优缺点.     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。