基于联合特征和压缩字典学习的车辆类型识别算法

本文中针对车型识别中计算时间长、识别精度低的问题,提出基于联合特征和压缩字典学习的车型识别算法。首先,利用SIFT算法提取车辆原始图像的纹理特征和车辆图像边缘的形状特征,并将其串联,生成更具差别性的联合特征;然后,构建特征字典并进行字典学习,在此过程中,将特征字典分成大小相同的数据块,利用非常稀疏随机投影矩阵,降低样本数据块的维度,通过稀疏编码和字典更新两个阶段,生成最终压缩特征字典;最后,建立稀疏表示分类模型,通过计算待测目标在字典中的最小重构误差,实现车型识别。实验结果表明,该算法能有效提高车型识别准确率和实时性。     

面向前车的驾驶行为感知与意图识别算法研究

感知周围车辆的驾驶行为并识别其意图将成为新一代高级驾驶辅助系统的重要组成部分。针对现有方法只考虑单一驾驶行为且可扩展性和可伸缩性差,提出一种基于稀疏表示理论的驾驶行为感知字典模型(Driving Behavior Perception Dictionary Model, DBPDM)。将车辆行驶状态视为时间序列,设计基于自回归积分移动平均(Autoregressive Integrated Moving Average,ARIMA)结合在线梯度下降(Online Gradient Descent, OGD)优化器的在线预测模型,提出基于驾驶行为预测的意图识别构架(Intention Recognition Framework, IRF)。首先,采用图Lasso方法估计典型驾驶行为的稀疏逆协方差矩阵构建驾驶行为字典库,并采用Logdet散度方法计算各逆协方差矩阵的差异获得行为感知字典模型。然后,基于在线预测模型对目标车辆的行驶轨迹和运动状态进行预测,结合主车车辆的行驶状态作为稀疏表示的观测信号,以获取预测时域内的目标车辆意图。最后,采用NGSIM (Next Generation SIMulation)真实驾驶数据对模型进行开发和测试。研究结果表明:所提出的行为感知模型能对6种典型驾驶行为构建行为字典,在分类准确率上与现有方法相比有明显提升,对换道和转向行为样本的平均识别准确率分别达到99.1%和92.9%;该模型能够在相对早期阶段准确地识别出车辆行为;在线预测算法能较好预测出目标车辆的行驶轨迹和运动状态,从而间接地反映出其在预测时域内的驾驶意图;IRF可在换道和转向行为开始前的1.5 s较为准确地识别出目标车辆的意图,平均识别准确率超过80%。     

基于虚拟点云的二阶段多模态融合网络

针对点云的稀疏性和无序性对目标检测准确率的影响,本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先,利用图像检测目标信息构造虚拟点云,增加点云的密集程度,从而提高目标特征的表现;其次,增加点云特征维度以区分真实和虚拟点云,并使用含置信度编码的体素,增强点云的相关性;最后,采用虚拟点云的比例系数设计损失函数,增加图像检测有监督训练,提高二阶段网络训练效率,避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试,检测精度优于经典三维点云检测网络和某些多传感器信息融合网络,车辆检测精度达到了86.9%。     

公路隧道火灾初期视频火焰检测

为了有效探测公路隧道火灾初期火焰并预警,针对传统的感温型火灾火焰探测器在公路隧道等大空间环境存在反应速度慢等问题,通过研究失控火焰在图像中呈现的静态和动态特征,提出一种基于火焰图像多特征和AdaBoost算法的公路隧道火灾初期火焰识别方法。利用帧间差分算法提取运动前景,根据火焰在RGB和Lab空间的颜色统计模型分割疑似火焰区域,用从疑似区域中提取的H分量一阶矩、圆形度和LBP一阶矩特征值构成特征向量,作为AdaBoost静态特征模型的输入向量,用在一个检测周期提取的疑似区域质心跳动频率归一化特征值和AdaBoost静态特征模型识别结果中火焰帧数占周期总帧数的比值构成特征向量,作为AdaBoost综合特征模型的输入向量,并优化选取AdaBoost模型的参数。采用公路隧道火焰视频和公用视频对训练得到的AdaBoost静态特征分类器和AdaBoost综合特征分类器进行试验测试。结果表明：该方法能够实现公路隧道环境火灾初期的火焰识别,并能有效排除伪火焰车灯等干扰引起的误报警。     

基于图像的车道线内车辆目标识别

为了获取本车道内前方车辆信息,文章提出一种基于HOG特征与SVM模型的车辆识别方法。根据检测出的车道线确定搜索区域,结合车底阴影特征实施车辆的检测并确定车辆可能存在的假想区域,针对假想区域进行HOG特征提取,构建车辆正、负样本库,将假想区域进行HOG特征输入到训练好的SVM识别器,实现车辆目标的识别。通过大量测试图像进行验证,结果表明文章采用的方法可识别出本车道内前方车辆目标。     

一种基于雷达和机器视觉信息融合的车辆识别方法

为提高先进驾驶员辅助系统对车辆前方环境识别的准确性,提出一种基于雷达和视觉传感器信息融合的车辆识别方法。系统工作前预先对毫米波雷达和摄像头进行联合标定,并确定雷达坐标系和摄像头坐标系的变换关系。车辆识别过程中,首先根据雷达信息确定图像坐标系中的车辆识别感兴趣区域;然后对感兴趣区域进行对称性分析获得车辆对称中心,并对车辆底部阴影特征进行分析处理完成车辆边缘检测;最后根据逆透视变换得到车辆识别宽度,根据识别宽度对识别结果进行验证。结果表明该算法具有较强的环境适应性和准确率,弥补了单一传感器在车辆识别中的不足。     

基于 Bi-LSTM 的多类型特征融合驾驶员疲劳识别方法

针对传统的基于驾驶员面部图像采集的单一类型特征的疲劳识别方法，在阴影遮挡及光照变化场景下存在准确性、鲁棒性不足的问题，深入开展基于多类型特征融合的驾驶员疲劳识别方法研究。在分析非图像化的驾驶员疲劳特征的基础上，通过机器人操作系统 （Robot Operating System， ROS）的话题订阅来实现驾驶员生理特征、操作行为特征及面部特征的多源数据同步采集。处理原始数据并分析数据特性，提出了一种融合生理特征与驾驶员及观测者主观评价的数据标注策略，标注疲劳特征，构建驾驶员疲劳数据集；将驾驶员操作行为特征与面部特征融合，形成多类型特征融合序列，并基于双向长短时记忆 （Bi-directional Long Short-Term Memory，Bi-LSTM）网络，构建多类型特征融合的疲劳识别模型；通过单一类型特征与多类型特征对比试验、不同场景对比试验证明，基于Bi-LSTM的多类型特征融合识别方法的准确率和鲁棒性较单一类型特征识别方法均有明显提升，能在各种场景下更好地识别驾驶员的疲劳状态。     

基于模糊积分的ETC干扰问题解决方法

有效结合车辆电子标签信息和车辆图像,提出一种基于模糊积分的ETC车辆身份验证方法,从而解决ETC系统中的干扰问题。该方法以系统获得的车辆信息为已知信息,用车辆图像信息作为特征进行验证,再通过模糊积分融合验证结果,判断车辆身份的合法性。同时对模糊密度的赋值方法进行了改进。实验结果表明该算法具有简单、鲁棒性强的特点,利用模糊积分算法可以切实有效地解决ETC系统中的干扰问题。     

基于因子图的自动驾驶融合定位研究

在自动驾驶系统的即时定位及地图构建问题中，当行车路况复杂多变时，如何对车辆位姿进行准确实时估计是一个关键问题。就该问题提出基于因子图的多传感器融合方法，在Matlab 软件环境中实现车辆的准确实时定位。根据实际驾驶过程的特性选择试验采用的数据类型并建立相应的数学模型，分别根据GPS 及IMU 数据特征以及VO 和IMU的数据特征建立相应的融合因子图模型，基于KITTI 数据集，对所建立的融合因子图模型进行试验验证。结果表明，通过融合因子图模型可以准确地估计车辆当前时刻的位姿。     

基于稀疏分解的交通图像压缩

随着道路实时监控系统的广泛应用,需要处理的数据量激增,为了解决传统图像压缩方法随压缩比增大解码图像质量急剧下降的问题,提出一种新的基于稀疏分解的交通图像压缩算法。该算法将稀疏分解引入到交通图像压缩中,先根据交通图像特点,引入背景差法对交通图像进行预处理,然后采用稀疏分解算法对图像进行分解,最后通过分析交通图像稀疏分解后的数据分布规律,并根据低比特率图像压缩要求,提出改进的排序差分编码方案进行编码,以期在低比特率下,获得较好的解码图像质量。仿真试验结果表明,与现有的排序差分编码算法相比,该算法能够更有效地实现交通图像的压缩,相同压缩比下,解码图像有更高的峰值信噪比和主观图像质量。     

驾驶人在手机通话行为中的认知分心图像识别研究

在手机通话（MPC）行为中，驾驶人极易陷入认知分心（DCD）状态，对此提出了一种基于头-眼行为特性的DCD图像识别方法。为适应自然驾驶中的波动光照和复杂背景，首先建立基于YCbCr色彩空间的在线肤色模型，提取待检肤色区域的PCA-HOG特征并建立支持向量机分类器来识别MPC手势；与此同时，采用多尺度局部模极大值方法检测嘴部显著边缘，并通过边缘活跃度来识别驾驶人说话行为，综合MPC手势和说话行为建立MPC行为的判别逻辑。最后，以5 s为时间窗口获取驾驶人的眼球活跃度、眨眼指数、头部横摆和俯仰运动活跃度，采用D-S证据理论建立融合头-眼行为特性的DCD识别方法。试验结果表明：融合手势和说话行为图像检测的MPC识别率为92.8%；对于不佩戴眼镜的驾驶人，眼球活跃度是DCD识别率最高的单一指标，“眼球活跃度-头部横摆活跃度-头部俯仰活跃度”融合证据的DCD识别率最高，为86.2%；对于佩戴眼镜的驾驶人，“头部横摆活跃度-头部俯仰活跃度”融合证据的DCD识别率最高，为83.2%；算法对熟练驾驶人的DCD识别率略高于非熟练驾驶人。     

基于多特征融合的行人意图以及行人轨迹预测方法研究

行人作为重要的交通参与者,其行走意图和轨迹预测对智能驾驶汽车的决策规划具有重要意义。基于注意力机制增强的长短时记忆(Long Short-term Memory,LSTM)网络,设计一种多特征融合的行人意图以及行人轨迹预测方法。该方法通过融合行人骨架和头部方向特征,以加强行人运动特征的表达,并将融合特征作为意图预测网络输入,继而得到行人意图;由于行人运动具有不确定性,将行人意图预测类别和历史轨迹坐标的联合向量作为行人轨迹预测网络的输入,以期生成更为精确的轨迹预测结果。此外,在轨迹预测网络中引入注意力机制,以加强LSTM对各个时刻编码向量的有效利用,从而提高网络的行人轨迹预测性能,并基于Daimler数据集进行训练及验证。研究结果表明：所提出的多特征意图预测方法准确率可达96.0%,优于基于骨架单特征的意图预测网络;在预测时域为1 s的情况下,预测轨迹的位置均方根误差为347 mm,相较于恒速度(Constant Velocity,CV)模型、交互多模型(Interacting Multiple Model,IMM)、常规LSTM等基线方法均有明显的提升;在实际场景分析中,提出的方法可提前0.56 s识别行人的转弯意图,可为智能车辆的决策模块提供有益线索;提出的方法能够有效降低行人意图转变过程中的轨迹预测误差,对减小车辆与行人碰撞事故,提高智能车辆行驶安全性具有重要意义。     

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

车牌定位及车辆特征识别研究

车牌定位及车辆识别是智能交通管理的主要研究问题.车牌定位识别,通过对图像进行预处理并结合形态学能粗略获取候选车牌位置,对符合特征的候选车牌进行筛选,精确获取车牌位置,最后采用神经网络完成字符识别过程.车辆识别采用迁移学习,采用AlexNet卷积神经网络构造出深度特征向量.形态学能够应对灰度底质量差的情形,为字符识别提供保障.车辆识别时对比直接分类图片特征,迁移学习构造的深度特征分类精度为85.13%,提高了38%,验证了迁移学习的有效性,通过KNN算法表明深度特征能够表征图片属性.针对新数据集重新提取特征、训练样本将消耗大量时间,对比迁移学习和AlexNet框架发现分类精度持平,表明了迁移学习的鲁棒性.      

基于目标空间分布特征的无人机航拍车辆实时检测技术研究

针对无人机航拍视角下存在整体图像分辨率高但占比较高的小尺度车辆检测特征点稀少这一问题,从卷积网络检测器针对性优化与基于目标分布特征的航拍图像自适应切分2个角度综合考虑,提出一种基于目标空间分布特征的无人机航拍车辆检测网络DF-Net。以单阶段目标检测框架SSD为基础,引入深度可分离卷积和抗混叠低通滤波器对网络结构进行优化搭建E-SSD,为后续检测网络搭建提供高效检测器;接着基于条件生成对抗CGAN思想构建密度估计网络生成器,从而得到航拍图像中车辆的准确分布特征,生成高质量的车辆密度图;将E-SSD与车辆密度估计网络结合,对车辆密度图进行自适应切分,并将切分后的局部图像与全局图像一同输入E-SSD,最后在决策层融合检测结果,由此实现对航拍视角道路交通场景下车辆目标的精确高效检测。在试验中,一方面将设计的基于目标空间分布特征的无人机航拍车辆检测网络DF-Net与E-SSD进行对比分析,另一方面将DF-Net与航拍目标检测领域表现较为优秀的网络进行比较。研究结果表明：设计的方法对于2个试验在均值平均精度指标上均有提升,与E-SSD网络对比时提升了至少4.4%,与航拍目标检测领域优秀网络比较时也有一定提升,并保持了较好的实时性。     

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于异步交互聚合网络的港船作业区域人员异常行为识别

港船作业区域人员的异常行为识别可为智能航运的管控与决策提供重要数据支撑,有利于推动智慧港口和智能船舶的发展.基于异步交互聚合网络开展了面向港船工作环境下的人员异常行为识别研究.基于YOLO模型对港船图像进行卷积操作,利用特征金字塔优化卷积结果得到图像序列中每一帧的人员位置,结合联合学习检测和嵌入范式输出港船图像序列中的...     

基于彩色二值化的车牌定位方法

提出了一种基于彩色二值化的车牌定位方法。首先将彩色图像从RGB颜色空间转换到HSI颜色空间,同时生成一个与彩色图像大小相同的二值化状态特征矩阵,根据车牌的色彩特征,调整状态特征矩阵;再用数学形态学方法对状态特征矩阵进行填充空洞和滤除噪声的处理,并根据车牌的几何特征除去伪牌照区。该方法将图像的色彩特征与状态特征分离,充分利用车牌的色彩特征调整彩色图像的状态特征,并融合了数学形态学方法;而且将车牌的色彩特征和几何特征进行了有机的结合。实验结果表明该方法是一种有效的车牌定位方法。