基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

基于检测的高效自动驾驶实例分割方法

基于深度学习的实例分割算法在大规模通用场景中取得了良好的分割性能，然而面向复杂交通场景的多目标实例分割仍然极具挑战性，尤其在算法的高精度和较快推理速度的权衡方面，而这对于智能汽车的行驶安全性至关重要。鉴于此，本文以实时性算法Orienmask为基础，提出了一种基于单阶段检测算法的多头实例分割框架。具体来说，所提框架由骨干网络、特征融合模块和多头掩码构建模块组成。首先，本文通过在骨干网络中加入残差结构获取更加完整的高维表征信息。其次，为了产生更具判别性的特征表达，本文通过引入自校正卷积重构特征金字塔，并使用全局注意力机制改善信息传播以进一步优化所提框架的特征融合模块。最后，提出的多头掩码构建机制通过细化场景目标尺寸分布显著提高不同目标的分割性能。本文算法在开源数据集BDD100k上进行大量测试与验证，分别在边界框和掩码上获得了23.3%和19.4%的均交并比（mAP@0.5:0.95），与基线方法相比，平均指标提高了5.2%和2.2%。同时在基于自主搭建的实车平台上进行的道路实验也证明本算法能够较好地适应真实驾驶环境，且满足实时性分割需求。     

基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当...     

基于类人视觉的多任务交通目标实时检测模型

针对复杂交通场景下单个模型无法同时对可行驶区域和交通目标进行统一检测和检测实时性较差的问题,本文中提出了一种基于类人视觉的多任务交通目标单阶段检测模型,实现了可行驶区域和车辆、行人的实时统一检测.首先建立类人视觉注意力机制进行监督,采用轻量化模型MobileNetV3作为骨架,接着利用特征金字塔的思想对可行驶区域进行检...     

面向智能车辆的现役道路设施行驶适应性研究综述

为了总结面向智能车辆的现役道路设施行驶适应性，即现役道路基础设施承载智能车辆行驶的适宜程度，阐述自主智能驾驶定义与驾驶自动化等级分类，在此基础上剖析不同等级间的人机功能差异，并分别从感知层、感知-决策层、决策-控制层探讨与道路设计要素相关联的人机功能差异，通过归纳总结智能车辆与道路几何要素、路面性能及其他道路要素(如道路标线)的相互作用机制研究，从道路工程角度及其他道路要素方面回顾该领域的研究现状，指出存在的问题和未来发展方向。研究结果表明：相比传统车辆，配置高等级自动驾驶系统的智能车辆对现役道路设施行驶适应性最高，主动安全系统次之，而驾驶辅助及有条件自动驾驶系统适应性不足。而目前研究主要问题包括：难以归纳、标定不同驾驶自动化等级间的人机功能差异及其对于道路设计参数的需求设计值；测试道路场景条件过于理想，考虑的驾驶自动化等级单一，试验规模和样本有限；道路几何、路面性能以及道路标志、标线等道路要素与智能车辆间的相互作用机制研究不足，缺乏与不同道路场景相匹配的智能车辆驾驶特征数据的获取手段。因此建议：重视并推动与道路设计要素相关联的关键人机功能差异指标信息共享；联合高保真且可交互的道路场景、高精度感知传感器物理模型、车辆动力学模型及微观交通流模型，利用测试场景自动化生成、极限工况场景搜寻与泛化等技术开展智能驾驶虚拟测试，突破现有研究的深度和广度；探索反映不同等级智能车辆的道路行驶适应性特征指标与评价标准，精准、有效地评估预测复杂道路场景及不利道路条件下的行驶适应性。     

基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于典型非机动车事故的自动驾驶汽车测试场景构建方法研究

基于交通事故卷宗、交通事故视频信息数据,研究机非混行交通环境下典型交通事故形态,构建了面向机非混行交通环境下的自动驾驶汽车测试场景,旨在针对我国较为特殊的机非混行环境下的自动驾驶汽车的测试场景及测试评价方法提供参考。本文首先分析了自动驾驶测试场景的构建需求,建立交通事故数据筛选标准,得到133例可用于构建自动驾驶汽车测试场景的机动车与非机动车交通事故数据集;其次基于《中华人民共和国道路交通安全法》行驶要求,对133例交通事故的发生地点、车辆行为、道路类型、环境光线等方面进行解构分析;最后通过聚类分析,建立了5类典型的自动驾驶测试场景模型,并分析了不同场景模型的关键要素,为实际道路测试提供理论指导。     

基于融合分割和变尺度窗口的车道线距离检测

在车辆安全和驾驶行为相关研究中，车道线距离参数是重要的基础参数。针对传统机器视觉测量方法存在的标定过程复杂、测试成本高且移植性能差等问题，提出一种针对车侧摄像机图像的低成本车道线距离检测方法。首先，构建了一种融合局部Otsu算法与光照样条补偿算法的车道线区域分割方法，可在车道线磨损、复杂光照变化、车道线中断等场景中对车道线区域进行精确分割；其次，针对车道线边缘特征复杂多变的情况，设计了一种变尺度窗口算法来完成车道线边缘检测并可补全残损车道线；最后，采用多项式标定方法建立了车道线距离检测算法，实现了车道线距离的自动化快速检测。验证结果表明：在正常场景和多种复杂特殊场景下，所提出的检测算法平均检测误差为0.4 cm,平均检测速率达到30帧·s^-1,整体上优于目前其他技术方案。该方法在检测成本和可移植性方面具有显著优势，可为相关研究领域的技术人员提供新的解决思路。     

基于不同风格行驶模型的自动驾驶仿真测试自演绎场景研究

为了验证自动驾驶汽车决策结果的安全性,提出一种具有自主决策和交互能力的行驶模型生成方法,该行驶模型作为背景车被用于构建自演绎仿真场景来测试自动驾驶汽车的连续决策能力。首先,以强化学习为基础、结合遗传与进化思想,创新地设计并生成了具有自主决策和交互能力的不同风格行驶模型;然后,在模型构建阶段分别训练生成了保守、普通和激进3种风格的行驶模型,其中普通风格行驶模型的训练参数来源于自然驾驶数据集highD的车辆参数分布,保证了该行驶模型的真实性;最后,在普通风格行驶模型的基础上设计并训练出了具有显著激进特征的激进风格行驶模型,以增强自演绎场景的复杂性和测试效果。结果表明：在模型真实性方面,以highD数据集中的跟车速度、车头间距、换道时刻下碰撞时间等参数的分布为真值,研究所生成的普通风格行驶模型的参数分布与真值的平均相似程度为88%,相较于基于规则的智能驾驶人模型（IDM）提升了20.3%;在场景测试性方面,以被测系统为主要责任方的碰撞次数为评估指标,研究生成的不同风格行驶模型所构成的自演绎场景的测试性约是由IDM构成的基线场景的7倍。因此,设计和生成的行驶模型所构成的自演绎场景可以有效支撑面向自动驾驶决策系统的仿真测试。     

基于整车在环仿真的自动驾驶汽车室内快速测试平台

整车在环仿真测试方法可以安全、高效地验证复杂环境和极端工况等场景下自动驾驶汽车性能的有效性,基于此研发一种基于整车在环仿真的自动驾驶汽车室内快速测试平台,该平台由前轴可旋转式转鼓试验台、试验台测控子系统、虚拟场景自动生成子系统、虚拟传感器模拟子系统、驾驶模拟器、自动驾驶汽车和测试结果自动分析评价子系统组成。通过在试验台滚筒上独立加载转矩模拟车辆行驶阻力,可动态模拟不同的路面附着系数,同时利用坡度、侧倾和转向随动机构可模拟车辆俯仰角、侧倾角和航向角3个自由度;采用虚拟现实技术柔性集成车辆动力学模型、传感器仿真、复杂道路交通环境及测试用例仿真,模拟多种道路交通场景,并通过传感器仿真及数据融合等技术快速测试自动驾驶汽车智能感知与行为决策等性能指标。将自动驾驶汽车、虚拟仿真场景和试验台耦合构建一个闭环系统,完成了多项关键技术研发,包括：多自由度高动态试验台结构设计、虚拟测试场景自动重构方法和传感器数据模拟及注入方法,可满足在各种场景下测试自动驾驶汽车整车性能的需求。此外,为验证快速测试平台的有效性,以U-turn轨迹跟踪控制为研究实例,基于简化的车辆运动学模型和模型预测控制算法,在平台上搭建U-turn场景并对自动驾驶汽车的轨迹跟踪控制算法性能进行大量测试。结果表明：自动驾驶汽车室内快速测试平台可以真实地模拟汽车在道路上的运行工况,自动驾驶汽车在虚拟场景中的轨迹跟踪效果良好,与参考轨迹的偏差小于8%,证明了该测试平台检测方法的有效性。     

面向自动驾驶的遥感影像路网检测方法

针对高分辨率遥感影像道路提取难度大、提取精度低的问题，提出了一种基于VGGU-Net++的遥感影像路网检测方法。首先基于VGGU-Net框架构建了编码器-解码器网络；其次，设计了一系列嵌套、密集的卷积块，用以缩小编码器与解码器特征映射之间的语义差距。节点之间利用跳跃连接填充了具有多个卷积层的密集卷积块，其层数取决于金字塔等级；并在2个卷积块之间设置1个串联层，该层将同一密集块前一个卷积层的输出和浅层的上采样输出进行特征图融合。同时，使用深监督策略保证网络模型的修剪程度和速度增益。在网络训练过程中，这种相似语义特征图的跳转连接可以简化优化操作，提高网络训练性能。最后，利用遥感影像开源数据集——马萨诸塞州数据集进行算法的测试与验证。结果表明，提出的VGGU-Net++网络与现有同类方法相比，获得了更好的性能表现，在精确率、召回率、F₁-score和I_oU方面分别达到了88.1%、87.1%、88.5%和77.9%，能够实现城市、山区、直线、弯曲道路场景高维、复杂、抽象特征的自动提取；此外，检测结果能够减少干扰，降低误检，保留更多道路细节信息，得到更加完整、清晰的路网检测效果。     

A low-cost video-based pavement distress screening system for low-volume roads

This study investigates the use of consumer-grade video camera to develop a low-cost pavement distress screening system, with a particular focus on low-volume roads. Due to the oblique view of video data captured in the car front, existing crack detection algorithms that are tailor-made for nadir view cannot be used directly. Instead, we propose and develop a Video-based PAvement Distress Screening (VPADS) system, which includes an automatic data processing workflow by first defining a Region of Interest (RoI) through robust line fitting of the two side lanes. The pavement condition can be assessed within the RoI by implementing a multi-scale ridge detection filter followed by a boundary contour analysis. Since the proposed VPADS system is designed for preliminary screening purpose, each video image scene is examined if there exists any potential crack or distress feature(s). We tested the proposed system on video data collected for two low-volume roads (Highway 624 and 668) in Northern Ontario region, Canada. The overall accuracy of detecting crack and distress features yielded 80%. Instead of replacing traditional field inspection or high-end multi-sensor pavement evaluation system, the proposed VPADS system aims to provide a computer-aided screening solution for transportation authorities of a vast rural road/highway network and with limited inspection budget. The scope of the work can be further expanded by developing a crowdsensing inspection network built by any regular road user, who can also act as a data provider for the regional/municipal pavement distress screening system.     

面向多元场景结合GLNet的车道线检测算法

各种复杂环境下路面车道线的高效精确检测是自动驾驶领域中车道偏离预警系统的关键性技术之一。由于车辆实际运行环境的复杂性和路面车道线的多样性，现有方法在车道线检测的准确性和鲁棒性上仍需不断增强。提出一种面向多元场景结合GLNet的车道线检测算法。首先采用改进Gamma校正对待检测路面图像预处理，消减光照不均匀、夜晚等环境干扰，增强车道线纹理。然后为增强数据集的多样性，在LaneNet网络的基础上引入对抗生成网络DCGAN，构建GLNet网络模型。该模型采用编码-解码的网络结构提取车道线特征（车道蒙板和像素点），通过DBSCAN聚类算法将不同车道线划分为不同的实体，使用H-Net网络学习的视觉转换矩阵优化并拟合输出车道线。最后基于已训练好的GLNet权重模型对车道线进行精确提取，并在Tusimple数据集和自制数据集上测试验证。试验结果表明：该方法的检测准确率可达97.4%，相较于基于LaneNet网络的车道线检测算法明显提高；DCGAN网络的加入丰富了数据集类型，并提高了该模型的表征及分类能力；DBSCAN聚类算法的平均聚类时间约为0.016 s，相较于Meanshift算法运行效率更高。所提出的方法考虑了不规范、环境复杂等多种道路类型的车道线检测任务，提升了对复杂噪声与多元场景的处理能力，在车辆辅助驾驶领域具有较好的鲁棒性和适用性。     

Road boundary detection and tracking for structured and unstructured roads using a 2D lidar sensor

Road boundaries can give useful information for evaluating safe vehicle paths in intelligent vehicles. Much previous research has studied road boundary detection, using different types of sensors such as vision, radar, and lidar. Lidar sensors, in particular, show advantages for road boundary extraction including high resolution and wide field of view. However, none of the previous studies examined the problem of detecting road boundaries when roads could be either structured or unstructured. In this study, we developed a road boundary detection and tracking algorithm using lidar sensing for both structured and unstructured roads. The algorithm extracts road features as line segments in polar coordinates relative to the lidar sensor. The extracted road features are then tracked with respect to a vehicle’s local coordinates using a nearest neighbor filter. The proposed algorithm accurately detected the road boundaries regardless of the road type.     

基于交通流模型的道路权重计算方法研究

提出了一种基于交通流模型的计算道路权重方法。实施定点道路截面雷达试验并采集交通流信息,标定生成交通流速度-密度模型。通过此模型,利用出租车行驶数据库中各条道路车速数据计算各道路车流密度,根据各道路长度和密度推算道路权重。     

基于驾驶行为基元的典型驾驶场景识别与提取方法

为了从海量自然驾驶数据中有效提取典型驾驶场景,提出一种基于驾驶行为基元的典型驾驶场景识别与提取方法,搭建了具有多类场景覆盖及通用程度高的典型驾驶场景自动化识别与提取框架,解决了当前方法仅适用特定单一场景提取,无法从大规模数据中高效提取场景的问题。     

针对主辅路的Vissim仿真模型参数标定方法

微观交通仿真模型的参数标定是保证仿真模型有效性的基础和前提。针对车辆在主路和辅路运行特征的差异,提出了1种针对主辅路的微观交通仿真模型参数标定方法。该方法以进口道的车均延误的偏差作为评价指标,以遗传算法作为求解工具,分别实现了微观交通仿真软件Vissim中主路和辅路驾驶行为参数的标定。同时,结合工程实例将该方法应用于北京市朝阳路与高碑店北路交叉口、南苑路与久敬庄路交叉口仿真模型的参数标定中。结果显示,采用该方法标定后的主路和辅路延误与实测延误的平均偏差分别为2.1s和2.5s ;采用主路和辅路统一标定的方法,主路和辅路延误与实测延误的平均偏差分别为7.1s和7.5s。结果表明,仿真模型参数能够有效地提高参数标定的仿真试验效率与仿真精度,验证了该方法将主路和辅路仿真模型参数分开标定的有效性。      

基于道路模型的弯道检测研究与应用

基于机器视觉的弯道图像能提供车辆行驶道路环境的丰富信息,从建立弯道模型、提取车道线像素点以及拟合车道模型等步骤分析了传统基于道路模型的弯道检测方法,针对传统方法很难适用于多种不同形状弯道的特点,提出一种基于特征点提取的弯道检测新方法;介绍了弯道检测在车道偏离预警、弯道限速以及弯道防碰撞预警等领域的应用情况;最后提出弯道检测应该建立三维车道线模型、注重发展多传感器融合技术,提高其适用性和鲁棒性.