基于多特征融合的行人意图以及行人轨迹预测方法研究

行人作为重要的交通参与者,其行走意图和轨迹预测对智能驾驶汽车的决策规划具有重要意义。基于注意力机制增强的长短时记忆(Long Short-term Memory, LSTM)网络,设计一种多特征融合的行人意图以及行人轨迹预测方法。该方法通过融合行人骨架和头部方向特征,以加强行人运动特征的表达,并将融合特征作为意图预测网络输入,继而得到行人意图;由于行人运动具有不确定性,将行人意图预测类别和历史轨迹坐标的联合向量作为行人轨迹预测网络的输入,以期生成更为精确的轨迹预测结果。此外,在轨迹预测网络中引入注意力机制,以加强LSTM对各个时刻编码向量的有效利用,从而提高网络的行人轨迹预测性能,并基于Daimler数据集进行训练及验证。研究结果表明：所提出的多特征意图预测方法准确率可达96.0%,优于基于骨架单特征的意图预测网络;在预测时域为1 s的情况下,预测轨迹的位置均方根误差为347 mm,相较于恒速度(Constant Velocity, CV)模型、交互多模型(Interacting Multiple Model, IMM)、常规LSTM等基线方法均有明显的提升;在实际场景分析中,提出的方...     

城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

车辆轨迹预测是自动驾驶的关键技术之一,针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题,本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码,并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中,通过图注意力网络进行环境特征提取,从而使模型能感知环境中的多类交通参与者。此外,模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型,所提出的模型算力需求更低、预测更准确,且能适用于人车混合的城市道路驾驶场景。     

基于自注意力机制的自动驾驶场景点云语义分割方法

对车载激光雷达场景点云进行语义分割是自动驾驶环境感知环节的基础性工作。针对现有处理大规模自动驾驶场景点云方法对局部特征提取能力不足和难以捕捉全局上下文信息的问题,本文基于自注意力机制设计了局部和全局自注意力编码器,并搭建了特征聚合模块进行特征提取。实验结果表明,与同样采用局部特征聚合的网络RandLA-Net相比,在SemanticKITTI数据集上本文的方法可将平均交并比提升5.7个百分点,局部自注意力编码器的加入也使车辆和行人等小目标的分割精度提高2个百分点以上。     

基于人-车交互的行人轨迹预测

针对行人轨迹预测具有复杂、拥挤的场景和社会交互问题,基于长短时记忆网络（Long Short-term Memory Network, LSTM）对行人与车辆、行人与其他行人的交互进行建模,提出一种基于人-车交互的行人轨迹预测模型（VP-LSTM）。该模型同时考虑了行人与行人的交互、行人与车辆的交互,更适用于复杂的交通场景。所构建的VP-LSTM包括3个输入,以行人的方向和速度作为历史轨迹序列输入,行人与行人的相对位置作为人-人交互信息输入,行人与车辆的相对位置作为人-车交互信息输入。该方法首先设计扇形人-人交互邻域和圆形人-车交互邻域来准确捕捉对被预测行人有相互作用的行人和车辆;其次建立3种不同的LSTM编码层来编码历史行人轨迹序列、人-人、人-车社交信息;然后定义人-人、人-车交互的防碰撞函数和方向注意力函数作为人-车、人-人社交信息的权重,进一步提高社会信息的精度;再将人-人、人-车交互信息输入到注意力模块中筛选出对行人影响大的社会信息;最后将筛选后的社会信息与行人历史轨迹序列一起输入到LSTM神经网络中进行行人轨迹预测,并在构建的DUT人-车交互数据集上验证提出的网络。研究结果表明：提出的方法能够准确地预测出交通场景中,人-车交互行人未来一段时间内的运动轨迹,有效提高了预测精度,提高了智能驾驶决策的准确性。     

基于类人视觉的多任务交通目标实时检测模型

针对复杂交通场景下单个模型无法同时对可行驶区域和交通目标进行统一检测和检测实时性较差的问题,本文中提出了一种基于类人视觉的多任务交通目标单阶段检测模型,实现了可行驶区域和车辆、行人的实时统一检测.首先建立类人视觉注意力机制进行监督,采用轻量化模型MobileNetV3作为骨架,接着利用特征金字塔的思想对可行驶区域进行检...     

基于异质边增强时空图注意力网络的自动驾驶换道轨迹规划

轨迹规划仍然是自动驾驶技术大规模应用所面临的关键难题之一。例如,自动驾驶中的换道轨迹规划算法通常被构建为一个针对代价函数的优化过程。然而,为适应多样化的交通场景而手动调整代价函数中的特征权重,是一项极具挑战性的任务。针对这一问题,提出了一种基于异质边增强时空图注意力网络(Heterogeneous Edge-enhanced Spatial-Temporal Graph ATtention network, HEST-GAT)的新型换道轨迹规划方法。首先,采用逆强化学习技术,从大量专家级换道示范中提取代价函数的特征权重向量,构建了一个专家级换道示范数据集。然后,将交通场景构建为一个异质有向图,其中,交通参与者的位置定义为节点属性,交通参与者间的相对位置作为边属性,交通参与者之间的关联类型则定义为边类型。边的属性和类型组合,形成了边的特征表示。为捕获交通场景中的空间和时间信息,采用HEST-GAT网络进行特征提取,并计算了各场景下代价函数的特征权重。接着构建了一个结合轨迹特征和特征权重的代价函数,并通过优化过程生成最终的换道轨迹规划。为验证所提出方法的实用性,在真实驾驶数据集上进行了多轮...     

混合交通中的车辆与行人检测

混合交通中车辆和行人的检测识别是研究如何让计算机以人的思维方式从视频或图像中将车辆和行人从背景中区分出来。车辆检测与行人检测作为智能交通系统的核心组成部分,具有重大的研究价值与现实意义。本文基于候选区域和深度网络的深度特征提取方法,通过获取场景中的大量实时图像数据进行多任务深度模型训练,实现复杂交通场景中的车辆检测和行人检测的任务。相比于传统的车辆检测算法和行人检测算法,基于候选区域和深度网络的深度特征提取方法具有独特的优势:检测的准确性、鲁棒性、实时性可以在一定的条件下达到比较满意的程度。而传统车辆与行人的检测算法,并不能同时在3项指标上达到较好的状态。此外,候选区域的确定避免了穷举式搜索目标,从而节省了大量时间开销。     

基于网格分类与纵横向注意力的城市道路车道线检测方法

车道线检测是汽车安全辅助驾驶系统的基础模块,在城市道路场景下车道线存在受碾压致特征缺失、车辆间相互遮挡以及光照环境复杂多变等问题,本文提出基于网格分类与纵横向注意力的车道线检测方法。提取道路图像的全局特征图,将其划分为若干网格,计算网格中车道线的存在概率;通过将车道线检测转化为网格位置的分类,定位每条车道线的特征点;构建基于Ghost模块的主干网络,结合车道线的形状特征,引入纵横向注意力机制,通过增强车道线纹理特征和融合位置信息,获取缺失的细节特征;利用三次多项式,拟合车道线特征点,修正车道线的检测结果。基于TuSimple与CULane数据集,在ResNet18、ResNet34和DarkNet53中嵌入纵横向注意力模块,并开展对比实验。结果表明：在TuSimple数据集上,嵌入纵横向注意力模块后,模型精度均提升了约0.1%,与其他模型相比,Ghost-VHA模型的准确率为95.96%。在CULane数据集上,嵌入纵横向注意力模块可提升精度约0.65%,与其他模型相比,Ghost-VHA的F1分数为72.84%,提升了0.54%。在TuSimple与CULane数据集上,Ghost-...     

基于无损跨尺度特征融合的交通目标检测算法

针对复杂道路环境下交通目标与背景区分度低、交通小目标密集度高、部分遮挡严重、容易产生漏检、误检等问题，提出了一种融合注意力的无损跨尺度复合空洞残差网络的交通目标检测算法。通过改进SSD基础骨干网络和残差结构，加强网络提取强表征性的高级语义信息能力，解决信息传递损耗和丢失问题。在此基础上提出一种新的多视野聚合空洞残差单元，通过设置不同膨胀率的空洞卷积，获得不同大小感受野，聚合上下文信息实现大目标与小目标的兼顾。提出一种新的无损失跨尺度融合模块，通过该模块进行通道重组，结合通道维度信息填充像素，实现跨通道像素信息融合，进一步提升特征提取的能力。同时引入了坐标注意力机制，将轴向的空间坐标通道信息有效整合到生成注意力图中，构建出能够捕获跨通道信息且包含方向感知和位置敏感信息的注意力残差单元与多视野聚合空洞残差单元。此外，通过引入Soft-NMS降低与高置信度预测框重叠度较大的目标框的置信度，增加二次检测机会，提升了网络模型召回率。最后引入解耦检测头以加快模型收敛速度和提高检测精度。在VOC数据集07+12上的试验结果表明，算法平均精度提升了6.46%,证明了提出算法的准确性和鲁棒性。     

基于多视图时空卷积的交通流量预测模型

交通流量预测一直是智能交通系统的首要任务。由于交通流量序列具有复杂的时空依赖性,使得对其准确预测变得极具挑战性。现有很多工作主要基于循环神经网络、图网络以及Transformer模型构建交通流量预测模型。考虑到卷积网络具有计算效率高以及特征提取能力强等优点,提出基于多视图时空卷积的交通流量预测模型。模型在输入编码层对序列数据进行表示学习,并引入了位置信息和时间信息。在时空特征表示学习层,考虑到序列具有不同的周期模式,设计了多个表示学习模块。每个时空表示学习模块,基于一维卷积完成局部时空特征挖掘,然后基于因果卷积实现全局时空特征挖掘。在预测层,引入通道注意力机制提升模型对时空特征利用的有效性。在2个真实交通数据集上的实验结果,验证了MSTC模型在交通流预测任务上的有效性。     

基于检测的高效自动驾驶实例分割方法

基于深度学习的实例分割算法在大规模通用场景中取得了良好的分割性能，然而面向复杂交通场景的多目标实例分割仍然极具挑战性，尤其在算法的高精度和较快推理速度的权衡方面，而这对于智能汽车的行驶安全性至关重要。鉴于此，本文以实时性算法Orienmask为基础，提出了一种基于单阶段检测算法的多头实例分割框架。具体来说，所提框架由骨干网络、特征融合模块和多头掩码构建模块组成。首先，本文通过在骨干网络中加入残差结构获取更加完整的高维表征信息。其次，为了产生更具判别性的特征表达，本文通过引入自校正卷积重构特征金字塔，并使用全局注意力机制改善信息传播以进一步优化所提框架的特征融合模块。最后，提出的多头掩码构建机制通过细化场景目标尺寸分布显著提高不同目标的分割性能。本文算法在开源数据集BDD100k上进行大量测试与验证，分别在边界框和掩码上获得了23.3%和19.4%的均交并比（mAP@0.5:0.95），与基线方法相比，平均指标提高了5.2%和2.2%。同时在基于自主搭建的实车平台上进行的道路实验也证明本算法能够较好地适应真实驾驶环境，且满足实时性分割需求。     

基于动态图注意力的车辆轨迹预测研究

针对目前轨迹预测研究中交互建模方法使用的图注意力网络（GAT）为静态注意力,无法有效捕捉复杂道路场景中车辆间交互的问题,提出了一种基于编码器-解码器架构的动态图注意力网络（ED-DGAT）预测高速公路环境中运动车辆的未来轨迹。编码模块使用动态图注意力机制学习场景中车辆间的空间交互,采用状态简化动态图注意力网络建模解码阶段车辆运动的相互依赖,最后使用NGSIM数据集评估所提出的模型,并与长短时记忆（LSTM）、联合社交池化与长短时记忆（S-LSTM）、联合卷积社交池化与长短时记忆（CS-LSTM）算法模型进行对比分析,结果表明,预测轨迹的均方根误差（RMSE）降低了25%,且模型的推理速度为CS-LSTM模型的2.61倍。     

融合残差网络和特征金字塔的小尺度行人检测方法

针对小尺度行人检测中存在的过拟合、特征不易对齐,以及易忽略多尺度特征等问题,研究了1种融合残差网络和特征金字塔的小尺度行人检测方法。考虑到原始残差网络在检测小尺度行人时过于依赖训练集而出现过拟合问题,构建带有丢弃层的残差块代替残差网络结构中的标准残差块来解决这一局限,同时利用丢弃层的正则作用降低计算过程的复杂程度。通过在特征金字塔网络的侧向连接部分嵌入特征选择模块和特征对齐模块,对输入图像中重要的行人特征加强和对齐,提升算法对行人的多尺度特征学习能力,弥补特征金字塔网络出现特征不易对齐和易忽略多尺度特征的缺陷,提高小尺度行人的检测精度。在Caltech Pedestrian数据集上对模型进行训练、测试和验证,实验结果表明：小尺度行人检测精度为73.6%,AP₅₀检测精度为95.6%。在同为50层残差网络和特征金字塔网络下,改进后的模型可以使AP值提高17.2%,AP₅₀提高7.8%,小尺度行人检测精度提高了21.6%;在同为101层残差网络和特征金字塔网络下,可以使AP值提高24.5%,AP₅₀提高8.2%,小尺度行人检...     

基于改进级联卷积神经网络的交通标志识别

自动驾驶场景中交通标志的检测和识别十分重要,为提高自然场景下交通标志检测精度,本文中提出了一种基于Cascade-RCNN改进的交通标志识别算法。首先,针对交通标志这类小目标特殊任务,将FPN模块的深层特征信息融合进浅层特征层。其次,改进了目标检测任务中的评价指标IoU,引入目标检测任务的直接评价指标GIoU指导定位任务,提高了检测精度。最后,算法在德国交通标志数据集GTSDB下进行了实验验证,以ResNet101为基础特征提取网络,mAP可达98.8%,实验结果表明了所提算法的有效性,具有优越的工程实用价值。     

基于注意力Seq2Seq网络的高速公路交织区车辆变道轨迹预测

针对交通状态复杂的高速公路交织区域,经验丰富的驾驶人能够通过正确地推断周围车辆的未来运动进行及时的车道变换,这对于实现安全高效的自动驾驶至关重要,然而目前的自动驾驶车辆往往缺乏这种预测能力。为此,基于深度学习理论,提出了一种结合注意力机制和编-解码器结构的交织区车辆强制性变道轨迹预测方法,利用Next Generation Simulation（NGSIM）数据集提取车辆变道过程中的关键特征,并引入碰撞时间（Time to Collision,TTC）和避免碰撞减速度（Deceleration Rate to Avoid a Crash,DRAC）2种风险指标,将变道车辆及其周围车辆视为一个整体状态单元,同时补全状态单元内部不同车辆在横向和纵向上的时空状态特征,从而更有效地刻画车辆间的动态交互行为;然后将不同观测车辆的连续窗口序列输入基于长短期记忆网络（Long Short-term Memory,LSTM）的编-解码器,预测交织区车辆变道的未来运动轨迹,通过添加软注意力模块,使模型能够集中聚焦于影响车辆在不同时刻下位置变化的关键信息,再现了真实交通场景下车辆的变道行为。试验验证表明：基于注意力机制的编-解码器模型与当前流行的卷积长短期记忆网络、极限梯度提升树等模型相比具有更高的轨迹预测精度,在长时域的变道轨迹拟合上有显著的优越性,为辅助和自动驾驶领域的发展提供了新思路。     

基于M形深度架构的非结构化道路可行驶区域推荐模型

针对边界模糊、路况多变的非结构化道路，为满足智能汽车在正常、应急等复杂行驶工况下对可行驶区域的视觉检测需求，提出一种在M形深度架构下融合多尺度交互策略和双重注意力机制的可行驶区域推荐模型，能够在复杂驾驶场景中精细分割出非结构化道路的强推荐、弱推荐、不推荐行驶区域。首先，在编码器-解码器的骨架基础上，构建倒金字塔式的多尺度分层输入和分层输出结构，以有效融合非结构化道路的浅层形态学特征与深层语义信息，并平衡模型在不同尺度上的预测偏倚，提升复杂驾驶场景下对多尺度与变尺度目标的分割精度；其次，构建集成通道注意力和空间注意力的跳跃连接结构，使模型在实现编码特征与解码特征高效传递的同时，聚焦于学习与道路可行驶性相关的重要特征，进一步强化模型对非结构化道路的检测性能。通过多种途径构建包含城郊、乡村、园区等真实场景的非结构化道路驾驶数据集。试验结果表明：得益于M形深度架构对多尺度交互策略和双注意力机制的融合，提出的模型在多种真实驾驶场景下均能较好地实现强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域的精细分割，平均交并比达到92.46%，平均检测速度达到22.7帧·s^-1；与现有其他主流模型相比，提出的模型兼顾了分割精度和时间效率，在非结构化道路可行驶区域检测任务上有明显优势。     

基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当...     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平...     

基于行人视野注意力场的人车微观交互模型

从行人视觉认知角度出发，提出一种基于行人视野注意力场的人车微观交互模型。构建视野注意力场驱动行人视野域，利用人工势场驱动行人运动，利用目标捕捉算法来控制行人视野域对目标的捕捉。为了验证模型的有效性，使用无人机采集鸟瞰视角下的人车交互数据并进行处理分析，将行人过街风格分为保守、谨慎和冒险3种类型，在Pygame平台下搭建仿真场景和交互模型，把不同行人过街风格的交互数据作为模型输入，以模型输出的行人时空轨迹与采集的真实时空轨迹之间的相似度进行实验对比。结果表明，建立的基于行人视野注意力场的人车微观交互模型比常规人工势场模型准确性提高了25.48%，能够有效地复现实际交通场景中的人车交互过程。     

单级特征图融合坐标注意力的视觉位置识别方法

针对视角和环境变化的场景中现有视觉位置识别方法存在的匹配遗漏和实时性差的问题，提出基于单级特征图融合坐标注意力的视觉位置识别方法。首先通过坐标注意力捕获特征的相对位置信息，然后利用扩张卷积和局部聚合向量网络（NetVLAD）构造多尺度特征融合的编码器，最后基于三元组损失训练网络。经Pitts30k和Nordland数据集验证，在位置识别试验中，与同基线的先进方法 Patch-NetVLAD相比，所提出的方法能够获得同等的召回精度且检索速度提高19%。在回环检测试验中，所提出的方法达到了合理平衡鲁棒性和检索速度的目标。