基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于TD3-PER的氢燃料电池混合动力汽车能量管理策略研究

为优化氢燃料电池混合动力汽车的燃料经济性及辅助动力电池性能,提出了一种基于优先经验采样的双延迟深度确定性策略梯度（TD3-PER）能量管理策略。采用双延迟深度确定性策略梯度（TD3）算法,在防止训练过优估计的同时实现了更精准的连续控制;同时结合优先经验采样（PER）算法,在获得更好优化性能的基础上加速了策略的训练。仿真结果表明：相较于深度确定性策略梯度（DDPG）算法,所提出的TD3-PER能量管理策略的百公里氢耗量降低了7.56%,平均功率波动降低了6.49%。     

基于柔性演员-评论家算法的自适应巡航控制研究

针对目前自适应巡航控制技术中，深度强化学习的控制算法环境适应能力不足、模型迁移性及泛化能力较差的问题，提出一种基于最大熵原理和随机离线策略的柔性演员-评论家（SAC）控制算法。构建演员和评论家网络拟合动作值函数和动作策略函数，并使用自调节温度系数改善智能体的环境探索能力；针对奖励稀疏问题，运用奖励塑造思想设计奖励函数；此外，提出一种新的经验回放机制以提高样本利用率。将所提出的控制算法在不同场景中进行仿真及实车验证，并与深度确定性策略梯度（DDPG）算法进行比较，结果表明，该算法具有更好的模型泛化能力和实车迁移效果。     

基于双延迟深度确定性策略梯度的船舶自主避碰方法

为满足智能船舶自主航行的发展需求,解决基于强化学习的船舶避碰决策方法存在的学习效率低、泛化能力弱以及复杂会遇场景下鲁棒性差等问题,针对船舶避碰决策信息的高维性和动作的连续性等特点,考虑决策的合理性和实时性,研究了基于双延迟深度确定性策略梯度（TD3）的船舶自主避碰方法。根据船舶间相对运动信息与碰撞危险信息,从全局角度构建具有连续多时刻目标船信息的状态空间;依据船舶操纵性设计连续决策动作空间;综合考虑目标导向、航向保持、碰撞危险、《1972年国际海上避碰规则》（COLREGs）和良好船艺等因素,设计船舶运动的奖励函数;基于TD3算法,根据状态空间结构,结合长短期记忆（LSTM）网络和一维卷积网络,利用Actor-Critic结构设计船舶自主避碰网络模型,利用双价值网络学习、目标策略平滑以及策略网络延迟更新等方式稳定网络训练,利用跳帧以及批量大小和迭代更新次数动态增大等方式加速网络训练;为解决模型泛化能力弱的问题,提出基于TD3的船舶随机会遇场景训练流程,实现自主避碰模型应用的多场景迁移。运用训练得到的船舶自主避碰模型进行仿真验证,并与改进人工势场（APF）算法进行比较,结果表明:所提方法学习效率高,收敛快速平稳;训练得到的自主避碰模型在2船和多船会遇场景下均能使船舶在安全距离上驶过,并且在复杂会遇场景中比改进APF算法避碰成功率高,避让2~4艘目标船时成功率高达99.233%,5~7艘目标船时成功率97.600%,8~10艘目标船时成功率94.166%;所提方法能有效应对来船的不协调行动,避碰实时性高,决策安全合理,航向变化快速平稳、震荡少、避碰路径光滑,比改进APF方法性能更强。      

基于深度强化学习的汽车自动紧急制动策略

针对传统自动紧急制动策略制动减速度波动大、制动过程乘坐舒适性及弯道制动安全难以保障的问题,提出一种基于深度强化学习的汽车自动紧急制动策略。建立了包括纵向、横向及横摆运动的3自由度车辆模型,根据碰撞预警时间设计奖励函数,应用深度确定性策略梯度算法设计了基于深度强化学习的自动紧急制动策略,开展了直道行驶工况与弯道行驶工况仿真测试。结果表明,所提出的策略具有很好的收敛性,在满足中国新车评价规程(C-NCAP)的直道行驶安全性要求的同时,提高了紧急制动时的乘坐舒适性,且实现了汽车弯道行驶的自动紧急制动,提高了弯道行驶安全性。     

基于长短期记忆-异步优势动作评判的智能车汇入模型

针对以往强化学习中智能车汇入车流算法训练时间复杂度高、收敛速度慢的问题,提出基于长短期记忆-异步优势动作评判算法的智能车汇入模型。在异步优势动作评判算法的基础上,结合长短期记忆神经网络,有效地解决训练模型时间和模型收敛的问题。试验结果表明,该算法提高了模型收敛速度与汇入成功率,同时降低了时间复杂度,适合汇入车流场景。     

考虑驾驶风格的智能车自主驾驶决策方法

为了提升智能车类人驾驶水平,提供符合驾乘者驾驶习惯的个性化驾驶服务,改进了DDPG算法并设计智能车驾驶决策系统,学习不同风格的个性化驾驶策略.招募20位驾驶人参加基于仿真平台的模拟驾驶实验,采集驾驶数据.运用相关性检验方法选择个性化驾驶评价指标,使用K-means聚类方法将驾驶风格进行分类.在基础DDPG算法的输出部分加入线性变换过程,形成改进的个性化驾驶决策学习算法,进而构建个性化自主驾驶系统,以3种驾驶风格作为学习目标,调节线性变换参数,在线训练并测试算法.结果表明,提出的方法比基础算法收敛速度提升21.3%.算法在测试场景中,保持了高于驾驶人的横向控制水平,车道偏移量下降73.0%,且驾驶的车辆未与道路外侧护栏发生碰撞.聚类结果显示,算法通过调节线性变换参数,能够有效学习不同的驾驶风格.      

基于规则约束的深度强化学习智能车辆高速路场景下行驶决策

针对强化学习算法下智能车辆训练中动作选择过程随机性强、训练效率低等问题，提出了基于规则约束和深度Q网络（DQN）算法的智能车辆行驶决策框架，将引入的规则分为与换道相关的硬约束和与车道保持相关的软约束，分别通过动作检测模块（Action Detection Module）与奖励函数来实现。同时结合竞争深度Q网络（Dueling DQN）和双重深度Q网络（Double DQN）对DQN的网络结构进行改进，并引入N步自举（N-Step Bootstrapping）学习提高DQN的训练效率，最后在Highway-env平台高速路场景下与原始DQN算法进行综合对比验证模型的有效性，改进后的算法提高了智能车辆任务成功率和训练效率。     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

交通分配中的梯度投影算法及其改进模型

最近的研究表明基于路径的交通分配算法具有很强的生命力和广阔的应用前景。在这些算法中,梯度投影算法(GP)由于其极高的计算效率引起了研究者极大的兴趣。但是研究同样表明GP算法在求高精度分配解时遇到了收敛问题。文章首先介绍了GP算法的理论基础及算法步骤,然后分析了算法产生收敛问题的关键原因,针对其高精度解不能很好收敛的问题,采用二分法改进了其中关键的步长确定策略,提出了改进的GP算法(IGP,Improved GP),并通过计算实例比较了GP和IGP的表现,分析了IGP的优势。并用计算实例证明IGP在求解高精度分配解和整体收敛速度两方面都优于GP。     

公路规划设计节约集约用地审查体系研究

在规划设计阶段采取节约集约用地技术管理措施,有利于取得公路建设项目节约集约用地的最大效果。为此,建议在公路建设管理中引入规划设计节约集约用地审查制度,从其目的、流程,可行性研究、初步设计阶段、施工图设计等三阶段节约集约用地审查的技术条款和要点内容等方面,研究建立公路规划设计节约集约用地审查体系,以为在理论上建立和在实践上实现公路规划设计节约集约用地审查体系提供思路和技术支持。     

沥青玛蹄脂碎石混合料路面(SMA)的应用和施工技术

SMA是沥青码蹄脂碎石(Stone Matrix Asphal)的缩写,是一种以沥青结合料与少量的纤维稳定剂、细集料,以及较多的填料(矿粉)组成的沥青玛蹄脂,填充于间断级配粗集料骨架间隙中组成一体所形成的沥青混合料,简称SMA。该文介绍了SMA在上海的应用及其施工技术。     

A path-following driver–vehicle model with neuromuscular dynamics,including measured and simulated responses to a step in steering angle overlay

An existing driver–vehicle model with neuromuscular dynamics is improved in the areas of cognitive delay, intrinsic muscle dynamics and alpha–gamma co-activation. The model is used to investigate the influence of steering torque feedback and neuromuscular dynamics on the vehicle response to lateral force disturbances. When steering torque feedback is present, it is found that the longitudinal position of the lateral disturbance has a significant influence on whether the driver’s reflex response reinforces or attenuates the effect of the disturbance. The response to angle and torque overlay inputs to the steering system is also investigated. The presence of the steering torque feedback reduced the disturbing effect of torque overlay and angle overlay inputs. Reflex action reduced the disturbing effect of a torque overlay input, but increased the disturbing effect of an angle overlay input. Experiments on a driving simulator showed that measured handwheel angle response to an angle overlay input was consistent with the response predicted by the model with reflex action. However, there was significant intra- and inter-subject variability. The results highlight the significance of a driver’s neuromuscular dynamics in determining the vehicle response to disturbances.     

发动机采用BOOST建模和与CRUISE联合仿真的研究

利用AVL公司开发的BOOST软件可宏观地描述发动机的热力学过程且优化发动机的性能,而AVL的CRUISE软件可调用BOOST建立的发动机模型.在进行道路循环工况的仿真时,须对发动机全部工况点进行准确的标定.文中采用BOOST开发了发动机的仿真模型.通过调整节气门开度和燃烧模型参数,标定了发动机在多个转速和负荷点的转矩、功率和油耗,较好地模拟了发动机的动力性和经济性.最后基于ECE循环工况,将此模型与CRUISE进行联合仿真,分析了发动机瞬态工况的动力性、油耗和NO_x排放等参数.     

互通式立交出口设计技术问题探讨

针对互通式立交出口可能出现的多种情况,结合工程实践,探讨其设计技术问题,提出设计思路及技术对策,并在技术分析中强调融入“安全至上”“动态设计”“灵活性设计”“宽容性设计”等设计新理念,使出口设计安全、合理.     

水泥混凝土安全护栏

通过水泥混凝土安全护栏在道路交通中的实际应用，对其结构形式和主要参数以及具体的施工方法进行了较为详实的叙述，并对比介绍了水泥混凝土安全护栏的使用效果。     

三辊式和三螺杆式气门校正机的机械结构与应用

介绍了三辊式和三螺杆式气门校正机的机械结构，分析了气门杆部、气门盘部偏歪校正的机理，讨论了机器结构、压辊形状、螺杆形状等对校正质量和效率的影响；对三螺杆式、三辊式、双螺杆式及搓板式气门校正机加以比较，阐述了它们各自的优缺点。     

雷克萨斯ES300 ABS的结构原理及故障检修

主要进述丰田雷克萨斯(凌志)ES300车防抱死制动系统(ABS)的结构,主要零件的检修,以及ABS轿故障灯常亮的故障诊断与排除。     

汽车模拟碰撞吸能装置的研究

液压缓冲器是模拟碰撞试验设备中的关键部件。在普通液压缓冲器的基础上，开发出两台阻尼可调式碰撞吸能装置，编制了模拟碰撞过程的计算软件。该汽车模拟碰撞吸能装置克服了现有的液压缓冲器阻尼不可调节、使用受限的缺点，只需调整螺栓和节流孔的间隙，即可得到不同车重、不同碰撞车速所期望的减速波形，可广泛用于汽车安全部件的开发和效果验证。