基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于TD3-PER的氢燃料电池混合动力汽车能量管理策略研究

为优化氢燃料电池混合动力汽车的燃料经济性及辅助动力电池性能,提出了一种基于优先经验采样的双延迟深度确定性策略梯度（TD3-PER）能量管理策略。采用双延迟深度确定性策略梯度（TD3）算法,在防止训练过优估计的同时实现了更精准的连续控制;同时结合优先经验采样（PER）算法,在获得更好优化性能的基础上加速了策略的训练。仿真结果表明：相较于深度确定性策略梯度（DDPG）算法,所提出的TD3-PER能量管理策略的百公里氢耗量降低了7.56%,平均功率波动降低了6.49%。     

基于柔性演员-评论家算法的自适应巡航控制研究

针对目前自适应巡航控制技术中，深度强化学习的控制算法环境适应能力不足、模型迁移性及泛化能力较差的问题，提出一种基于最大熵原理和随机离线策略的柔性演员-评论家（SAC）控制算法。构建演员和评论家网络拟合动作值函数和动作策略函数，并使用自调节温度系数改善智能体的环境探索能力；针对奖励稀疏问题，运用奖励塑造思想设计奖励函数；此外，提出一种新的经验回放机制以提高样本利用率。将所提出的控制算法在不同场景中进行仿真及实车验证，并与深度确定性策略梯度（DDPG）算法进行比较，结果表明，该算法具有更好的模型泛化能力和实车迁移效果。     

基于DRL的四轮独立驱动电动车辆的侧向车速估计

为精确估计车辆行驶状态,提出了一种四轮独立驱动电动车辆侧向车速估计方法。基于深度强化学习(DRL)范式,设计了侧向车速估计方法的架构;基于深度确定性策略梯度(DDPG)算法,设计了DRL智能体;采用循环神经网络,搭建了DDPG算法中的Actor网络和Critic网络。基于设计的奖励函数和训练场景,借助Matlab/Simulink软件,完成了算法的实现和训练;并通过在车辆双车道变换等实际行驶工况的仿真,进行了验证。结果表明：在经过了630次的学习训练之后,与扩展Kalman滤波方法相比,本文方法的估计精度提升40%。因而,本文方法能够在常用行驶工况中对车辆侧向车速进行估计。     

基于深度强化学习的智能网联车辆换道轨迹规划方法

以提高智能网联车辆换道安全和效率,降低燃油消耗为目的,该文提出了一种基于深度强化学习的智能网联车辆（ICV）换道轨迹规划方法。分析复杂交通场景智能网联车辆换道功能需求,设计了分层式智能网联车辆换道轨迹规划架构;兼顾车辆安全和换道效率,设计了基于完全信息纯策略博弈的换道行为决策模型;解耦车辆纵横向运动状态,构造了以燃油消耗和乘客舒适度为目标的联合优化函数,提出了基于双延迟深度确定性策略梯度（TD3）的智能网联车辆纵横向换道轨迹规划方法,得到了车辆纵横向优化换道轨迹,并利用搭建的3个典型换道仿真场景,验证了算法的有效性。结果表明：与深度确定性策略梯度（DDPG）算法相比,提出的方法在左换道和右换道实验中的训练效率平均提升了约10.5%,平均油耗分别减少了65%和44%,而且单步轨迹规划时间在10 ms内,能够实时获取安全、节能、舒适的换道轨迹。     

基于双延迟深度确定性策略梯度的船舶自主避碰方法

为满足智能船舶自主航行的发展需求,解决基于强化学习的船舶避碰决策方法存在的学习效率低、泛化能力弱以及复杂会遇场景下鲁棒性差等问题,针对船舶避碰决策信息的高维性和动作的连续性等特点,考虑决策的合理性和实时性,研究了基于双延迟深度确定性策略梯度（TD3）的船舶自主避碰方法。根据船舶间相对运动信息与碰撞危险信息,从全局角度构建具有连续多时刻目标船信息的状态空间;依据船舶操纵性设计连续决策动作空间;综合考虑目标导向、航向保持、碰撞危险、《1972年国际海上避碰规则》（COLREGs）和良好船艺等因素,设计船舶运动的奖励函数;基于TD3算法,根据状态空间结构,结合长短期记忆（LSTM）网络和一维卷积网络,利用Actor-Critic结构设计船舶自主避碰网络模型,利用双价值网络学习、目标策略平滑以及策略网络延迟更新等方式稳定网络训练,利用跳帧以及批量大小和迭代更新次数动态增大等方式加速网络训练;为解决模型泛化能力弱的问题,提出基于TD3的船舶随机会遇场景训练流程,实现自主避碰模型应用的多场景迁移。运用训练得到的船舶自主避碰模型进行仿真验证,并与改进人工势场（APF）算法进行比较,结果表明：所提方法学习效率高,收敛快速平稳;训练得到的自主避碰模型在2船和多船会遇场景下均能使船舶在安全距离上驶过,并且在复杂会遇场景中比改进APF算法避碰成功率高,避让2~4艘目标船时成功率高达99.233%,5~7艘目标船时成功率97.600%,8~10艘目标船时成功率94.166%;所提方法能有效应对来船的不协调行动,避碰实时性高,决策安全合理,航向变化快速平稳、震荡少、避碰路径光滑,比改进APF方法性能更强。     

基于深度强化学习的汽车自动紧急制动策略

针对传统自动紧急制动策略制动减速度波动大、制动过程乘坐舒适性及弯道制动安全难以保障的问题,提出一种基于深度强化学习的汽车自动紧急制动策略.建立了包括纵向、横向及横摆运动的3自由度车辆模型,根据碰撞预警时间设计奖励函数,应用深度确定性策略梯度算法设计了基于深度强化学习的自动紧急制动策略,开展了直道行驶工况与弯道行驶工况仿...     

基于长短期记忆-异步优势动作评判的智能车汇入模型

针对以往强化学习中智能车汇入车流算法训练时间复杂度高、收敛速度慢的问题,提出基于长短期记忆-异步优势动作评判算法的智能车汇入模型。在异步优势动作评判算法的基础上,结合长短期记忆神经网络,有效地解决训练模型时间和模型收敛的问题。试验结果表明,该算法提高了模型收敛速度与汇入成功率,同时降低了时间复杂度,适合汇入车流场景。     

改进RRT算法在复杂环境下智能车路径规划中的应用

采用快速搜索随机树(RRT)算法进行路径规划时,在存在大量随机障碍物的复杂环境下,规划出的路径曲折且算法无法快速收敛,不能满足智能车路径规划的要求.为了实现智能车路径规划,提出一种基于RRT的运动规划算法——同心圆RRT算法.该算法在RRT算法的基础上结合智能车行驶时自身运动学约束,引入同心圆采样策略和邻近点选择方法....     

基于深度强化学习的自动驾驶车辆跟驰行为建模

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型。在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题。为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法（Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3）训练形成多目标优化的跟驰模型。进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现。跟车测试场景实验结果表明：在舒适度与行驶效率上,TD3模型和传统自适应巡航控制（Adaptive Cruise Control, ACC）模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65%,相较于人类驾驶...     

A path-following driver–vehicle model with neuromuscular dynamics,including measured and simulated responses to a step in steering angle overlay

An existing driver–vehicle model with neuromuscular dynamics is improved in the areas of cognitive delay, intrinsic muscle dynamics and alpha–gamma co-activation. The model is used to investigate the influence of steering torque feedback and neuromuscular dynamics on the vehicle response to lateral force disturbances. When steering torque feedback is present, it is found that the longitudinal position of the lateral disturbance has a significant influence on whether the driver’s reflex response reinforces or attenuates the effect of the disturbance. The response to angle and torque overlay inputs to the steering system is also investigated. The presence of the steering torque feedback reduced the disturbing effect of torque overlay and angle overlay inputs. Reflex action reduced the disturbing effect of a torque overlay input, but increased the disturbing effect of an angle overlay input. Experiments on a driving simulator showed that measured handwheel angle response to an angle overlay input was consistent with the response predicted by the model with reflex action. However, there was significant intra- and inter-subject variability. The results highlight the significance of a driver’s neuromuscular dynamics in determining the vehicle response to disturbances.     

预应力曲线箱梁和异形箱梁的研究

近年来 ,国内外学者对曲线箱梁和异形箱梁的静力分析理论和计算方法作过大量的研究 ,但这些理论和方法在某种程度上都存在着一定的局限性 ,特别是在实际设计工作中 ,运用起来不能得心应手。为此本文在综合前人已取得经验下 ,针对桥梁结构设计中分析曲线箱梁、异形箱梁 ,经常遇到的难题进行了研究 ,建立一个较为完善的理论和方法 ,编制了等参元空间分析程序。在实际工程中进行实桥试验 ,验证了本文理论和方法的正确性。本文的研究工作更准确描述了箱梁的荷载响应 ,为设计人员提供直观的设计依据。对曲线箱梁和异形箱梁受力特性有了更一步的理解 ,并提出了新的见解     

混凝土施工中裂缝的防治措施及处理办法

混凝土的推广使用已有一个世纪,目前在现代工程建设中仍占有重要的地位。而在今天,混凝土的裂缝较为普遍,在桥梁工程中裂缝几乎无所不在,尽管我们在施工中采取各种各样的措施,但收效甚微,裂缝仍然时有出现。该文指出,究其原因,人们对混凝土温度变化所产生的应力注意不够是其中之一,尤其是大体积混凝土。对此,温度应力与温度控制具有重要的意义。     

Analysis of the capabilities of a two-stage turbocharging system to fulfil the US2007 anti-pollution directive for heavy duty diesel engines

This article presents a two-stage turbocharged heavy-duty diesel (HDD) engine designed to fulfil the US2007 anti-pollution directive. This directive imposes very restrictive limits on the NOx and particle emissions of HDD engines. In this work, the possibility of combining particle traps in the exhaust line to reduce soot emissions with very high EGR rates to reduce NOx emissions is considered. This new generation engine implements two-stage turbocharging in order to improve the bsfc when the engine is working on steady conditions as well as to optimize the engine transient response. After carrying out the tests, the results were analyzed and the engine settings were adjusted to maximise its behaviour and minimise pollutant emissions. NOx and soot emission peaks were also analyzed at engine transient conditions in order to keep them under certain levels, and thus maintain the overall pollutant emissions to a level that is as low as possible. In summary, a double-stage turbocharging configuration can greatly improve engine driveability (between 23% and 36% depending on engine speed), while reducing NOx emissions during transient evolution without increasing opacity peaks beyond the stated limits.     

新一代同步器开发与应用

随着用户对车辆驾驶舒适性要求的不断提高,国内重型商用车辆对全同步器型变速箱的需求迅速增长,有必要开发适合重型卡车变速箱恶劣工况的高性能同步器。设计人员从结构设计和材料选型2方面着手,设计了具有专利结构的钢环碳纤维摩擦材料同步器。工艺人员解决了制造过程中的技术难点,建成了高标准的同步器生产线。新一代同步器针对重型卡车变速箱恶劣工况而设计,在市场上获得了很大的成功。     

超薄磨耗层沥青混合料的应用研究

该文从研究超薄磨耗层的级配的选择入手,简单分析了超薄磨耗层的结构特点和强度形成机理,给出了几种国内外常用的超薄磨耗层级配范围,并提出了将SAC-10做为其研究的设计级配。在研究超薄磨耗层沥青混合料配合比设计的基础上,通过对SAC-10沥青混合料的马歇尔试验,确定了该沥青混合料的矿料级配和最佳沥青含量。最后采用车辙试验、浸水马歇尔和冻融劈裂试验及小梁弯曲试验等一系列试验,检测超薄磨耗层沥青混合料的各项路用性能,为在实际工程中的应用提供理论依据。     

基于DDS技术的发动机爆震信号仿真研究

基于直接数字频率合成(DDS)技术,通过设计相应的硬件电路来模拟发动机的爆震信号,在发动机平均值模型的基础上添加改进的双区燃烧模型,用以计算分析缸内燃烧过程,进而预测、判断爆震,并以爆震等级强弱等信息作为模型的输出量,最终驱动硬件电路产生信号。对信号的发生及处理过程作了针对性的研究。试验结果表明,模拟信号的幅值、频率等参数均可调,实时性满足系统的要求。     

公路工程监理人员市场供需模型研究

提出了建立监理人员需求和供给模型的方法,推导了计算公式。根据公路建设发展的历史数据,对历年公路建设监理人员需求和供给进行了计算和比较。     

轮胎位移包容性研究及有效路面谱计算方法

本文提出一种有效路形测量的新方法,研究轮胎的位移包容性。提出以轮胎包容参数为变量把真实路面功率谱变换为有效路面功率谱的新方法。该研究是道路激励模拟的基础研究。