基于深度强化学习的智能船舶航迹跟踪控制

[目的]智能船舶的航迹跟踪控制问题往往面临着控制环境复杂、控制器稳定性不高以及大量的算法计算等问题。为实现对航迹跟踪的精准控制,提出一种引入深度强化学习技术的航向控制器。[方法]首先,结合视线(LOS)算法制导,以船舶的操纵特性和控制要求为基础,将航迹跟踪问题建模成马尔可夫决策过程,设计其状态空间、动作空间、奖励函数;然后,使用深度确定性策略梯度(DDPG)算法作为控制器的实现,采用离线学习方法对控制器进行训练;最后,将训练完成的控制器与BP-PID控制器进行对比研究,分析控制效果。[结果]仿真结果表明,设计的深度强化学习控制器可以从训练学习过程中快速收敛达到控制要求,训练后的网络与BP-PID控制器相比跟踪迅速,具有偏航误差小、舵角变化频率小等优点。[结论]研究成果可为智能船舶航迹跟踪控制提供参考。     

地下连续墙的受力状态及计算图式分析

在地下连续墙工程现场观测的基础上,对其受力状态进行了分析探讨。指出单元墙段是呈双向弯曲受力状态。因而按现行设计(单向受弯)的配筋计算应做适当的调整。在用筋总量不增加的基础上,使墙体结构设计更加合理、完善、经济、可靠。     

Human-like autonomous car-following model with deep reinforcement learning

This study proposes a framework for human-like autonomous car-following planning based on deep reinforcement learning (deep RL). Historical driving data are fed into a simulation environment where an RL agent learns from trial and error interactions based on a reward function that signals how much the agent deviates from the empirical data. Through these interactions, an optimal policy, or car-following model that maps in a human-like way from speed, relative speed between a lead and following vehicle, and inter-vehicle spacing to acceleration of a following vehicle is finally obtained. The model can be continuously updated when more data are fed in. Two thousand car-following periods extracted from the 2015 Shanghai Naturalistic Driving Study were used to train the model and compare its performance with that of traditional and recent data-driven car-following models. As shown by this study’s results, a deep deterministic policy gradient car-following model that uses disparity between simulated and observed speed as the reward function and considers a reaction delay of 1 s, denoted as DDPGvRT, can reproduce human-like car-following behavior with higher accuracy than traditional and recent data-driven car-following models. Specifically, the DDPGvRT model has a spacing validation error of 18% and speed validation error of 5%, which are less than those of other models, including the intelligent driver model, models based on locally weighted regression, and conventional neural network-based models. Moreover, the DDPGvRT demonstrates good capability of generalization to various driving situations and can adapt to different drivers by continuously learning. This study demonstrates that reinforcement learning methodology can offer insight into driver behavior and can contribute to the development of human-like autonomous driving algorithms and traffic-flow models.     

浅谈箱形拱桥的维修与加固

文章针对目前钢筋混凝土悬链线箱形拱桥普遍存在的问题,介绍了采用粘贴钢板加固、改变结构受力体系、桥面补强层等3种方法,能有效地解决目前桥梁的维修和加固存在的问题。     

隧道开挖中的应力旋转和裂隙塑性变形问题研究

通过对隧道开挖过程进行三维数值模拟,分析了隧道开挖过程中主应力方向的旋转变化,研究了主应力旋转与隧道裂隙塑性变形的关系,验证了"考虑应力主轴旋转的广义塑性原理"的正确性,并将数值模拟结果和相关试验成果进行了对比,得出了一致性的结论。研究结果表明,应力旋转基本在隧道开挖前后10 m左右的距离内完成,隧道开挖过程中的应力旋转可以引起裂隙塑性变形的突变,且对竖向和斜向裂隙的影响较大;可以根据应力旋转的变化规律合理地选择支护时机,依据应力旋转对裂隙的影响对隧道的重点部位进行超前加固。     

软弱围岩隧道修建新方法——核心土加固变形控制法

2006年我国铁路系统相关施工单位开始接触变形控制法隧道施工技术,经过长达5年的基础理论学习研究与准备,在铁道部和兰渝铁路公司的支持下,2011年由中铁瑞威公司和意大利土力公司联合在兰渝铁路桃树坪隧道进行了中国首次隧道核心土加固变形控制法应用试验研究,并取得成功。文章通过工程实践,对桃树坪隧道的工程概况、地质问题、施工工艺、施工设备及核心土加固控制变形技术的应用效果作了较详细介绍。     

夹芯钢板覆盖法(SPS)在钢箱梁桥正交异性桥面板维修加固中的应用与试验

结合工程实例,介绍了夹芯钢板覆盖法(SPS)在钢箱梁桥维修加固中的应用,并通过荷载试验对其加固效果进行了检验,可为类似维修加固工程提供参考。     

体外预应力在连续箱梁桥加固中的作用

重点介绍国内第一座顶推施工的竖曲线梁桥——东莞中堂大桥(旧桥)上部结构主跨的加固方案;对该桥上部结构主跨的连续箱梁主要病害进行病因分析;着重介绍该桥上部结构连续箱梁采用增设体外预应力进行加固的设计与施工方案。     

后张法预应力桥梁锚固区的拉压杆设计方法

介绍了应用拉压杆模型进行后张法预应力桥梁锚固区设计的具体方法及试验研究情况,提出了一些建议,有关经验可供相关专业人员参考。     

堆载法在桥梁基础纠偏过程中的应用

桩周围不均匀堆载产生的土体沉降及侧向变形会加大桩基内力,引起桩基侧移。根据相关文献资料的研究成果,提出采用堆载法进行桥墩基础的桩基纠偏,结合软土地区某匝道桥的纠偏过程,监测结果与预期效果基本吻合。软土地区在既有桩基附近堆载须要严格控制堆载高度和堆载速度,做好桩周土体的加固措施。