基于强化学习与安全约束的自动驾驶决策方法

在自动驾驶决策场景下,为解决强化学习算法安全性差、学习效率低的问题,提出一种在算法的训练阶段添加基于价值的安全约束和虚拟奖励的方法。首先,利用状态、动作价值函数和安全判断规则,对智能体执行的动作进行基于价值的安全约束,选择价值高且安全的动作。然后,向回放池添加包含虚拟奖励的预测轨迹数据,以补充由于约束而未能获取的试错动作信息和相应的状态、奖励信息。最后,为进行加减速和换道决策实验,基于修改后的高速公路仿真环境highway-env搭建了3车道高速公路场景,并以深度Q网络（Deep Q Network, DQN）算法为基础,分别训练和测试了无安全约束的算法、拥有基于规则的安全约束的算法和拥有基于价值的安全约束的算法。结果表明,考虑加速、减速、保持车速和车道、向左换道、向右换道共5种动作时,基于价值的安全约束算法的成功率比无安全约束的算法高3倍以上,平均回报提升28%;仅考虑向左换道、向右换道、保持车道这3种换道动作时,基于价值的安全约束算法的成功率比基于规则的安全约束算法高0.11,平均回报提升6%;都添加基于价值的安全约束时,考虑5种动作的算法相较于考虑3种动作的算法成功率低0.06但...     

城市交通仿真系统设计与开发

依托智能交通系统对交通规划过程提供技术和决策支持,是当前中国大城市ITS建设的一项重要任务.建设面向规划决策的交通信息平台的主要目的,是通过长期、全面的数据采集和信息提炼,实现交通规划建设决策的科学化.首先运用系统分析方法对面向规划决策系统的用户--管理决策者、交通技术人员、公众进行了需求分析,提出系统软件和硬件架构;对系统实现中的关键技术问题进行了详细探讨;最后,介绍了如何应用上述设计方法实现深圳市城市交通仿真系统.城市交通仿真系统的设计理念、系统构架、功能设计和关键技术,将成为提高交通部门决策水平和业务能力的新的途径与模式.     

基于深度强化学习的船舶航线自动规划

为解决传统船舶航线规划算法缺少对经验航线的参考及不适用于真实航行需求的问题,提出一种基于深度Q网络(Deep Q Network,DQN)船舶航线自动规划算法,用以在电子海图中提供拟合航道,生成适宜真实航行情况的自动规划航线.这种算法采用当前神经网络和目标神经网络2个二层神经网络结构,达到打乱数据相关性的目的,将智能体...     

基于GPS的风流压差估算与航向修正

船舶在实际航行中,由于受到风流的影响,往往造成实际航迹线偏离计划航线。为了确保船舶按照既定航线安全、经济地航行,通常要求航海人员尽可能随时估算海洋的风流要素,确定船舶应采用的真航向和确     

基于群决策和熵权法的换道轨迹评价研究

针对换道轨迹评价中指标间的信息重叠和指标权重设定的主观性问题,提出了基于相关性分析和因子分析的评价指标选取方法,从16个参数中选出了表征舒适性、高效性、平顺性、生态性和安全性的11个评价指标;运用层次分析法计算指标主观权重,运用群决策理论计算专家权重,运用熵权法计算指标客观权重,从而提出层次分析法、群决策理论和熵权法相结合的指标权重设定方法,计算得出安全性、高效性、舒适性、生态性、平顺性的权重分别为0.73、0.15、0.06、0.04、0.02,从而建立换道轨迹评价体系,并用该体系对驾驶模拟获取的换道轨迹进行了评价。结果表明,提出的换道轨迹评价体系较为全面且减少了指标间的信息重叠,综合了主观上的专家经验和客观上的数据信息使评价结果更为合理,对轨迹性能的重要性排序可为轨迹规划中设置约束条件时的侧重倾向提供参考;构建的换道轨迹评价体系和提出的评价方法为换道轨迹评价提供了参考。     

智能网络海上船舶物流运输最佳航线选取模型

常规的物流运输航线选取模型无法获取实时天气及周边环境信息,导致绕避台风不及时。为此利用智能网络技术,设计海上船舶物流运输最佳航线选取模型。分析随机变量对物流运输路线的影响,利用智能网络获取船舶实时位置,计算航线运营成本,了解运输总需求,分析船型大小与其挂靠频率间的关系,选择合适的靠泊港口与靠港顺序,完成智能网络下海上船舶物流运输最佳航线选取模型设计。采用仿真对照实验,测试该模型应用效果。实验结果表明,将智能网络技术应用到最佳航线选取过程当中,能够实时获取相关信息,准确地制定船舶绕避台风方案,选择最为合适的物流运输航线,保证货物安全并准时到达。     

基于蚁群算法和群决策理论的动态路径优化研究

文章针对城市交通信号控制中的动态路径优化问题,综合考虑相邻交叉口间距和路段交通饱和度两个参数的影响,提出了一种基于蚁群算法和群决策理论的动态路径优化算法模型,并通过仿真实验,对比分析了该算法模型的有效性。     

基于模糊证据理论的风电场海缆路由方案选择研究

为合理规划风电场海上路由,保障船舶航行安全和节约运营成本,研究了基于模糊证据理论的风电场海缆路由方案选择方法.识别了风电场海缆路由规划的影响因素,建立了海缆路由的3层决策框架.利用模糊隶属度函数对影响因素进行模糊化,并引入置信度建立了置信推理规则库,建立了影响因素与决策变量的模糊转换方法,并引入证据理论对转换后的影响因素进行合成,从而实现海缆路由的最优选择.以浙能风电场海缆路由选择为例,确定了浙能风电场海缆路由的规划方案.结果 表明,该模型能够充分考虑通航安全对风电场海缆路由的影响,且能够解决对通航安全因素模糊推理过程中不能精确描述输出变量的问题,因此,能够为风电场海缆路由方案选择提供定量和可靠的评价工具.      

多港口多船舶同时行进下航行调度的数学模型设计

为了提高多港口多船舶同时行进下船舶航行的畅通性,进行航行调度数学模型的优化设计,提出一种基于并行网格控制的多港口多船舶同时行进下航行调度的数学模型,采用均匀阵列分布模型构建船舶航行的网格结构模型,在齐次Sobolev空间构建船舶均衡调度的非线性微分控制方程,采用对合Cauchy-Hadamard积分控制方法进行调度模型渐进寻优,在Lyapunove有限域中得到全局调度的平衡性边界条件,实现船舶航行的并行优化调度。仿真结果表明,采用该模型进行船舶航行调度能提高港口的吞吐量,航线的运载能力增强,调度模型的稳定性较好。     

基于碳排放考量的集装箱海陆多式联运模式选择

为使集装箱海陆多式联运模式选择能更符合节能减排的要求,分析碳排放影响因素并建立海陆多式联运碳排放计算模型和运输成本计算模型,在此基础上建立基于碳排放量、运输成本、运输时间的多目标决策模型,通过决策模型进行联运模式的比较选择。以哈尔滨市至泰安市的集装箱海陆多式联运为例,应用以上多目标决策模型得出"铁―海―铁联运"模式为最优方案。