基于强化学习的城轨信息发布策略研究

通过信息发布影响乘客选择行为进而改变路网客流分布，是从需求侧缓解拥堵问题的重要手段之一.本文提出基于强化学习的城市轨道交通信息发布策略生成方法，根据路网各区间客流满载率提取系统状态，再根据系统状态在学习器生成由各OD推荐路径组成的信息发布动作，对乘客进行信息发布；通过发布信息后路网系统状态变化，评估获得实施信息发布动作的奖励值.依托城市轨道交通客流分布动态仿真系统，使用 Q- learning 算法进行训练，获得最优信息发布策略.以实际路网为例进行算例验证，通过对比有无信息发布情景得到，在有信息发布情景下路网客流拥堵情况得到了较大缓解.     

基于强化学习的城轨信息发布策略研究

通过信息发布影响乘客选择行为进而改变路网客流分布，是从需求侧缓解拥堵问题的重要手段之一.本文提出基于强化学习的城市轨道交通信息发布策略生成方法，根据路网各区间客流满载率提取系统状态，再根据系统状态在学习器生成由各OD推荐路径组成的信息发布动作，对乘客进行信息发布；通过发布信息后路网系统状态变化，评估获得实施信息发布动作的奖励值.依托城市轨道交通客流分布动态仿真系统，使用 Q- learning 算法进行训练，获得最优信息发布策略.以实际路网为例进行算例验证，通过对比有无信息发布情景得到，在有信息发布情景下路网客流拥堵情况得到了较大缓解.     

一种基于强化学习的传感器网络应用重构决策方法

利用马尔可夫决策过程模型对传感器网络重构决策问题进行建模,提出了一种规则推理和强化学习相结合的动态应用重构决策方法.以能量约束和环境自适应性作为学习目标,设计了一个基于Q-学习的重构决策算法,使重构决策能够适应环境条件的变化.仿真结果表明基于强化学习的动态决策可以使传感器节点在运行过程中不断学习其所部署环境中异常事件发生的规律,自适应地调整节点上的应用,达到以较小的能耗获得较准确的监测效果的目标.     

�����˹�������ļ�ʻ��Ϊ��̬����ѧϰ�㷨

针对传统驾驶决策模型难以体现驾驶员驾驶过程中对交通环境的感知、判断、决策、动作等环节存在不确定性和不一致性,提出了一种基于神经网络的驾驶行为动态集成学习算法——DNNIA.首先训练多个个体网络模拟驾驶行为,然后动态选择泛化误差E最小的个体网络进行集成,采用拉格朗日函数法求解最优集成权系数ωi,并引入agent联盟的思想,把联盟中的个体网络对应的神经元输出做加权平均后,取最大值作为输出.在标准数据集上验证了该算法的有效性,仿真实验中得到的驾驶员踩踏踏板的习惯行为仿真结果与实际采集的样本数据总体趋势基本吻合.     

混合交通流环境下基于改进强化学习的可变限速控制策略

现有的可变限速(VSL)控制策略灵活性较差，响应速度较慢，对驾驶人遵从度和交通流状态预测模型的依赖性较高，且单纯依靠可变限速标志(VMS)向驾驶人发布限速值，难以在智能网联车辆(CAVs)与人工驾驶车辆(HDVs)混行的交通环境中实现较好的控制效果。对此，结合深度强化学习无需建立交通流预测模型，能自动适应复杂环境，以及CAVs可控性的优势，提出一种混合交通流环境下基于改进竞争双深度Q网络(IPD3QN)的VSL控制策略，即IPD3QN-VSL。首先，将优先经验回放机制引入深度强化学习的竞争双深度Q网络(D3QN)框架中，提升网络的收敛速度和参数更新效率；并提出一种新的自适应ε-贪婪算法克服深度强化学习过程中探索与利用难以平衡的问题，实现探索效率和稳定性的提高。其次，以最小化路段内车辆总出行时间(TTS)为控制目标，将实时交通数据和上个控制周期内的限速值作为IPD3QN算法的输入，构造奖励函数引导算法输出VSL控制区域内执行的动态限速值。该策略通过基础设施到车辆通信(I2V)向CAVs发布限速信息，HDVs则根据VMS上公布的限速值以及周围CAVs的行为变化做出决策。最后，在不同条件下验...     

车联网环境下自动驾驶车辆动态障碍物协作避让模型

车路协同和车联网的发展为车辆群体之间的协作控制提供了可能.本文关注的是在车联网环境下,自动驾驶车辆群体避让动态障碍物的问题,目标是实现在不损失车辆个体效益的同时,可以达到车辆群体系统最优.本文提出了一种基于深度强化学习算法(DQN)的自动驾驶车辆群体协作避让动态障碍物的模型.模型在学习过程中考虑了车辆的安全性、单个车辆和车辆群体的行驶效率,并加入了车辆的换道协作机制.仿真验证结果表明,与现有的非协作避障模型相比,该模型可以显著地提高整体交通效率,在非常拥堵、比较拥堵和自由流三种给定的不同交通流状态下,车辆行驶效率(车辆平均速度)分别提高5.26％、21.44％、10.38％,整体车流量分别提高8.22％、34.47％、0％.     

���ص���ϵͳ��̬����·���㷨�о�

目前用于车载导航系统最优路径搜索算法大多数只能适应静态交通环境,当交通环境或者出行者位置发生改变时,需要重新计算修改整个最优路径,速度较慢. 在LPA算法的基础上,首先将出行者位置不断变化而目的地位置固定不变的问题转化为起点固定终点固定的问题,另一方面结合增量搜索的思想,利用先前搜索的结果不断更新当前搜索过程中的遗传值,来提高搜索的效率,并最终提出了可用于车载导航系统的动态最优路径搜索算法. 实验结果表明, 在交通环境和出行者位置同时发生变化的情况下,最优路径搜索时间要比静态算法小很多. 最后将算法部署在Windows Mobile手机移动平台上,实际结果表明, 该算法较好地解决了动态最优路径问题,具有理论参考价值和实际意义.     

����ATIS���ͺ�Ӱ��������ٶ��Ż�ģ��

随着城市机动车保有量的飞速增长,油气资源的短缺问题日益严重,如何采取有效措施减少能源消耗是一个值得深入研究的问题。用双层规划思想建立先进出行者信息系统和油耗的最优速度确定的优化模型。在此模型中,上层规划是通过系统总出行时间和油耗总量确定最优速度的问题,下层问题是在一定速度条件下考虑先进出行者信息系统影响的出行道路选择行为,构造了弹性需求条件下的随机用户平衡配流模型,并给出了一个平衡迭代算法进行求解。最后用了一个简单的算例,对模型的求解算法进行了验证。研究结果显示,随着出行者对道路实际情况认识程度的降低,可以通过提高装备ATIS设备的出行者比率,使得出行者能够合理地进行路径选择,从而降低系统总费用。     

考虑旅客选择行为的高铁席位动态控制策略

利用基于选择行为的网络收益管理原理研究高铁席位动态控制策略.首先,针对多列车多停站的高铁网络建立考虑旅客选择行为的席位控制动态规划模型.然后,设计两阶段控制机制：第一,采用近似动态规划技术,对价值函数进行线性近似,设计策略迭代算法离线获得时间依赖的投标价格;第二,采用能够描述多种选择行为机理的马尔科夫链选择模型刻画旅客选择行为,将投标价格作为输入参数,在线运行品类优化算法获得实时控制策略.最后以京沪高铁为背景设计仿真实验,结果表明该机制在需求水平较低时能够明显改善收益,且保护长途票额.该机制不仅可获得实时动态控制策略,而且通用性好,还可利用历史数据进行参数学习与更新,实现更为精细地连续优化.     

基于弹复力调整的高速列车群动态运行轨迹优化方法

为提高列车控制过程的自主性和智能性,研究了列车群动态运行过程,采用多智能体和图论方法构建了列车群分布式信息交互模型;以节能和准点为优化目标,以安全和乘客舒适度为约束条件,建立了列车群运行轨迹多目标优化模型,利用基于模拟退火思想改进的差分进化算法获取了列车群静态最优运行轨迹;在此基础上,为避免或消解列车运行过程中随机干扰导致的延误传播问题,针对移动闭塞系统,基于弹复力构建了信息交互支撑的列车群动态间隔调整机制,设计了列车群在线协同优化算法,实现了列车群运行轨迹的动态调整,最后采用武广高速铁路实际数据进行了仿真验证。研究结果表明:提出的在线协同优化算法可以有效提升最优解搜索能力,避免Pareto最优解集的频繁更新,在不同干扰场景下算法触发频率平均降低36.7%;在试验设计的一般干扰场景中,优化后的动态调整策略在保证列车群安全平稳运行的同时,将受扰列车的延误度由6.2%降至0,与立即恢复延误策略相比,节能率达4.8%;在试验设计的较大干扰场景中,受扰列车的延误度由13.1%降至1.4%,全局时间偏差恢复为0,节能率达1.8%。可见,提出的方法能够解决运行轨迹静态规划方式无法完全适应外部动态环境变化的问题,有效保障干扰情况下列车运行复合紊态的及时恢复。      

�Ŵ��㷨�ڶ�̬·���յ�ϵͳ�е�Ӧ��

提出了以随机A*算法为基础，运用遗传算法来求解不满足先进先出原则的动态网络中最短路径问题的思路，其中通过运用提出的随机Dijkstra算法解决了将遗传算法应用于最短路径问题中的最大障碍－初始种群的产生。最后，以广州市电子地图为基础，对提出的算法进行了验证，试验结果表明遗传算法适合求解非常态且不满足先进先出原则的动态网络中的路径诱导问题。     

U型不完全多目标拆卸线平衡问题建模与优化

针对U型布局所具有的生产柔性强、效率高等优点,结合仅需考虑需求零部件和危害性零部件的实际拆卸过程,提出U型不完全拆卸线平衡问题(U-shaped partial disassembly line balance problem,UPDLBP),以最小化工作站数量、空闲时间均衡指标、拆卸深度和拆卸成本为优化目标建立数学模...     

Hybrid Optimization Algorithm Based on Wolf Pack Search and Local Search for Solving Traveling Salesman Problem

Traveling salesman problem(TSP) is one of the typical NP-hard problems, and it has been used in many engineering applications. However, the previous swarm intelligence(SI) based algorithms for TSP cannot coordinate with the exploration and exploitation abilities and are easily trapped into local optimum. In order to deal with this situation, a new hybrid optimization algorithm based on wolf pack search and local search(WPS-LS)is proposed for TSP. The new method firstly simulates the predatory process of wolf pack from the broad field to a specific place so that it allows for a search through all possible solution spaces and prevents wolf individuals from getting trapped into local optimum. Then, local search operation is used in the algorithm to improve the speed of solving and the accuracy of solution. The test of benchmarks selected from TSPLIB shows that the results obtained by this algorithm are better and closer to the theoretical optimal values with better robustness than those obtained by other methods.     

基于强化学习的汇流瓶颈区可变限速策略研究

为提高高速公路汇流瓶颈区的通行效率,本文结合强化学习无需建立模型,具有智能学习的特点,对瓶颈区的可变限速策略进行了优化,首次提出了基于Q学习算法的可变限速控制策略.策略以最大化系统总流出车辆数为目标,通过遍历交通流状态集合,尝试不同限速值序列进行自适应学习.以真实路段交通流数据搭建了元胞传输模型仿真平台,通过将其与无控制和基于反馈控制的可变限速策略进行对比,对Q学习策略的控制效果进行评价.通行时间的降低和交通参数的变化表明,强化学习控制策略在提高汇流瓶颈区通行效率和改善交通流运行状况方面具有优越性.     

����ǿ��ѧϰ�Ļ���ƿ�����ɱ����ٲ����о�

为提高高速公路汇流瓶颈区的通行效率,本文结合强化学习无需建立模型,具有智能学习的特点,对瓶颈区的可变限速策略进行了优化,首次提出了基于Q学习算法的可变限速控制策略。策略以最大化系统总流出车辆数为目标,通过遍历交通流状态集合,尝试不同限速值序列进行自适应学习。以真实路段交通流数据搭建了元胞传输模型仿真平台,通过将其与无控制和基于反馈控制的可变限速策略进行对比,对Q学习策略的控制效果进行评价。通行时间的降低和交通参数的变化表明,强化学习控制策略在提高汇流瓶颈区通行效率和改善交通流运行状况方面具有优越性。     

高维动态函数优化的免疫算法研究

生物免疫系统在识别和清除抗原的过程中,免疫细胞之间信息交互和协作,能够快速适应环境变化,具有很强的学习和自适应控制能力.基于此,本文提出了针对高维动态函数优化的免疫算法.该算法的主要特点是采用Gray码编码、采用不同的克隆繁殖策略、对抗体实施不同概率的超变异和多细胞编辑等操作,提高算法寻优能力和种群的多样性.通过与几种典型算法进行比较,仿真结果证明该算法对动态优化性能及跟踪能力有明显的改善