信号博弈下的交叉口TSCA间的协调学习模型的构建

针对路网中交叉口之间交通流的关联性、动态性及不确定性，应用了信号博弈作为交叉口交通信号控制agent（TSCA）间协调的模型，以分布式Q强化学习中Q值更新来进行其效用函数的学习，通过引入记忆因子对奖惩函数进行设计，及相邻交叉口之间的影响建立权值函数，构建了协调学习的仿真实现流程，并通过实验仿真验证此模型的有效性。     

基于BP神经网络的区域交叉口协调控制

城市区域交通协调控制是城市智能交通的研究重点,研究目的是减少车辆延误,提高路网通行能力.针对此问题,根据单交叉口神经网络控制方法,提出一种基于BP神经网络的区域多交叉口协调控制方法.采用五交叉口组成的区域路网,以区域所有交叉口平均车辆延误作为评价指标,利用MATLAB软件编程进行仿真.仿真结果表明,神经网络协调控制方法与定时控制、神经网络单独控制方法相比,能够取得更好的控制效果.     

交叉口Agent间的博弈学习协调方法

将Multi-agent应用在城市交叉口交通协调控制中。通过引入交通信号控制Agent,分析Agent的协调过程;以交通信号控制Agent为角色,建立了相互关联的城市交叉口资源动态协调配置抽象模型;应用对策论作为协调实现途径,并且以分布式Q强化学习中Q值更新作为其效用函数。通过对两交叉口协调实例分析,证明了采用博弈学习协调方法的有效性。     

路网闭合环路交通协调控制方法研究

通过对城市路网闭合环路特性进行研究,运用交通信号协调控制理论,设计了一种符合我国城市路网结构特点的闭合环路交通协调控制方法.该方法采用三层递阶分布式结构,以路网中的闭合环路作为控制子区,应用信号参数优化模型分阶段优化信号周期、相位差和绿信比,形成预选方案,并通过设定的面控率进行判断、选择,最终确定交通协调控制方案.通过实例验算表明本文设计的协调控制方法能有效的减少区域路网交通车辆总延误、减少停车次数,起到缓解交通拥堵、提高道路利用率的作用.     

基于仿真的干线协调控制分析指标

讨论了协调控制方案评价时流量因素的重要性,提出了以仿真手段为基础的干线协调控制方案的交通效益分析指标,该指标可用于分析协调控制方案对流量变化的适应性和敏感性.实验结果表明该指标具有可行性.通过分析绿信比变化、协调交叉口数量的变化对协调控制交通效益的影响,获取了协调控制方案的某些一般性特征,如干线方向的最小绿信比对整体交通效益起决定性影响;协调交叉口数应少于7个.     

基于多智能体的城市交通区域协调控制方法

在分析城市道路交通信号控制特点的基础上,提出了基于多智能体的城市道路区域协调控制方法.在单路口Agent中引入加强学习方法,实现交通信号实时在线调整;在由多交叉口构成的区域路网中,以车辆平均延误为目标,通过多路口Agent之间的协调机制,实现城市交通区域信号控制的智能协调和全局优化,提高整个区域交通的效率,减少车辆的延误.通过仿真实验,与定时控制和感应控制相比,该方法使车辆的平均延误明显减小.     

基于车均延误最小的Q学习交通信号控制方法

为了检测Q学习算法在信号控制方案中的效果,在Webster配时法的基础上,建立了适应交通信号控制及以车均延误最小为目标的奖惩函数,并详细说明了Q学习独立交叉口信号控制的原理和应用过程.通过流量波动大和小两个算例,验证了Q学习控制优于定时控制.     

速度协调的Q学习模型研究

为平滑高速公路瓶颈区域上、下游车流速度,基于单位距离速度变化量和多项式SG卷积平滑处理的2个奖励函数,分别建立了2个速度协调的Q学习模型.利用Excel-VBA、VISSIM和MATLAB的集成仿真平台,对奖励函数的性能进行了仿真分析.研究结果表明:基于SG卷积平滑的奖励函数,可以有效地缓解瓶颈上游"走走停停"的现象,...     

基于Agent的区域交通信号协调控制

应用多智能体技术对区域交通信号的协调控制进行了研究.构建了区域Agent、路口Agent和车载Agent,区域Agent和车载Agent构成网络调度层,路口Agent构成信号控制层.车载Agent和路口Agent采用反应型结构、区域Agent采用思考型结构,从而建立了基于Agent的区域交通控制系统,并通过对系统结构的分析建立了一主多从动态博弈协调模型.最后对一个简单的交通网络进行仿真,仿真结果表明本文所提方法的有效性.     

过饱和干道交通信号协调控制方法研究

文章以疏散过饱和城市干道的拥挤交通为目标,选取符合条件的连线路段,确定信号协调控制区域,利用排队长度界定协调控制转换条件,提出了针对过饱和干道交通的信号协调控制方法;最后运用VISSIM软件对所建立的信号协调控制方法进行模拟验证其控制效果.     

基于Q-Learning的智能体训练

针对机器人足球比赛的多智能体环境下智能体的训练问题,提出了一种将模糊控制与Q-Learning相结合的学习方法,并在学习过程中自动调节回报函数以获得最优策略,此方法的有效性在中型组的仿真平台上得到了验证,并取得了较好效果,还可将它改进应用于其他多智体环境。     

基于强化学习的干线信号混合协同优化方法

交通拥堵已成为很多大中城市普遍存在的社会问题。信号控制作为缓堵保畅的重要措施之一，愈发受到社会关注。信号优化手段可分为模型驱动和数据驱动两类，且随着交通大数据的不断充实，基于强化学习的数据驱动方法日益成为新兴发展方向。然而，现有数据驱动类研究主要偏重于决策模型设计，缺乏对智能体结构的探讨；同时，在多路口协同方面多采用分布式策略， 忽略了智能体之间信息交互，无法保障区域层面的整体最优性。为此，本文以干线信号为对象， 构建一种多智能体混合式协同决策的信号优化方法。首先，针对交通状态的多样性、异构性及数据不均衡性，设计分布训练-分区记忆的单智能体决策模型，并优化状态空间和回报函数，界定单路口控制的最佳方案；其次，融合分布式和集中式学习的模型优势设计多智能体交互方法，在单路口分布式控制的基础上，设置中心智能体评价局部智能体的决策行为并反馈附加回报以调整局部智能体的决策模型，实现干线多信号的协同运行。最后，搭建仿真平台完成效果测试与算法对比。结果表明：新方法与独立优化和分布式协同相比，在支路交通流基本不受影响的前提下， 干线停车次数分别降低了14.8%和13.6%，具有更好的控制效果。     

道路交通信号控制机测试方法探讨

道路交通信号控制机是控制交叉路口交通信号的重要设备,通常各种交通控制方案最终都要通过控制机来实现．故其功能与整机可靠性非常重要。基于此,提出信号机功能测试项目及相应的测试方法,对于相关的测试具有重要的意义。     

道路交通信号控制机测试方法探讨

道路交通信号控制机是控制交叉路口交通信号的重要设备,通常各种交通控制方案最终都要通过控制机来实现,故其功能与整机可靠性非常重要。基于此,提出信号机功能测试项目及相应的测试方法,对于相关的测试具有重要的意义。     

����·��ͨ�ֲ�����ϵͳ�ĵ���ѧϰ���Ʒ���

本文基于快速路交通流分布参数系统模型,利用快速路交通流系统具有重复运行的显著特点,设计一种新的入口匝道分布参数迭代学习边界控制方案.所提出的方法采用带有反馈的PD-型控制律,不仅可以从以前重复过程中学习有用的知识,提高系统的控制精度;还可以有效的抑制当前运行过程中系统的量测噪声和扰动等不确定影响因素.该方法的另一个显著特点在于充分利用了快速路交通系统的分布参数模型描述,更全面地利用了系统的时空控制信息,从而提高了整个路段的控制性能.本文基于Matlab仿真进一步说明所提出方法的有效性和适用性.     

高速公路养护作业区的通畅性及安全性

基于高速公路作业区的交通特性,首先分析了影响高速公路作业区安全性的主要因素以及防范措施等,然后对高速公路施工区交通控制区根据功能的不同进行了划分,最终提出施工区的交通组织与控制方法.     

考虑博弈的多智能体强化学习分布式信号控制

交通需求的不均衡和波动会增加分布式信号控制优化的难度. 由于现有独立动作的多智能体强化学习(IA-MARL)仅基于自身的历史经验做出决策,基于IA-MARL的分布式信号控制难以及时缓解交通需求不均衡和波动的影响. 本文融入博弈论的混合策略纳什均衡概念,改进IA-MARL的决策过程,提出考虑博弈的多智能体强化学习(G-MARL)框架. 在采用带有泊松到达率的道路网络流量不均衡输入的格子网络中,分别对基于IA-MARL 和GMARL 的分布式控制方法进行数值模拟,获取单位行程时间和单位车均延误曲线. 结果显示,与IA-MARL相比,G-MARL在单位行程时间和单位车均延误方面分别改善59.94%和81.45%. 证明G-MARL适用于不饱和且交通需求不均衡和波动的分布式信号控制.     

分布式交通仿真中网络控制模型研究

在分布式交通仿真系统中，存在着众多的模拟驾驶器和教练机，而模拟中又有驾驶训练、驾驶考试、交规训练、交规模拟考试等4个大的功能．如何实现有效的网络环境下的集中管理，是系统成功开发的关键．针对分布式交通仿真系统开发中出现的网络控制问题，将Agent技术成功地应用到该系统的开发平台中．在充分地分析了各模拟驾驶器、教练机的运作特性后，建立了以教练机为主体、各模拟驾驶器为Agent的网络通信模型．实现了教练机对各模拟驾驶器的流畅管理，为该系统的成功开发提供了有力的保障．     

�����������ʵʱ��ͨ�źſ���������о�

实时交通信号控制是城市交通控制系统的重要组成部分,建立在前人研究工作的基础上,本文尝试采用多智能体的分布式控制技术来解决复杂的交通信号控制问题,构造了多智能体的城市交通控制系统控制流程,提出基于同时扰动随机逼近算法/人工神经网络的改进的交通控制模型,模型通过采用同时扰动随机逼近算法来更新神经网络的权重,这种方法克服了现有控制方法需要大量的数据传输、准确的数学模型等缺陷。最后作者应用微观交通仿真系统对模型的有效性在较为复杂的交通网络中进行了测试,仿真结果表明了该方法的有效性。