考虑博弈的多智能体强化学习分布式信号控制

交通需求的不均衡和波动会增加分布式信号控制优化的难度. 由于现有独立动作的多智能体强化学习(IA-MARL)仅基于自身的历史经验做出决策，基于IA-MARL的分布式信号控制难以及时缓解交通需求不均衡和波动的影响. 本文融入博弈论的混合策略纳什均衡概念，改进IA-MARL的决策过程，提出考虑博弈的多智能体强化学习(G-MARL)框架. 在采用带有泊松到达率的道路网络流量不均衡输入的格子网络中，分别对基于IA-MARL 和GMARL 的分布式控制方法进行数值模拟，获取单位行程时间和单位车均延误曲线. 结果显示，与IA-MARL相比，G-MARL在单位行程时间和单位车均延误方面分别改善59.94%和81.45%. 证明G-MARL适用于不饱和且交通需求不均衡和波动的分布式信号控制.     

基于时间卷积自编码网络的实时交通事件自动检测方法

为了提高道路异常交通事件检测效率并降低误报率,提出了一种基于时间卷积自编码网络的实时交通事件自动检测方法。首先设计了基于波动相似性度量的交通模式搜索算法用来筛选具有相同交通规律的样本数据;并构造了交通流模式矩阵作为网络模型输入,以避免样本不均衡与单一样本数据随机性对交通模式学习的干扰;同时设计了新的时间卷积自编码网络对交通模式特征进行无监督提取并对未来交通参数进行合理预测;为了降低交通流参数随机波动性带来的事件判别的干扰,设计了异常状态评估方法,通过对模型预测误差分布的学习,结合当前检测数据给出最终的事件判定结果。采用美国西雅图I90公路与I405公路2015年全年的交通流检测数据与历史事故数据进行实证研究,并与6种典型交通事件检测算法进行性能对比。研究结果表明:基于时间卷积自编码网络的实时交通事件自动检测算法具有较高的检测率、较低的误报率以及更快的平均检测时间;综合各种交通运行情况下,可接受误检率分别为5%、10%时,平均检测率可分别达到93%、98%;同时算法能够自适应学习交通状态的动态变化,对不同交通运行环境具有较强适应性与稳定性。