平均排队长度差最小的单交叉口在线Q学习模型

为改善交叉口排队长度管理,避免交叉口某个方向排队长度过长,采用强化学习理论建立了以平均排队长度差最小为优化目标的在线Q学习模型.针对控制性能指标相对于邻近的配时方案不敏感的特点,提出了以平均排队长度差作为基本单位重新构造奖励函数,目的是拉大各行为对应的Q值差距,提高模型的收敛速度和鲁棒性.集成Excel VBA,Vissim,Matlab建立了在线仿真平台,作为计算环境对算例进行了计算.算例中利用GPS数据对Vissim软件中车辆加减速度曲线进行了标定.计算结果表明以平均排队长度差作为优化目标能够提高各个方向排队长度的平衡性,优化整个交叉口的时空资源;建立的在线Q模型具有学习能力和较快的计算速度,模型能否收敛受到周期取值和可选行为数量的影响.     

基于Q-learning和BP神经元网络的交叉口信号灯控制

解决单交叉口信号灯最优控制问题。提出了基于强化学习的信号灯控制系统结构,应用强化学习中Q学习,将信号灯最优控制问题转变成是否切换运行相位的决策问题,提出了采用BP神经元网络实现Q学习的信号灯控制系统。应用微观交通仿真软件PARAMICS进行仿真分析,结果表明该系统能够感知交通流变化,并能够自适应地调整信号灯切换策略,以达到最优的控制效果,该方法是可行的,与定时控制相比具有明显的优势。     

基于TIA Potal软件的PLCSIM虚拟仿真在PLC线上教学中的设计与实践

PLC技术是一门机电类专业实践性和应用性比较强的课程,而受当下新冠疫情的影响,学校该课程教学过程只能采用线上理论与线下实训相结合的教学模式,但是,在教学过程中,发现线上理论与线下实训教学相脱离,学生也无法很好的将线上理论知识迁移到线下实训课程中。为解决这一问题,本文提出将TIA Portal V15软件与S7-PLCSIM仿真软件引入到PLC线上理论教学过程中,以生动直观地方式展现PLC指令形式、功能及模拟操作,并且教师在授课过程中,合理采用积极教学法,引导学生自主学习。通过线上仿真平台直观展示与教师引导式学习,不仅降低了学生学习PLC理论知识的难度,激发了学生在线学习的兴趣,并为疫情结束后线下实训课程打好了坚实的理论基础。     

基于强化学习DDPG的智能车辆轨迹跟踪控制

针对智能车辆在轨迹跟踪过程中的横向控制问题，提出一种基于强化学习中深度确定性策略梯度算法（Deep Deterministic Policy Gradient，DDPG）的智能车辆轨迹跟踪控制方法。首先，将智能车辆的跟踪控制描述为一个基于马尔可夫决策过程（MDP）的强化学习过程，强化学习的主体是由Actor神经网络和Critic神经网络构成的Actor-Critic框架；强化学习的环境包括车辆模型、跟踪模型、道路模型和回报函数。其次，所提出方法的学习主体以DDPG方法更新，其中采用回忆缓冲区解决样本相关性的问题，复制结构相同的神经网络解决更新发散问题。最后，将所提出的方法在不同场景中进行训练验证，并与深度Q学习方法（Deep Q-Learning，DQN）和模型预测控制（Model Predictive Control，MPC）方法进行比较。研究结果表明：基于DDPG的强化学习方法所用学习时间短，轨迹跟踪控制过程中横向偏差和角偏差小，且能满足不同车速下的跟踪要求；采用DDPG和DQN强化学习方法在不同场景下均能达到训练片段的最大累计回报；在2种仿真场景中，基于DDPG的学习总时长分别为DQN的9.53%和44.19%，单个片段的学习时长仅为DQN的20.28%和22.09%；以DDPG、DQN和MPC控制方法进行控制时，在场景1中，基于DDPG方法的最大横向偏差分别为DQN和MPC的87.5%和50%，仿真时间分别为DQN和MPC的12.88%和53.45%；在场景2中，基于DDPG方法的最大横向偏差分别为DQN和MPC的75%和21.34%，仿真时间分别为DQN和MPC的20.64%和58.60%。     

基于Q学习的Agent在单路口交通控制中的应用

将Agent技术与Q学习算法相结合,应用到城市交通控制领域中,对单交叉口的交通流进行了控制研究,介绍了路口Agent的结构模型以及基于Q学习算法的学习机制的实现,提出了一种适用于交通控制的奖惩函数。即当红灯相位的饱和度大于绿灯相位的饱和度时,红灯相位的相对警界度在奖惩函数中占主导地位,此时大部分情况下会对Agent进行惩罚;在以后的决策过程中面对类似的交通状态Agent所选择的控制行为更倾向于将通行权切换给下一个相位,反之,Agent所选择的行为倾向于保持当前相位的通行权到下一决策时刻。并通过微观交通仿真软件Paramics对控制算法进行仿真研究,仿真结果表明该方法的控制效果优于定时控制,同时验证了奖惩函数的有效性。     

BUSCH & MUELLER:全力打造高品位自行车车灯

德国BUSCH＆MUELLER公司（以下简称BUSCH＆MUELLER）日前向市场推出了一款采用“BUSCH＆MUELLER”IQ照明技术制造、取名为“LUMOTEC IQ CYO”的自行车照明灯。此款堪称“最新式样”、依靠照明发电机供电的自行车照明灯,现也可将灯光（照明亮度极高）直接照射到距自行车最近的这段路面。     

基于规则约束的深度强化学习智能车辆高速路场景下行驶决策

针对强化学习算法下智能车辆训练中动作选择过程随机性强、训练效率低等问题，提出了基于规则约束和深度Q网络（DQN）算法的智能车辆行驶决策框架，将引入的规则分为与换道相关的硬约束和与车道保持相关的软约束，分别通过动作检测模块（Action Detection Module）与奖励函数来实现。同时结合竞争深度Q网络（Dueling DQN）和双重深度Q网络（Double DQN）对DQN的网络结构进行改进，并引入N步自举（N-Step Bootstrapping）学习提高DQN的训练效率，最后在Highway-env平台高速路场景下与原始DQN算法进行综合对比验证模型的有效性，改进后的算法提高了智能车辆任务成功率和训练效率。     

超轻铝制车轮

美国Hayswheels国际股份有限公司采用一项超轻铝制车轮技术，并在1994年为此项技术投入了2500万美元的生产设备资金。由于在生产过程中使用专利馆接工艺和轮拍或轮盘旋压技术，减少了材料的厚度，使产品的质量大大祛轻。用此项技术生产的车轮在质量上比传统方法生产的钢制车轮轻4Q～50％，比同类的房错车轮轻20％以上。该公司称这种因具竞争力的低成本铝制车轮，可与钢制车轮竞争．由于此项技术的应用，公司已收到了5000多万美元的定货合同，包括为1996年MYF－150轻便客货两用车提供车轮和各用轮．为1995年Chrysler（克莱斯勒）小型箱式…     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

有容量限制路径选择优化问题的混合蚂蚁算法

基于有容量限制的路径优化（CVRP）问题的NP难解性，将目前已在众多组合优化领域中颇见成效的随机型智能搜索算法——蚂蚁算法结合节约算法（C—W算法）应用于这类模型，充分发挥了其智能搜索、全局优化和并行计算的优势。经算例测试，比较蚂蚁算法与两阶段法．神经网络算法的迭代过程，结果表明，蚂蚁算法能以较快的速度收敛到最优解。     

新工科背景下汽车构造SPOC课程平台建设探索

在目前教育部倡导的新工科理念下,对于汽车构造这种理论与实践要求较强的课程,传统的课堂教学以及线上教学资源不能为学生学习提供完整的解决方案。基于此,文章从课程建设、教师教学、学生学习三个方面结合学校实际阐述了建设小规模限制性在线课程（SPOC）平台的必要性,并提出了汽车构造SPOC平台的建设思路：将学校网络教学平台上自建的汽车构造课程与线上选择的大规模开放在线课程（MOOC）相结合,打造适合本校学生学习的SPOC教学平台;教师根据汽车新技术发展,实时更新平台资源;在教学过程中,以平台为载体贯穿整个教学过程,实现与学生的交流互动;通过线上线下教学活动,可以满足新工科的培养要求,为其他课程建设提供理论依据及实践指导。     

汽车检测与维修技术专业学生自主学习的研究与分析 ——以北京学校为例

基于工作过程以能力培养为主是北京汽修专业新的一轮教学改革目标。通过将传统教学与企业实践工作相融合,提倡行为导向,鼓励学生进行自主学习。但是在教学改革的过程中也暴露出学生自主学习能力不足,需要开展学生自主学习能力培养,需要增强学生主体地位,激发学习兴趣;需要推行探究式学习改进学习模式;需要改进教学方法加强学校软硬件建设。     

基于Agent的城市道路交通信号控制方法

将Agent技术与Q学习算法相结合,应用到交通信号控制系统中,提出基于Agent技术的城市道路交通信号控制方法,建立了基于Agent的单交叉口信号控制结构模型,并阐述了Q学习机制的实现方法.系统根据交叉口基本的路况信息,以及实时采集到的交通量,通过加强学习的奖惩机制来动态调整不同相位的通行权及信号配时时长.当奖惩值为加强时,保持该相位通行权,并适当延长绿灯时间;当为惩罚时,则相应缩短绿灯时间或将通行权切换到下一相位,实现自适应控制,减少路口排队车辆的平均延误.通过对一个四相位交叉口进行仿真研究,与定时控制相比,控制效果得到明显提高.     

车博仕A-2800最受欢迎的诊断工具

解码器和示波器功能集中在一台设备上,也就是把在线诊断和非在线诊断两种手段融合在一起,是汽车维修工程师的梦想,在汽车故障诊断实践中也是十分重要的和迫切需要的。有的品牌汽车诊断检测分析仪虽然也做了这种尝试,但严格地讲,其示波功能仅仅是入门水平。真正将示波器做得和解码器同样功能强大的,目前在国际上仅有MODIS、Genisys、车博仕A-2800（图1）。在符合这一标准的同类产品中,前两者的市场零售价为人民币10万元左右,而车博仕A-2800的市场零售价不到人民币3万元,堪称性价比最优的综合诊断设备。     

基于强化学习的灾后公路网修复决策研究

为了加快恢复受灾地区的路网畅通，保障人员疏散、应急队伍调配和救灾物资运输等灾后救援工作的尽早展开，针对应急恢复阶段的灾后公路网多维修队的修复调度和路由问题展开研究，并“允许安排多个维修队同时对一条受损路段进行修复”,以实现“柔性”修复调度，从而提升最优灾后公路网修复策略的实用性。采用灾后需求点的需求满足率表示路网连通度，并以路网连通度韧性作为灾后公路网修复策略的评价指标，使用Markov决策过程模拟灾后公路网多维修队的修复调度和路由的决策过程。然后，基于Q学习与Dijkstra算法设计出适合求解所提问题的改进强化学习算法，解决了灾后公路网多维修队的修复调度和路由问题，优化了灾后需求点和物资供应点之间的可达性；最后进行了案例分析。结果表明：所提出的方法能够实现维修队的修复调度和路由的整体性决策，可以得到全局韧性最优的灾后公路网修复策略，并验证了考虑“柔性”修复调度得到的最优修复策略具有更佳的修复效果，且更具有实用性。     

基于深度强化学习的自动驾驶车辆跟驰行为建模

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型。在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题。为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法（Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3）训练形成多目标优化的跟驰模型。进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现。跟车测试场景实验结果表明：在舒适度与行驶效率上,TD3模型和传统自适应巡航控制（Adaptive Cruise Control, ACC）模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65%,相较于人类驾驶...     

基于学科核心素养的高中信息技术Python教学初探

高中时期,是学生学习的关键阶段,将信息技术融入到高中的学习过程中,是课程推进的必然需求。在高中时期掌握信息技术的基础知识,将信息技术的理论知识融入到学生的思想中,并渗透于学生的日常生活,为学生之后的学习以及电脑的应用打好基础,以更好地适应网络化时代的高速发展。而且伴随着国家的教育体制的改革,不断地优化和完善教育的方法与内容,使教学水平得到了显著的提升。例如,新课改的提出与应用在当今的高中阶段便是起到了积极的意义。通过核心素养的应用,对教学的方式和理念产生了巨大的改进与影响,大大提高了信息技术课堂的效率,使信息技术在课堂上的教学得到更好的发展。本文将以信息技术中的Python技术为例,探讨核心素养在Python项目的教学中所起到的作用,根据Python项目在教学中应用的现状,探讨其在教学中仍存在的问题,并且将核心素养这一理念有效地融入到Python的教学中,切实地发挥核心素养这一先进的教学理念对教学所带来的作用,在教学的过程中不断地优化核心素养下教学方式,找到教学有效策略,不断地促进核心素养在信息技术中的进步,实现Python技术在高中时期的有效运用。     

车辆操纵稳定性状态估计算法比较研究

建立了基于运动学的车辆3自由度状态估计模型,分别将扩展卡尔曼滤波（EKF）、无迹卡尔曼滤波（UKF）和粒子滤波（PF）应用到车辆状态估计中,通过仿真试验比较了3种算法的估计效果。结果表明,车辆工作在线性稳定区域时,EKF算法效果最优,而车辆工作在强非线性区域并处于失稳状态时,PF算法效果最优。     

摩托车转向轮转角及前后轮中心平面偏差测试台（1）

摩托车、轻便摩托车在行驶过程中,应符合国标GB 7258—2004中规定的＂摩托车和轻便摩托车转向轮转角及前后轮中心平面偏差＂的要求,当摩托车转向轮转角低于国家标准要求时,转弯时可能会导致转弯失准;当摩托车转向轮转角大于国家标准要求时,转弯时可能会导致失重脱轨甚至翻车。摩托车转向轮转角及前后轮中心平面偏差测试台能准确地对摩托车转向轮转角、前后轮中心平面偏差进行测量,消除安全隐患,保证车辆安全,使其符合标准要求。     

基于自动深度学习盾构掘进姿态预测与控制

提出了基于自动深度学习（AutoDL）算法和多目标优化算法的结合可实现数据驱动的姿态偏差控制指导,用于盾构掘进姿态的预测与控制,以解决现有盾构掘进姿态预测中所面临的执行难度高、成本高、效率低等问题,可用于自动精准地预测盾构掘进姿态随着工程进展的动态变化趋势,并针对盾构机施工状态执行多目标优化算法,快速自动搜寻最优策略,实时调整合适的盾构操作参数,减少对于现场操作人员经验和主观判断的依赖。以上海市天然气主干管网崇明岛-长兴岛-浦东新区五号沟LNG站管道工程隧道A线工程为例,展示该算法框架的优越性。研究结果有助于降低深度学习进入盾构智能控制领域的门槛,推动智能盾构发展。