铁路钢轨网格化维修规划优化编制模型

优化编制铁路钢轨维修规划,对管理者合理利用维修资源、确保铁路行车安全具有重要意义.本文基于铁路基础设施网格化管理思想,按照一定规则将线性、连续的铁路钢轨设备,分割为等长的小区段,这些小区段称为钢轨网格.以钢轨网格为基本对象,采用多阶段指数Markov模型,个性化描述钢轨网格状态变化规律;在此基础上,采用Markov决策过程方法,以规划周期内的期望总成本最小为目标函数,建立基于状态的维修策略模型,确定一个较长规划周期内的最优维修策略.作者采用了陇海线实际数据对提出模型的有效性进行了验证,计算结果表明,本文提出的模型优于基于阈值的中国铁路既有的管理方法.     

基于隐马尔科夫模型的滚动轴承性能衰退评估

针对滚动轴承全寿命周期内健康状态的变迁和性能衰退的识别和评估问题,引入隐马尔科夫模型(hidden Markov model,HMM),利用Baum-Welch算法对滚动轴承全寿命周期振动信号数据进行建模,利用Viterbi算法解算和检验模型,最后通过Forward-Backward算法计算测试数据的概率分布;通过校验数据概率分布的隐含序列和观测序列分别表示状态变迁概率和性能衰退评估结果.研究结果表明:该方法能够快速解算滚动轴承状态迁移的概率分布,有效识别性能衰退状态,为预防性维修提供参考.     

隐Markov模型在智能交通领域中应用

隐马尔科夫模型（HMM）是一种广泛使用的统计模型,在生命科学、信息科学、智能交通等领域得到广泛的应用。简述隐Markov模型的基本原理、核心问题及其改进模型,详细阐述隐马尔科夫模型在交通流阻塞智能检测、车辆碰撞预警和驾驶员意图识别等智能交通领域应用情况,并对其应用前景进行展望。     

嘉陵江径流长期变化分析及预报

基于Markov过程分析方法,对嘉陵江北碚水文站1939年~2005年历年最大洪峰流量序列进行状态变化的分析和预报.方法可推广应用于长期水文预报中.     

嘉陵江径流长期变化分析及预报

基于Markov过程分析方法,对嘉陵江北碚水文站1939年~2005年历年最大洪峰流量序列进行状态变化的分析和预报.方法可推广应用于长期水文预报中.     

基于改进灰色Markov模型的建筑物沉降量预测

为了对地铁车站深基坑施工过程引起的周边建筑物沉降进行预警,利用改进的灰色Markov模型,预测地铁车站施工过程中周边建筑物的沉降量。首先,基于实测数据,采用改进的灰色模型对建筑物沉降趋势进行预测;其次,将实测数据与预测数据的相对误差作为Markov误差修正的初始数据序列,进行状态区间划分并结合Markov转移概率矩阵和误差修正公式对预测数据进行修正,确定最终预测值;最后,基于小误差概率、后验差比值和相对误差分析,对改进后的灰色Markov模型与改进的灰色模型的预测精度进行对比分析与评价。研究结果表明：与改进的灰色模型相比,改进的灰色Markov模型预测的相对误差从4.2%降到2.1%。     

基于Markov模型的电解电容可靠性评估

基于Markov（马尔可夫）模型提出了一种对电解电容可靠性评估的方法.文中分析了电解电容的等效电路模型、老化损伤机理,通过RESR（等效串联电阻）表征了电解电容的失效率,然后将电解电容分为正常、老化损伤和完全失效三状态.根据马尔可夫模型建立电解电容的状态转移图,求出其可靠性,以开关电源的BUCK电路为例,通过仿真试验算出了电解电容实时的RESR和失效率,进而完成了对其可靠性的表征.     

基于多Markov链的效果评估模型研究

基于单Markov链的扫雷作战效果评估模型是一个理论意义大于实际的模型,离实际的多Markov扫雷过程还有相当的距离.文中从正交分解的角度,指出Markov评估模型只能进行定性评估.提出了用于定性评估的多Markov模型,从"分解基"相关性的角度提出了多链模型结构选择的方式,实现了基于遗传算法的模型解法,计算结果表明:在引入先验知识后,能在小样本数据条件下取得较为准确的评估结果.     

Markov模型的熵与参数估计

Markov模型在标准文本和手写文字的自动识别领域中有特别重要的应用.在讨论如何由观测数据来估计模型参数的问题中,代替Baum辅助函数采用模型的熵特性引入判断函数,并利用此判断函数获得模型参数的重估算法.     

基于双Markov链的效果评估模型研究

当前基于单Markov链的扫雷作战效果评估模型是一个理论意义大于实际的模型,如应用于实际的多Markov扫雷过程则还有相当的距离.文中从正交分解的角度,指出Markov评估模型只能得到定性评估结果.进一步提出了用于定性评估的双Markov模型,计算结果表明:在引入先验知识后,能在小样本数据条件下取得较为准确的评估结果.     

有负顾客的M/G/1重试可修排队系统的极限分布

利用马尔可夫骨架过程和Doob骨架过程及其极限理论,主要给出了有负顾客的M/G/1重试可修排队系统队长的极限分布.     

The Cooperative Multi-agent Learning with Random Reward Values

This paper investigated how to learn the optimal action policies in cooperative multi-agent systems if the agents‘ rewards are random variables, and proposed a general two-stage learning algorithm for cooperative multiagent decision processes. The algorithm first calculates the averaged immediate rewards, and considers these learned rewards as the agents‘ immediate action rewards to learn the optimal action policies. It is proved that the learning algorithm can find the optimal policies in stochastic environment. Extending the algorithm to stochastic Markov decision processes was also discussed.     

并联式混合动力汽车能量管理的马尔可夫决策

为研究同轴并联式混合动力汽车的能量管理策略,建立了同轴并联式动力系统动态方程,分析了转矩需求无后效性的马尔可夫特性.在维持电池容量不变的条件下,以燃油消耗最小为优化目标,采用马尔可夫决策实施能量管理策略,并采用策略迭代方法求解了马尔可夫能量管理的转矩决策过程,在J1015工况和昆明工况进行了仿真,实现了能量管理的在线实施.结果表明,与基于动态规划的能量管理策略相比,马尔可夫决策的能量管理策略能在线实施,且电池容量变化更为平稳;在燃料消耗方面是全局次优的,在J1015行驶工况下100 km燃油消耗增加了1.32 L,在昆明行驶工况下100 km燃油消耗增加了1.59 L.      

随机决策树

讨论风险决策问题中决策方案的效用值与状态逗留时间之间的关系问题。引进了随机决策树的概念,利用半Ｍａｒｋｏｖ过程的结构表示随机决策树,并进一步讨论了随机树的效用设定,给出了计算随机树效用值的递推公式。     

连续时间的均值-方差组合选择及其有效前沿

对于有限时间区间的(d+1)种资产市场模型,在模型系数为随机过程的条件下,根据均值-方差准则讨论了风险资产市场中的投资组合问题.利用K.It公式和倒向随机微分方程理论,建立了投资组合过程与财富过程之间的随机控制的倒向随机微分方程模型,得到了初始财富及最终财富之间的关系式,证明了投资组合的存在惟一性,在均值-方差准则下给出了有效投资组合的解析表达式,并得到了有效投资组合下的双曲线型有效前沿.     

一种基于强化学习的传感器网络应用重构决策方法

利用马尔可夫决策过程模型对传感器网络重构决策问题进行建模,提出了一种规则推理和强化学习相结合的动态应用重构决策方法.以能量约束和环境自适应性作为学习目标,设计了一个基于Q-学习的重构决策算法,使重构决策能够适应环境条件的变化.仿真结果表明基于强化学习的动态决策可以使传感器节点在运行过程中不断学习其所部署环境中异常事件发生的规律,自适应地调整节点上的应用,达到以较小的能耗获得较准确的监测效果的目标.     

公路养护决策模型研究

通过对多种公路养护决策模型的研究和分析,采用马尔可夫决策过程和动态规划理论建立决策模型,提高了模型的易用性和适用性,较好地解决了养护资金如何科学利用的问题,为公路养护管理部门提供决策参考依据。     

Object tracking and tracing: Hidden semi-Markov model based probabilistic location determination

The enhancement of radio frequency identification (RFID) technology to track and trace objects has attracted a lot of attention from the healthcare and the supply chain industry. However, RFID systems do not always function reliably under complex and variable deployment environment. In many cases, RFID systems provide only probabilistic observations of object states. Thus, an approach to predict, record and track real world object states based upon probabilistic RFID observations is required. Hidden Markov model (HMM) has been used in the field of probabilistic location determination. But the inherent duration probability density of a state in HMM is exponential, which may be inappropriate for modeling of object location transitions. Hence, in this paper, we put forward a hidden semi-Markov model (HSMM) based approach for probabilistic location determination. We evaluated its performance comparing with that of the HMM-based approach. The results show that the HSMM-based approach provides a more accurate determination of real world object states based on observation data.     

驾驶人“感知-决策-操控”行为模型

为准确模拟驾驶人跟车行为，提出基于隐马尔可夫模型(Hidden Markov Model，HMM)的驾驶人“感知-决策-操控”行为模型。建立描述驾驶意愿的HMM模型，模拟驾驶人感知过程，获得期望的车间距；预测模块模拟驾驶人根据交通环境和自身生理、心理状态预测车辆未来轨迹，即决策过程；优化模块描述驾驶人为使预测的车辆轨迹跟踪上期望的车辆间距而采取的操控汽车的执行动作，即操控过程。上述3个模块的滚动过程实现了对驾驶人跟车行为的模拟。利用自然驾驶数据进行算例分析，结果表明，本文模型预测车间距平均误差仅为1.47%，证明了所建模型的有效性及准确性。本文为驾驶行为建模方法的理论研究和应用拓宽了思路。