集群排队的铁道供电海量准实时数据异步并行查询

针对铁道供电的海量准实时数据查询效率不高造成信息处理效率低下的问题,提出一种基于集群队列模型的铁道供电监控海量信息快速异步并行查询新方法。基于实时Ajax数据引擎,综合运用MPP查询架构,建立供电监控信息的轮询队列模型,实现海量准实时数据在铁道供电监控系统中的快速查询处理。以四机集群和一台查询测试机为平台,以铁道10kV配电网远动调度监控千万级时序数据为算例,进行加载测试和集群查询性能测试。结果表明:MPP结合Ajax异步回调机制,集群磁盘I/O的读取速度约为存储速度的10倍,能够将查询服务器端的交互更新降至数百毫秒级,验证了新的集群监控方法优于常规双数据库服务器并列运行的模式。     

海量GPR检测数据负载均衡并行处理技术北大核心

探地雷达单机处理软件性能较低,难以满足较长里程或周期性检测的海量数据处理场景需求。针对这一问题,本文在集群模式下基于Hadoop平台的MapReduce并行计算框架,采用HDFS和MySQL的混合存储方法,对数据流进行细粒度切片,建立主从节点架构的动态调度模式,实现海量检测数据的负载均衡并行处理。在Linux系统搭建了1主+8从的Hadoop集群环境并对其进行了测试试验。结果表明:动态调度可使迭代算法达到负载均衡,高复杂度算法适用于并行处理,性能可提升100倍左右,加速比接近物理核数。     

城市轨道交通环境与设备监控系统历史数据存储及其应用

介绍了城市轨道交通BAS(环境与设备监控系统)监控数据的历史数据存储方式及其应用。通过使用关系型数据库作为BAS监控数据的历史数据存储,利用关系型数据库强大的数据存储和数据管理功能,不仅可以实现历史数据的海量存储,还可以实现历史数据的高级应用和二次开发,对于增强BAS功能及轨道交通数据仓库的建立有着重要的意义。     

电气化铁路牵引供电系统可靠性评价系统研究

文章充分考虑我国电气化铁路牵引供电特性,并结合其设计和运行特点,从供电设备和供电服务2个角度,研究了牵引供变电设备和牵引网供电单元可靠性数据的采集需求以及可靠性指标的计算方法。建立SQL数据库,并开发B/S架构可靠性统计分析软件,使之与管理信息系统或安全生产调度指挥系统相融合,充分共享信息资源,从而形成我国电气化铁路牵引供电系统基础数据搜集与可靠性评价系统,作为运营维护部门实施基于可靠性维修和可靠性管理的基础依据。     

基于交通行业的大数据处理平台应用

对交通大数据平台架构进行研究搭建,可支撑PB级的异构数据管理及复杂交通业务处理,平台提供开发API,实现对数据的存储、查询、计算分析;提供类SQL查询功能,能够对海量数据进行方便的查询;通过虚拟化资源管理和Hadoop分布式并行计算,实现基于Hadoop进行原型搭建的交通大数据处理平台。     

铁路供电自动化设备市场分析与预测

随着我国电气化铁路建设的不断推进,给相关行业自动化产品市场带来巨大商机。铁路供电自动化设备种类繁多,采用关键样本选择方法,对牵引电力调度系统、远方监控装置(RTU/FTU)、供电维修信息管理系统、变配电综合自动化系统、环境安全监控系统、电气设备在线监测系统等自动化设备的市场需求、市场容量进行分析预测。     

电气化铁路供电调度运行管理系统总体方案研究

我国电气化铁路虽然已建成世界上规模最大的高速铁路供电数据采集及监控操作系统(SCADA系统),但既有供电调度管理模式传统低效,不能满足供电调度岗位高标准、多角色、高负载、一职多能等管理要求,还需充分运用信息化手段,构建供电调度工作规范化、标准化、智能化、专业化管理平台,提升供电调度管理水平。主要针对铁路供电调度运行管理系统的总体方案进行研究。     

基于Hadoop的铁路货运历史数据分析解决方案

铁路运输管理信息系统从20世纪90年代建设以来,累积了大量的运行数据。以货票信息管理系统产生的货票数据为例,具有字段多、范围广、类型复杂、海量等特征,传统的关系型数据库由于系统扩展性差、成本高、海量数据运算性能低等特征,难以满足当前大数据分析的需要,故提出基于Hadoop的分布式数据分析解决方案。该方案可以有效降低海量数据的存储成本,提升海量数据的运算性能,实现海量数据中定向查询的毫秒级响应,提高分析效率和节约时间成本,为铁路货运运营维护提供快速有力的数据支撑。     

基于冗余容错技术的铁道罐车测量系统的设计

介绍了基于冗余容错技术的铁道罐车液位、温度和压力的测量系统,提出了基于三模冗余容错技术的数据采集技术,并通过马尔可夫分析方法对数据采集系统的可靠性和安全性进行了分析。结果表明,采用冗余容错技术能够提高系统的可靠性和安全性。     

动车组车载实时监控海量信息数据库的设计与实现

综合考虑海量信息条件下动车组车载实时监控系统的业务需求,分析了车载数据的业务类型及特点,创建数据库逻辑/物理模型.利用数据分区,分布存储的设计思想,形成动车组车载实时监控海量信息数据库设计方案.通过对数据库实际运行情况的跟踪和评价,数据库设计方案较好地满足了实时性、扩展性和可维护性要求,整体性能稳定可靠.     

适用于综合监控系统的过程数据库冗余框架

过程数据库作为轨道交通综合监控系统的实时数据中枢,其可靠性对整个综合监控系统的持续稳定运行至关重要.冗余是保障可靠性的有效技术.提出了一种适用于综合监控系统的过程数据库分布式冗余框架.该框架针对综合监控系统中实时数据相关的各种特征,在冗余过程数据库的分布、同步和故障容错等方面分别采用了适合的策略,从而更有效地实现了过程数据库的冗余,保障其可靠性,为综合监控系统持续可靠运行奠定基础.     

Hadoop在客票日志处理系统中的应用

借助Hadoop技术提出了一种新的架构,用于处理客票系统中产生的海量交易日志.首先将多个业务的数据收集起来并以一定的格式存储在hase与hive中,然后对平台中的数据进行建模分析从中提取出有价值的关键业务信息.目前该系统已经开发完成,切实提高了客票系统维护与运营的水平和效率.     

基于发布订阅的铁道供电报警信息流计算集群技术

为解决从铁道配电网监控的海量动态信息中快速筛选和及时处理实时报警信息的问题,提出一种基于发布订阅的铁道供电报警信息的流计算集群处理技术。通过发布订阅方式接入铁道配电网监测数据,结合流计算模式的拓扑并行模型,综合运用多主题消息分类及分区消息缓存技巧,实现报警信息的低延迟和高吞吐量处理。以铁路10kV动车段配电网调度监控的实测数据为算例,对工程中采集的监测数据进行多机集群测试。结果表明:基于发布订阅的流集群方法可获得数百ms级报警数据平均处理延时,且分布式消息队列的主题分区数并非设置的越大越好,通过对拓扑组件中并行线程数的优化设置,可以有效提高铁道配电网报警信息的实时响应性能和吞吐率。     

YFX-1型供电作业车油耗计量分析仪的开发应用

铁路供电作业车作为电气化铁路施工、检修必备的机械设备，保有量每年新增200～300台，燃油费占其总使用成本的比例约为80％。目前供电作业车均未安装油耗计量系统，各使用单位油耗管理存在很大漏洞。为加强作业车燃油管理，朔黄铁路公司与天津航联迪克科技有限公司共同开发了YFX-1型燃油箱油耗计量分析仪安装在JW-3型供电作业车上，采用高精度压力采集、海量数据存储分析、通用串行总线数据下载等技术，经过一年多的使用，实现了油耗的精确计量和准确核算，有效提高了油耗的管理水平，节约了燃油成本。     

C/S模式下的远动系统调度端网络设计及优化

介绍了基于客户机／服务器（Ｃ／Ｓ）模式的牵引供电调度管理自动化系统（远动系统）调度端的网络设计，包括网络拓扑结构、数据库分布方式、网络通信同步、数据结构转换及网络通信设计优化。该设计方案成功地应用于国内多条电气化铁路牵引供电调度管理自动化系统。     

电气化铁路供电视频监控系统联动浅谈

早期的综合自动化系统、调度系统及视频监控系统是相对独立的,在实际生产中需要现场工作人员对电力系统运行状况及时观察、汇报反映,经营成本高,人为失误较多。在科学技术进步,自动化生产水平全面提升的背景下,电力行业及电气化铁路供电专业提出集约化管理,推行无人或少人值守,从而达到减少经营成本,控制人为失误等目的。在此需求下,视频监控系统联动技术应用而生,这一技术的开发和使用,有效解决了操控人员无法及时了解现场环境的缺陷,使变电所现场情况能够第一时间从视频监控系统中反映,也使电力行业及电气化铁路供电专业的集约化管理成为可能。     

调度工作质量评价与决策支持平台的设计

针对铁路调度业务数据综合价值不高、计划质量评价能力较弱、辅助决策支持能力不强等问题，基于数据仓库等技术对运输组织和调度指挥系统相关数据资源进行广泛集成和深度整合；设计调度工作质量评价及决策支持平台，实现行车安全过程管控、调度工作质量考核评价、重点列车运行辅助监控、车流自动推算、可视化决策分析等功能，提高运输组织和调度决策支持水平。     

冷存储技术在铁路视频监控系统的应用研究

传统存储方案会使海量数据存储的成本、能源消耗、机房空间及管理压力越来越大。如何让数据存储具有安全高效的特性,同时又能大幅度降低总体拥有成本,成为亟待解决的问题。针对海量低频访问的冷数据应用场景,提出低成本、低功耗的近线冷存储解决方案,将在铁路视频监控系统中具有良好的应用价值。     

高速铁路道岔异构数据在Hbase上的云存储方案

实现健康预测管理（PHM）可以提高信号设备的运行安全性、系统可靠性和可维修性，道岔设备的数据对其PHM的研究有重要意义。目前，高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题，结合道岔监控数据以及道岔缺口监测图像等异构数据，引入大数据技术中的Hbase非结构化数据存储理念，提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题，提出基于MapReduce的优化图像分块存储算法，实现高速铁路道岔异构数据的Hbase云存储，在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10 GB历史数据约为15 min，在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法，存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。     

铁路多媒体调度通信系统的可靠性方案研究

为保障铁路运输指挥和行车安全,对铁路多媒体调度通信系统的可靠性进行研究,从外部运行环境、系统设备及其内部模块设计、混合组网等方面进行综合分析,提出整体可靠性技术方案。首先,系统可采用物理服务器或云平台部署方式,服务器部署时系统采用电源、磁盘的冗余备份,云平台部署时通过容错技术提升系统可用性并可根据负载调整需要计算资源,采用链路聚合、网络双平面等技术保证系统不受网络单点故障影响。其次,中心设备内部各模块采用主备或集群部署方式实现模块冗余备份,系统设备通过双中心组网实现异地容灾备份。最后提出IP和E1混合组网方案,确保IP网络故障时系统仍可通过E1组网提供语音调度通信业务。上述方案在出现局部故障的情况下,系统仍可不受影响地提供调度通信业务,有效保证铁路列车运行时多媒体调度通信业务的高可靠性。