基于数据存储的重复删除技术的研究

重复数据删除也称为单一实例存储或智能压缩.首先对文件分段,再使用SHA-1算法进行重复数据段的检测,最后建立数据字典存储单一实例的数据段并进行压缩,从而节省大量的存储空间,实现有效的数据存储和数据备份.本文通过对数据重复删除的关键技术进行分析,找出现有技术的不足,然后加以改进.重复数据删除技术在数据存储领域的应用相当广泛,有效地节省了数据存储的硬盘成本.     

铁路大数据平台架构研究

中国铁路已积累、沉淀了大量数据。数据量大、结构复杂、来源多样的铁路大数据需要一种新的架构模式进行数据的存储与计算。为适应铁路大数据发展的需要,对铁路大数据平台进行了架构研究与设计,将大数据技术与不同数据源的特点相结合,使平台既能对现有业务进行快速响应,又能对海量历史数据进行价值深挖。为满足复杂大量数据的存储与计算,提高数据处理效率提供技术支撑。     

铁路勘察数据标准化存储研究与应用

针对铁路勘察信息化、数字化的需要，以及当前多专业协作勘察过程中存在的数据存储标准不统一问题，为规范铁路勘察数据的管理及后续应用，减少因数据标准不统一带来的不同系统之间数据贯通困难，促进系统集成及信息资源共享，根据勘察数据特点，规范了数据分类、格式及编码，建立了结构化数据和非结构化数据的数据库结构。依据计算机存储特点，提出采用关系型数据库存储结构化数据+分布式HDFS存储非结构化数据+空间数据库存储三维空间数据的方案，既保证了不同数据间的分类存储，又实现了底层数据联通。通过研发铁路勘察与选线设计数据管理平台，对勘察数据进行标准化存储和管理，验证了该标准化存储方案，为铁路数字化勘察提供了重要支撑。此外，针对勘察数据标准化存储的未来发展应用，提出利用不断积累的数据，通过大数据分析、数据挖掘、动态感知及人工智能等新技术手段为勘察工作提供更准确的预测和分析，不断提高勘察工作效率和准确性。     

铁路数据服务平台存储架构设计与应用

针对当前"数据沼泽"日益突出的问题,从铁路数据服务平台存储架构层面提出一种新的顶层设计。该设计包括存储组件分区管理模块、全链路存储组件监控模块、无感存储组件访问中间件模块3个部分。存储组件分区管理模块根据数据的数据类型、使用频度、应用场景等方面,灵活将数据存储在高性价比、高可靠的各个存储组件中;全链路存储组件监控模块提供数据全生命周期流转过程,实时监控各类数据在存储组件中的存储状况;无感存储组件访问中间件提供无感、跨组件的数据访问服务。并结合铁路数据服务平台应用实例,更直观地描述数据在平台中的存储、管理及访问,使得"数据沼泽"问题在铁路数据服务平台中得到解决。     

高速铁路牵引供电系统大数据平台及应用

随着信息技术的不断进步,高速铁路牵引供电系统信息化建设也取得了长足发展。本文介绍了牵引供电系统的数据源及类别划分,结合大数据管理平台总体技术架构描述了数据的采集、存储、处理等数据管理方式,并着重就大数据技术的3种应用形式进行了阐述。     

LKJ数据转存器的改进设计

通过对既有LKJ数据转存器的改进,LKJ数据换装终端具备了良好的人机交互功能,实现了对换装LKJ数据的密钥安全认证及多版数据存储等功能,消除了现场LKJ数据换装作业风险。     

基于分布式技术的动车组车载大数据存储与检索技术研究

随着动车组的数据传输能力升级改造以及复兴号智能型动车组的上线运营,动车组监测项点数据快速扩充,如何高效、准确地对动车组的海量车载非实时数据进行存储、检索与查询,成为提升动车组车载数据管理和应用水平面临的一个挑战。文中提出一种基于分布式技术的海量非实时数据地面系统架构,将各动车运用所的数据服务站点作为子节点,全路数据服务中心作为主节点,对具备时空属性的海量数据快速检索算法进行了研究,构建了一种支持分布式数据存储、检索及数据分析的架构,开发了原型系统,验证了解决方案的可行性和有效性。     

面向建设期铁路大数据的分级存储方法研究

我国铁路网包含众多建设期和运营期路段,均会产生大量业务数据,然而传统的单节点大数据存储方式存在访问速度慢和时效性低等局限性,无法有效缓解数据存储压力.文章基于数据分级存储的思想,设计一种分布式大数据分级存储架构;综合考虑建设期铁路大数据的业务属性和存储数据库的固有属性,建立一套数据价值评价体系;基于专家评价法计算各数据...     

KZ4A型机车用传动控制单元改进型故障存储装置

针对KZ4A型机车用传动控制单元故障存储方式升级需求,提出了一种机车故障数据存储解决方案。通过利用高性能浮点DSP对高速AD采集的故障数据进行计算、储能延时和大容量存储技术,实现了机车故障时机车相关数据的有效记录,给出了装置的完整设计框图并阐述了故障记录判断的软件流程。所设计的故障存储装置弥补了老一代TEC_DU2103A型DCU故障存储的短板,缩短了现场故障实时分析时间。     

城市轨道交通综合监控系统大规模全景数据并发控制及存储技术

介绍了城市轨道交通综合监控系统在全自动运行模式下面临的大规模数据并发控制与存储问题。提出了采用按域划分的分布式模式、多路并发访问的键值型实时数据库、时序型历史数据库等大规模全景数据并发控制及存储技术,以解决综合监控系统面临的大规模实时数据处理和历史数据存储问题。模拟数据测试结果表明:采用大规模全景数据并发控制及存储技术的轨道交通系统监控系统能够满足全自动运行模式下对实时数据处理与历史数据存储的性能要求。     

网络存储在乘客信息系统中的应用探讨

本文分析了城市轨道交通乘客信息系统的多媒体数据存储及应用需求,对两种网络存储方式进行了分析比较.结合城市轨道交通系统的特点,提出了基于IP-SAN方式的数据存储方案.     

基于数据仓库的铁路供电调度监控海量信息容错存储新方法

提出一种基于Hadoop云计算技术的电气化铁路供电调度监控海量数据的容错存储新方法,将铁路供电调度监控数据冗余存储在构建于分布式文件系统(HDFS)上的数据仓库Hive中,可实现海量供电调度监控信息的冗余备份存储,且Hive提供的HiveQL语句可以执行数据查询和数据变换等操作,便于辅助决策。搭建基于Hadoop平台的电气化铁路供电调度监控数据仓库,实验结果表明,新方法在供电调度监控海量信息存储及数据冗余备份方面具有优良性能,能满足电气化铁路海量供电调度监控信息的容错存储。     

高速铁路道岔异构数据在Hbase上的云存储方案

实现健康预测管理（PHM）可以提高信号设备的运行安全性、系统可靠性和可维修性，道岔设备的数据对其PHM的研究有重要意义。目前，高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题，结合道岔监控数据以及道岔缺口监测图像等异构数据，引入大数据技术中的Hbase非结构化数据存储理念，提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题，提出基于MapReduce的优化图像分块存储算法，实现高速铁路道岔异构数据的Hbase云存储，在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10 GB历史数据约为15 min，在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法，存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。     

IFC铁路通信系统分解及数据需求研究

在工业基础类(IFC)铁路标准研究项目背景下,关注铁路通信领域的数据存储标准研究。根据铁路通信工程的实际需求,提出了IFC铁路通信系统分解架构,采用面向对象理念对各铁路通信领域特有构件进行数据需求的定义,实现了铁路通信工程信息模型的基本数据描述。为铁路通信工程全生命周期数据存储、共享与应用提供了技术支撑。研究方法及成果对其它相关领域具有借鉴作用。     

铁路基础设施检测数据资产管理体系研究

实现海量、多源、异构检测数据的高效归集、安全存储、质量管控和安全共享是铁路基础设施检测亟需解决的重要问题。文章结合铁路基础设施检测业务特点，提出了铁路基础设施检测数据资产管理体系的建设目标，并对体系架构进行研究和设计，详细阐述了体系架构中的4个管理过程域，为实现铁路综合检测数据“采集—传输—存储—治理—共享”全生命周期的资产化管理提供支撑。     

基于大数据平台的能耗分析与管理系统

目前车辆牵引能耗与辅助能耗的比例缺少有效的基础数据,为此提出一种基于Hadoop平台的地铁能耗分析与管理系统。该系统可对地铁线路中各个列车的能耗记录仪记录的能耗数据进行采集并提供存储平台,同时支持对能耗数据进行的分析与监测,为车辆节能工作提供一种有效直观的考核工具。     

基于大数据平台的铁路客运数据分析技术方向研究

数据本身蕴含着价值，对于已经产生的数据，其价值量会随着时间的推移逐渐减少，甚至会因为存储数据而要付出不菲的成本。如何利用相关分析技术和工具把数据中蕴含的价值挖掘出来，是每一个企业都要解决的一个难题。本文在介绍铁路客运数据仓库及分析技术的基础上，通过对基于大数据平台的分析技术方向进行研究，提出了适合铁路客运的分析技术路线。     

基于铁路数据服务平台的多源数据融合架构研究

铁路数据服务平台实现了铁路数据集中汇聚和铁路数据资产管理,为充分挖掘铁路数据的价值,发挥铁路数据资产的综合应用效益,亟需对来自不同业务应用系统的多源数据进行有效融合。为解决数据复杂多样所带来的数据融合难题,提高数据融合成效,需要构建统一的多源数据融合架构。研究提出基于铁路数据服务平台的多源数据融合架构,描述不同层次数据融合的输入/输出项、数据处理任务、相关技术及特点,对比分析多种数据融合算法的特点和适用性,讨论了数据融合结果的存储和共享,为推进基于铁路数据服务平台的数据融合研究与开发工作提供参考。     

多进制数制压缩法在分配阀试验数据存储中的应用

在分析铁道车辆分配阀试验结果数据规律的基础上,提出一种新的通用的数据压缩存储法。利用多进制数的原理,把若干个数据组合成一个较大的数,将这个较大的数转化成256进制数并以ASCⅡ字符的形式存储。经过这样压缩的数据可节约50％以上的存储空间。这种压缩方法可以广泛适用于各类数据。     

手持式轴温数据查询系统的研究

介绍一种新型手持式旅客列车轴温数据查询系统.它采用C8051F340作为中央处理器,结合IC卡数据读取、SD卡存储、USB操作、液晶显示等于一体,响应速度快、外形轻巧、可设置条件筛选数据,摒弃了原有设备的不足,对轴温数据查询更加方便快捷.