冷存储在铁路视频监控系统的文件接口研究

铁路综合视频监控系统在数字化、高清化、结构化、存储更集中、存储时间更长等方面进步迅速,正逐步向基于云的视频服务方向发展。传统IP-SAN及X86服务器的存储方案会使海量数据的存储成本、能源消耗、机房空间及管理压力越来越大,创建一种基于云的冷存储层(简称冷存储)成为大势所趋。对于冷存储,文件系统接口如何最大程度地简化用户操作,提高其工作效率,成为需要解决的重点问题。将冷存储技术与铁路综合视频监控系统相结合,开展冷存储技术的文件系统接口研究和测试分析。     

基于Hadoop的铁路货运历史数据分析解决方案

铁路运输管理信息系统从20世纪90年代建设以来,累积了大量的运行数据。以货票信息管理系统产生的货票数据为例,具有字段多、范围广、类型复杂、海量等特征,传统的关系型数据库由于系统扩展性差、成本高、海量数据运算性能低等特征,难以满足当前大数据分析的需要,故提出基于Hadoop的分布式数据分析解决方案。该方案可以有效降低海量数据的存储成本,提升海量数据的运算性能,实现海量数据中定向查询的毫秒级响应,提高分析效率和节约时间成本,为铁路货运运营维护提供快速有力的数据支撑。     

基于数据仓库的铁路供电调度监控海量信息容错存储新方法

提出一种基于Hadoop云计算技术的电气化铁路供电调度监控海量数据的容错存储新方法,将铁路供电调度监控数据冗余存储在构建于分布式文件系统(HDFS)上的数据仓库Hive中,可实现海量供电调度监控信息的冗余备份存储,且Hive提供的HiveQL语句可以执行数据查询和数据变换等操作,便于辅助决策。搭建基于Hadoop平台的电气化铁路供电调度监控数据仓库,实验结果表明,新方法在供电调度监控海量信息存储及数据冗余备份方面具有优良性能,能满足电气化铁路海量供电调度监控信息的容错存储。     

铁路数据服务平台开放共享关键技术

铁路数据服务平台投入生产以来,积累了部分铁路业务信息系统的海量数据,为了进一步提高平台的开放共享能力,促进系统互联互通,实现数据的共建共用与融合创新,研究基于元数据的统一权限体系与数据共享流程、基于冷温热分层存储的数据共享技术、基于服务管理的接口自生成与服务聚合技术等关键技术,解决了数据分层存储共享困难、接口开发工作繁...     

城市轨道交通环境与设备监控系统历史数据存储及其应用

介绍了城市轨道交通BAS(环境与设备监控系统)监控数据的历史数据存储方式及其应用。通过使用关系型数据库作为BAS监控数据的历史数据存储,利用关系型数据库强大的数据存储和数据管理功能,不仅可以实现历史数据的海量存储,还可以实现历史数据的高级应用和二次开发,对于增强BAS功能及轨道交通数据仓库的建立有着重要的意义。     

基于分布式技术的动车组车载大数据存储与检索技术研究

随着动车组的数据传输能力升级改造以及复兴号智能型动车组的上线运营,动车组监测项点数据快速扩充,如何高效、准确地对动车组的海量车载非实时数据进行存储、检索与查询,成为提升动车组车载数据管理和应用水平面临的一个挑战。文中提出一种基于分布式技术的海量非实时数据地面系统架构,将各动车运用所的数据服务站点作为子节点,全路数据服务中心作为主节点,对具备时空属性的海量数据快速检索算法进行了研究,构建了一种支持分布式数据存储、检索及数据分析的架构,开发了原型系统,验证了解决方案的可行性和有效性。     

高速铁路道岔异构数据在Hbase上的云存储方案

实现健康预测管理（PHM）可以提高信号设备的运行安全性、系统可靠性和可维修性，道岔设备的数据对其PHM的研究有重要意义。目前，高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题，结合道岔监控数据以及道岔缺口监测图像等异构数据，引入大数据技术中的Hbase非结构化数据存储理念，提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题，提出基于MapReduce的优化图像分块存储算法，实现高速铁路道岔异构数据的Hbase云存储，在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10 GB历史数据约为15 min，在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法，存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。     

铁路数据服务平台安全策略研究

随着铁路信息化水平的不断提高,各信息系统已积累了海量数据。铁路数据服务平台的建设,实现了海量数据采集、治理、存储、共享、分析、可视化的一站式数据处理流程。作为集中存储、管理铁路领域海量数据的大数据平台,铁路数据服务平台面临来自基础环境、数据管理、平台管理等多方面的安全风险,如何保证数据安全是需要考虑的关键问题。通过分析平台面临的安全威胁,设计其安全架构并制定相应安全策略,实现对平台的安全管控,保障平台数据安全。     

基于Python的SQL Server海量数据转移的研究与实现

针对MS SQL Server特定数据库中存放海量数据信息的1张数据表转换成6张数据表来存储数据的问题,考虑到数据被转移的完整性和安全性,采用事务性的存储过程,结合Python语言来解决完成,并建立数据库视图,借助SQL代码测试最终结果.节省了数据库存储资源,实现了一种数据库中存储的海量数据被转移的方法,同时使得用户能够更高效的使用数据库数据.     

多运营主体下线网级设备运行 综合监视体系研究

基于北京轨道交通生产业务云平台及大数据中心探索协同创新模式,开展线网级设备运行状态监视体系 研究,分析提出线网级数据共享平台及线网级设备集中监视平台系统架构及建设方案,利用统一的数据采集标准、 数据接口标准实现城市轨道交通线网级设备系统海量数据的采集与交互,通过统一的线网级设备数据采集、数据 存储、数据分析、数据应用展示和数据质量评估体系的研究与应用积累运维数据资产。研究成果可支撑实现城市 轨道交通运营维护的“一网统管”,推进城市轨道交通行业线网级的智慧化管理,提高生产运营效率,降低运维 成本。     

铁路综合视频云存储技术应用方案研究

云存储技术是解决海量视频数据存储的有效手段,随着视频云存储技术规范的成熟,在铁路综合视频监控系统中引入应用也是大势所需。通过介绍视频存储技术应用及发展,结合铁路综合视频监控系统现状,提出铁路高清视频云存储技术应用方案,并且在云存储系统架构和设备部署方面提出建议。     

铁路网络数据安全风险分析及应对措施

随着信息技术在铁路领域的应用不断深化,铁路业务系统中产生和积累了海量的网络数据,成为铁路企业重要的生产要素之一。网络数据在收集、存储、传输、应用、销毁等各个环节面临着被泄露、窃取、非法使用的安全风险。通过分析铁路网络数据面临的主要安全风险,结合铁路企业网络数据应用场景,研究提出网络数据安全风险应对措施,可为铁路企业网络数据安全管理工作提供借鉴和参考。     

基于数据存储的重复删除技术的研究

重复数据删除也称为单一实例存储或智能压缩.首先对文件分段,再使用SHA-1算法进行重复数据段的检测,最后建立数据字典存储单一实例的数据段并进行压缩,从而节省大量的存储空间,实现有效的数据存储和数据备份.本文通过对数据重复删除的关键技术进行分析,找出现有技术的不足,然后加以改进.重复数据删除技术在数据存储领域的应用相当广泛,有效地节省了数据存储的硬盘成本.     

Sybase IQ以“绿色数据库”构建绿色信息环境

如今，由于网络应用的飞速发展、多媒体数据的日益增长、视频音频等内容的丰富、更长时间段数据的存储需求等因素，企业需要进行管理的数据正在以指数级速度增长。分析人员发现，公司收集、存储和分析的有关客户、财务．产品和运营的数据，其增长率达125％之多。面对海量的信息，     

RT21-ISCS综合监空系统中实时历史数据库的设计与实现

历史数据的存储和查询对轨道交通综合监控系统具有重要意义.针对轨道交通综合监控系统通常只能保存几个月的历史数据且存储和查询速度慢的问题,根据轨道交通综合监控系统的特点,为RT21-ISCS综合监控系统设计了一种实时历史数据库FVDB.介绍了FVDB核心模块(点管理、实时数据管理、历史数据管理)的设计.FVDB能够在轨道交通综合监控系统海量信息的情况下,保存3年以上的历史数据并具有较快的存储和查询速度.     

铁路大数据平台架构研究

中国铁路已积累、沉淀了大量数据。数据量大、结构复杂、来源多样的铁路大数据需要一种新的架构模式进行数据的存储与计算。为适应铁路大数据发展的需要,对铁路大数据平台进行了架构研究与设计,将大数据技术与不同数据源的特点相结合,使平台既能对现有业务进行快速响应,又能对海量历史数据进行价值深挖。为满足复杂大量数据的存储与计算,提高数据处理效率提供技术支撑。     

数字图书馆现状与发展

数字图书馆是-个研究如何驱动、组织多媒体海量数字信息以及其在互联网上的应用等各方面问题的新技术领域,它以电子格式存储海量的多媒体信息,并能对这些信息资源进行高效的操作.     

动车产品结构树的设计与应用

大型复杂机电设备的零件规模通常高达百万级别，其信息一般采用树形结构来组织管理，常规的结构树设计方案不能满足海量存储、高效查询的管理需求。通过编码字典设计、结构树模板建立，实现了基于Oracle数据库的结构树模型高效存储管理。在高速列车全寿命周期管理项目中，实现了十万级数据的秒级处理。开发实践表明，该设计方案具有存储开销小、数据一致性好、查询速度快等优点，适合超大规模结构树的管理。     

动车组车载实时监控海量信息数据库的设计与实现

综合考虑海量信息条件下动车组车载实时监控系统的业务需求,分析了车载数据的业务类型及特点,创建数据库逻辑/物理模型.利用数据分区,分布存储的设计思想,形成动车组车载实时监控海量信息数据库设计方案.通过对数据库实际运行情况的跟踪和评价,数据库设计方案较好地满足了实时性、扩展性和可维护性要求,整体性能稳定可靠.     

铁路大数据存储管理系统设计方案

随着铁路信息化建设逐步深入,铁路各类业务产生的海量数据为数据的存储、管理和有效利用带来了挑战。为合理分配存储资源、最大化铁路大数据价值,实现数据中心管理的精细化、智能化,降低数据中心管理的复杂度,提出了铁路大数据存储管理系统设计方案,并详细阐述了系统架构、技术方案和系统功能的设计与实现。该系统可有效降低运维人员的工作强度,提升工作效率,提高数据中心管理的自动化和智能化。