|
|||||
|
|
| 海量GPR检测数据负载均衡并行处理技术 | |
| 作者姓名： | 杜翠 程远水 张千里 |
| 作者单位： | 1.中国铁道科学研究院集团有限公司铁道建筑研究所100081;2.中国铁道科学研究院集团有限公司高速铁路轨道技术国家重点实验室100081; |
| 基金项目： | 国家能源投资集团有限责任公司科技创新项目(GJNY-20-231)；煤炭资源与安全开采国家重点实验室开放基金(SKLCRSM21KFA06)；中国铁道科学研究院集团有限公司基金(2019YJ060)。 |
| 摘 要： | 探地雷达单机处理软件性能较低,难以满足较长里程或周期性检测的海量数据处理场景需求。针对这一问题,本文在集群模式下基于Hadoop平台的MapReduce并行计算框架,采用HDFS和MySQL的混合存储方法,对数据流进行细粒度切片,建立主从节点架构的动态调度模式,实现海量检测数据的负载均衡并行处理。在Linux系统搭建了1主+8从的Hadoop集群环境并对其进行了测试试验。结果表明:动态调度可使迭代算法达到负载均衡,高复杂度算法适用于并行处理,性能可提升100倍左右,加速比接近物理核数。 |
| 关 键 词： | 探地雷达 铁路检测 并行计算 负载均衡 动态调度 集群模式 并行颗粒度 |
| 本文献已被 维普 等数据库收录！ | |