基于hadoop的舰船通信网络数据并行处理方法

舰船通信网络数据量的显著提升对数据处理性能提出更高要求，为提升数据处理效率，研究基于hadoop的舰船通信网络数据并行处理方法。设计由数据应用层、数据处理层和数据存储层共同组成的基于hadoop的舰船通信网络数据并行处理架构：数据应用层作为用户与数据处理架构的交互工具，将所采集的数据上传至架构内；数据处理层运行MapReduce程序实现数据存储、解析与聚类等并行化处理；数据存储层采用HBase与HDFs等多种不同的存储方式存储舰船通信网络数据。实验结果显示，该方法可实现准确的舰船通信网络数据聚类，大幅节省数据处理时间，在数据量较大的条件下具备较好的数据处理加速比。