基于AVL树的重复数据消除技术 |
| |
引用本文: | 褚人巨,鲍人世.基于AVL树的重复数据消除技术[J].中国电动车,2006(9):20-21. |
| |
作者姓名: | 褚人巨 鲍人世 |
| |
作者单位: | 里石门水库管理局 天台浙江317200(褚人巨),亚信科技 杭州浙江310003(鲍人世) |
| |
摘 要: | 数据清洗是建立数据仓库及进行数据挖掘的一个重要步骤。在数据挖掘过程中,重复冗余的数据会造成挖掘结果的偏差。本文使用AVL树作为对象识别标志Key的记录结构,通过判断生成的MD5信息摘要的插入操作来判断该Key是否已经存在,从而实现重复数据的清除。
|
关 键 词: | AVL树 MD5 重复记录 数据清洗 |
本文献已被 CNKI 维普 等数据库收录! |
|