基于特征串的网页文本并行去重算法

谢瑶兵

Chinese

您当前的位置：

首页 >

文章列表页 >

基于特征串的网页文本并行去重算法

更新时间：2026-09-04

- 基于特征串的网页文本并行去重算法
- A Parallel Webpage Duplicate Removal Algorithm Based on Character String
- 微电子学与计算机 2015年32卷第2期页码：69-72
- 作者机构：
  
  同济大学电子与信息工程学院,上海,201804
- 作者简介：
- 基金信息：
  
  国家科技计划课题(2012BAD35B01)国家自然科学基金项目(71170148)
- DOI：
  中图分类号：
- 纸质出版：2015
- 稿件说明：
移动端阅览
谢瑶兵. 基于特征串的网页文本并行去重算法[J]. 微电子学与计算机, 2015, 32(2): 69-72.

XIE Yao-bing. A Parallel Webpage Duplicate Removal Algorithm Based on Character String[J]. 2015, 32(2): 69-72.
谢瑶兵. 基于特征串的网页文本并行去重算法[J]. 微电子学与计算机, 2015, 32(2): 69-72. DOI：

XIE Yao-bing. A Parallel Webpage Duplicate Removal Algorithm Based on Character String[J]. 2015, 32(2): 69-72. DOI：

摘要

针对海量网页文本去重效率不高问题

提出了一种高效的并行网页去重算法.该算法利用Hadoop框架的Map/Reduce机制

通过对网页文本提取特征串

使用Google的Simhash算法对提取的特征串进行哈希映射得到相应的哈希码

然后对产生的哈希码进行海明距离比较

从而得到重复的网页数据.实验表明

与相关去重算法相比

所提算法有效地提高了文本去重计算效率.

Abstract

Against the inefficiency of the huge amount of webpage duplicate removal method

proposes a parallel webpage duplicate removal algorithm based on character string. Using the MapReduce model in Hadoop to extract character string from webpage content

and compute the character string into hash code by Simhash algorithm. Then compare the haming distance between all the hash code to find duplicate webpages. The Algorithm is proved to be more efficient than related algorithms based on experimental results.

关键词

Keywords

references

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于Map/Reduce集群上的模式空间划分的序列模式挖掘

一种用于极低压boost系统的高效率电荷泵

基于MSS-YOLO-MPHands融合架构的装配手部动作识别研究

基于监控指标关联性的微服务异常检测

一种基于特征上下文理解与切片分析的肺结核检测算法