基于Hadoop的Web日志预处理的设计与实现

宋莹; 沈奇威; 王晶

doi:10.13992/j.cnki.tetas.2011.11.018

Chinese

您当前的位置：

首页 >

文章列表页 >

基于Hadoop的Web日志预处理的设计与实现

东信北邮信息技术有限公司专栏 | 更新时间：2026-04-20

- 基于Hadoop的Web日志预处理的设计与实现
- Design and implementation of Web log preprocessing based on Hadoop
- 电信工程技术与标准化 2011年24卷第11期页码：84-89
- 作者机构：
  
  1. 北京邮电大学网络与交换技术国家重点实验室
  2. 东信北邮信息技术有限公司
- 作者简介：
- 基金信息：
  
  国家自然科学基金（No.61072057,60902051）;国家973计划项目（No.2012CB315802）;中央高校基本科研业务费专项资金（BUPT2009RC0505）;国家科技重大专项（No.2011ZX03002-001-01,移动互联网总体架构研究）
- DOI：10.13992/j.cnki.tetas.2011.11.018
  中图分类号： TP311.13
- 纸质出版：2011
- 稿件说明：
移动端阅览
[1]宋莹,沈奇威,王晶.基于Hadoop的Web日志预处理的设计与实现[J].电信工程技术与标准化,2011,24(11):84-89.

宋莹, 沈奇威, 王晶. Design and implementation of Web log preprocessing based on Hadoop[J]. 2011, 24(11): 84-89.
[1]宋莹,沈奇威,王晶.基于Hadoop的Web日志预处理的设计与实现[J].电信工程技术与标准化,2011,24(11):84-89. DOI： 10.13992/j.cnki.tetas.2011.11.018.

宋莹, 沈奇威, 王晶. Design and implementation of Web log preprocessing based on Hadoop[J]. 2011, 24(11): 84-89. DOI： 10.13992/j.cnki.tetas.2011.11.018.

摘要

Web日志预处理是Web日志挖掘的重要步骤

是通过Web日志获得准确信息的前提

直接影响后续的挖掘算法精确性。本文针对海量Web日志

提出并基于分布式计算平台Hadoop实现了一种改进的Web日志预处理方法。通过Hadoop平台与单机的性能对比

证明了Hadoop进行Web日志预处理的高效性。

Abstract

Web log preprocessing is an important step in Web log mining

Web log is a prerequisite to obtain accurate information

directly affect the accuracy of the follow mining algorithms.Base on the massive Web log

this paper advanced an optimized Web log preprocessing method and implements it via distributed computing platform Hadoop.We compared the Hadoop platform’s performance with the stand-alone’s

thus proved the efficiency of Web log preprocessing on Hadoop.

关键词

Keywords

references

基于Hadoop的Web日志挖掘 [J]. 程苗,陈华平. 计算机工程 . 2011(11)

Web日志数据挖掘中数据预处理模型的研究与建立 [J]. 赵莹莹,韩元杰. 现代电子技术 . 2007(04)

Web挖掘技术及其在网络教学评价中的应用 [J]. 杨清莲,周庆敏,常志玲. 南京工业大学学报(自然科学版) . 2005(05)

一个简单的Web日志挖掘系统 [J]. 杨怡玲,管旭东,陆丽娜,尤晋元. 上海交通大学学报 . 2000(07)

Web日志挖掘中数据预处理算法的研究 [D]. 朱鹤祥. 大连交通大学 2010

博赞学习技巧[M]. 中信出版社 , (英) 博赞 (Buzan, 2009

Data Preparation for Mining World Wide Web Browsing Patterns [J] . Robert Cooley,Bamshad Mobasher,Jaideep Srivastava. Knowledge and Information Systems . 1999 (1)

浏览量

457

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据