分布式Web信息采集系统的设计与实现

Chinese

您当前的位置：

首页 >

文章列表页 >

分布式Web信息采集系统的设计与实现

电气与电子工程 | 更新时间：2026-07-10

- 分布式Web信息采集系统的设计与实现
- Design and Realization of Distributed Web Crawler
- 哈尔滨理工大学学报 2010年15卷第1期页码：116-119
- 作者机构：
  
  哈尔滨理工大学测控技术与通信工程学院
- 作者简介：
- 基金信息：
- DOI：
  中图分类号： TP274.2
- 纸质出版：2010
- 稿件说明：
移动端阅览
金岳富, 范剑英, 冯扬. 分布式Web信息采集系统的设计与实现[J]. 哈尔滨理工大学学报, 2010,15(1):116-119.

JIN Yue-fu, FAN Jian-ying, FENG Yang. Design and Realization of Distributed Web Crawler[J]. 2010, 15(1): 116-119.
金岳富, 范剑英, 冯扬. 分布式Web信息采集系统的设计与实现[J]. 哈尔滨理工大学学报, 2010,15(1):116-119. DOI：

JIN Yue-fu, FAN Jian-ying, FENG Yang. Design and Realization of Distributed Web Crawler[J]. 2010, 15(1): 116-119. DOI：

Web信息的急剧增长

给信息的有效使用带来了巨大挑战.作为搜索引擎的重要组成部分

Web信息采集扮演着越来越重要的角色.文中从并行性、负载均衡、体系结构以及可扩展性这4个方面详细讨论了分布式Web信息采集系统的设计与实现.经验证

该分布式Web信息采集系统能够实现负载均衡

并具有良好的可扩展性.

Great enhancement on the web information brings an enormous challenge to human on how to use it effectively. As a key part of search engine

web crawler plays a more and more important role. This paper introduces the design and realization of a distributed web crawler

covers the following four aspects: parallel

load balancing

architecture and expansibility. Practice shows that the distributed web crawler can achieve load balancing and have a good expansibility.

浏览量

2395

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

结合记忆网络和注意力的电表检定线健康预测

基于 MAPPO 算法的广义储能分频响应控制策略

一种上下文感知特征增强的行人重识别方法

结合在线注意力网络的变电站绝缘子缺陷识别研究

内孔空化发生单元在变转速下的性能研究