一种改进的T-Spider分布式爬虫

金凡; 顾进广

Chinese

您当前的位置：

首页 >

文章列表页 >

一种改进的T-Spider分布式爬虫

更新时间：2026-09-04

- 一种改进的T-Spider分布式爬虫
- An Improved T-Spider Distributed Crawler
- 微电子学与计算机 2011年28卷第8期页码：102-104
- 作者机构：
  
  1. 武汉科技大学机构计算机科学与技术学院,湖北,武汉,430065
  2. 东南大学计算机科学与工程学院,江苏,南京,210096
- 作者简介：
- 基金信息：
  
  中国博士后科学基金(20060400275)江苏省博士后科学基金(0601009B)湖北省教育厅科研项目(Q20101110,D2009110)国家自然科学基金(60803160)武汉市科技攻关计划项目(201110821225)湖北省自然科学基金重点计划项目(2009CDA136,2009CDA034)
- DOI：
  中图分类号：
- 纸质出版：2011
- 稿件说明：
移动端阅览
金凡, 顾进广. 一种改进的T-Spider分布式爬虫[J]. 微电子学与计算机, 2011, 28(8): 102-104.

JIN Fan, GU Jin-guang. An Improved T-Spider Distributed Crawler[J]. 2011, 28(8): 102-104.
金凡, 顾进广. 一种改进的T-Spider分布式爬虫[J]. 微电子学与计算机, 2011, 28(8): 102-104. DOI：

JIN Fan, GU Jin-guang. An Improved T-Spider Distributed Crawler[J]. 2011, 28(8): 102-104. DOI：

摘要

为了提高互联网网页的抓取速度

提出了一个改进的T-Spider分布式爬虫模型.该爬虫在解析URL阶段将页面进行切割以并行解析

在页面调度阶段使用改进的链接优先权计算方法

提高爬虫的抓取速度和稳定性.通过实验结果分析

验证了该方法的有效性.

Abstract

To increase the speed of the crawler

this paper proposes a model that is based on the T-Spider.During the time of extracting links from the page content

the crawler takes use of the page cutting algorithm

and then uses a new algorithm of link priority computing to enhance the stability and increase the speed of the crawler.The experiment shows that it is availability.

关键词

Keywords

references

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

注意力机制与改进密集卷积引导的信息隐藏模型

大模型发展综述：从BERT到Deepseek的技术演进

基于监控指标关联性的微服务异常检测

V型沟槽SiC中子探测器的蒙特卡洛分析

基于MSS-YOLO-MPHands融合架构的装配手部动作识别研究