一种基于动态资源采集的Hadoop作业调度算法

彭志伟; 谷建华

Chinese

您当前的位置：

首页 >

文章列表页 >

一种基于动态资源采集的Hadoop作业调度算法

更新时间：2026-09-04

- 一种基于动态资源采集的Hadoop作业调度算法
- A Scheduler for Hadoop Based on Dynamic Resource Collection
- 微电子学与计算机 2014年31卷第4期页码：64-67
- 作者机构：
  
  西北工业大学计算机学院,陕西,西安,710072
- 作者简介：
- 基金信息：
- DOI：
  中图分类号：
- 纸质出版：2014
- 稿件说明：
移动端阅览
彭志伟, 谷建华. 一种基于动态资源采集的Hadoop作业调度算法[J]. 微电子学与计算机, 2014, 31(4): 64-67.

PENG Zhi-wei, GU Jian-hua. A Scheduler for Hadoop Based on Dynamic Resource Collection[J]. 2014, 31(4): 64-67.
彭志伟, 谷建华. 一种基于动态资源采集的Hadoop作业调度算法[J]. 微电子学与计算机, 2014, 31(4): 64-67. DOI：

PENG Zhi-wei, GU Jian-hua. A Scheduler for Hadoop Based on Dynamic Resource Collection[J]. 2014, 31(4): 64-67. DOI：

摘要

为了克服Hadoop中基于槽的资源模型对集群资源的浪费，提高Hadoop集群的资源利用率，提出了一种基于动态资源采集的Hadoop作业调度算法.通过在作业运行过程中动态采集部分任务的CPU，内存和IO的资源利用率来评估同一作业中其他任务的资源需求，然后根据任务的实际资源需求以及TaskTracker节点的负载情况进行任务调度，以充分利用各TaskTracker节点的计算资源.通过对比实验表明该调度算法能明显提高集群的资源利用率，缩短作业的完成时间.

Abstract

In order to overcome the problem of wasting of resources in hadoop cluser based on the slot resource model

a scheduler based on the dynamic resource collection has been proposed.According to collect theCPU

Memory and IO resource utilization of part of tasks in the hadoop job

We estimate the resource demand of the rest tasks in the job

and then schedule these tasks according to their resource demand and the load of every Tasktracker.The contrast experiment shows the scheduler we proposed can increase the resource utilization of the hadoop cluser and reduce the completion time of the Hadoop job.

关键词

Keywords

references

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于改进RT-DETR的航拍小目标检测算法

超低功耗实时时钟电路的设计

基于监控指标关联性的微服务异常检测

一种基于特征上下文理解与切片分析的肺结核检测算法

面向处理器分支预测单元的Spectre攻击轻量化防御方法