异构调度环境下ETL工作流监控系统的设计与实现

王洪彬; 王纯

doi:10.13992/j.cnki.tetas.2016.12.015

Chinese

您当前的位置：

首页 >

文章列表页 >

异构调度环境下ETL工作流监控系统的设计与实现

工程与设计 | 更新时间：2026-04-20

- 异构调度环境下ETL工作流监控系统的设计与实现
- Design and implementation of monitoring system for the ETL workflows in heterogeneous scheduling environment
- 电信工程技术与标准化 2016年29卷第12期页码：61-65
- 作者机构：
  
  1. 北京邮电大学网络与交换技术国家重点实验室
  2. 东信北邮信息技术有限公司
- 作者简介：
- 基金信息：
  
  国家杰出青年科学基金（No.60525110）;国家973计划项目（No.2007CB307100,2007CB307103）;国家自然科学基金（No.61072057,60902051）;中央高校基本科研业务费专项资金（BUPT2009RC0505）;国家科技重大专项（No.2011ZX03002-001-01,2001ZX03002-002-01）
- DOI：10.13992/j.cnki.tetas.2016.12.015
  中图分类号： TP311.13;TP277
- 纸质出版：2016
- 稿件说明：
移动端阅览
[1]王洪彬,王纯.异构调度环境下ETL工作流监控系统的设计与实现[J].电信工程技术与标准化,2016,29(12):61-65.

王洪彬, 王纯. Design and implementation of monitoring system for the ETL workflows in heterogeneous scheduling environment[J]. 2016, 29(12): 61-65.
[1]王洪彬,王纯.异构调度环境下ETL工作流监控系统的设计与实现[J].电信工程技术与标准化,2016,29(12):61-65. DOI： 10.13992/j.cnki.tetas.2016.12.015.

王洪彬, 王纯. Design and implementation of monitoring system for the ETL workflows in heterogeneous scheduling environment[J]. 2016, 29(12): 61-65. DOI： 10.13992/j.cnki.tetas.2016.12.015.

摘要

本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象

采用增量抽取和跟踪监控对象的方式

通过网络消息传送将监控对象加载到监控数据中心并统一管理

实现了分布式ETL工作流在异构调度环境下的的全局监控

提高了数据恢复能力和仓库的数据质量。

Abstract

This paper provided a unified monitoring method of the distributed ETL workflows in heterogeneous environment. By extracting and abstracting the metadata of each workflow and tracing the monitored objects incrementally

all the ETL jobs could be monitored and managed by the monitor data center

meanwhile improving the quality of the data warehouse.

关键词

Keywords

references

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于数据仓库的IP设备智能管理系统设计

商业智能技术与应用分析