一种安全性的海量数据处理平台设计与实现

张德阳; 王晶

doi:10.13992/j.cnki.tetas.2014.11.020

Chinese

您当前的位置：

首页 >

文章列表页 >

一种安全性的海量数据处理平台设计与实现

东信北邮信息技术有限公司专栏 | 更新时间：2026-04-20

- 一种安全性的海量数据处理平台设计与实现
- Design and implementation of security mass data processing platform
- 电信工程技术与标准化 2014年27卷第11期页码：86-89
- 作者机构：
  
  1. 北京邮电大学网络与交换技术国家重点实验室
  2. 东信北邮信息技术有限公司
- 作者简介：
- 基金信息：
  
  国家973计划项目（编号:2013CB329102）;国家自然科学基金资助项目（No.61471063,61372120,61271019,61101119,61121001）;长江学者和创新团队发展计划资助（编号:IRT1049）;教育部科学技术研究重点（重大）项目资助（编号:MCM20130310）;北京高等学校青年英才计划项目（编号:YETP0473）
- DOI：10.13992/j.cnki.tetas.2014.11.020
  中图分类号： TP311.52
- 纸质出版：2014
- 稿件说明：
移动端阅览
[1]张德阳,王晶.一种安全性的海量数据处理平台设计与实现[J].电信工程技术与标准化,2014,27(11):86-89.

张德阳, 王晶. Design and implementation of security mass data processing platform[J]. 2014, 27(11): 86-89.
[1]张德阳,王晶.一种安全性的海量数据处理平台设计与实现[J].电信工程技术与标准化,2014,27(11):86-89. DOI： 10.13992/j.cnki.tetas.2014.11.020.

张德阳, 王晶. Design and implementation of security mass data processing platform[J]. 2014, 27(11): 86-89. DOI： 10.13992/j.cnki.tetas.2014.11.020.

摘要

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式

以Map Reduce、Spark和Storm等作为底层数据处理方式

向用户提供了统一的接口

同时使用Kerberous进行权限控制

保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。

Abstract

This article put forward an open design scheme of distributed mass data processing platform. The platform uses HDFS

Hive and HBase to realize data storage

uses Map Reduce

spark and storm to realize data processing

uses kerberous to realize authority management. It also provides a unifi ed operation interface to the user

so that users can handle the mass data simple and effi cient.

关键词

Keywords

references

云计算研究与应用现状综述 [J]. 邹复民,蒋新华,胡惠淳,朱铨,庄孝昆. 福建工程学院学报 . 2013(03)

大数据管理:概念、技术与挑战 [J]. 孟小峰,慈祥. 计算机研究与发展 . 2013(01)

分布式系统Hadoop平台的视频转码 [J]. 杨帆,沈奇威. 计算机系统应用 . 2011(11)

Hadoop平台的性能优化研究 [J]. 栾亚建,黄翀民,龚高晟,赵铁柱. 计算机工程 . 2010(14)

云计算:系统实例与研究现状 [J]. 陈康,郑纬民. 软件学报 . 2009(05)

云计算环境下动态资源管理关键技术研究 [D]. 李冰. 北京邮电大学 2012

基于Hadoop的海量数据处理模型研究和应用 [D]. 朱珠. 北京邮电大学 2008

Cloud Computing: Analysis of Various Platforms [J] . Tutut Herawan,Nawsher Khan,A. Noraziah,Elrasheed I. Ismail,Mustafa Mat Deris. International Journal of E-Entrepreneurship and Innovation （IJEEI） . 2012 (2)

Cloud Computing Paradigm for Indian Education Sector [J] . Vijayalakshmi Ravi. International Journal of Cloud Applications and Computing （IJCAC） . 2012 (2)

Beyond Hadoop: Recent Directions in Data Computing for Internet Services [J] . Zhiwei Xu,Bo Yan,Yongqiang Zou. International Journal of Cloud Applications and Computing （IJCAC） . 2011 (1)

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

海量数据采集技术在IDC不良信息监测系统中的应用研究

电信运营商企业级大数据运营探讨

电信运营商省级大数据平台建设方案

基于分布式云计算环境下的多租户管理技术方案研究

大数据技术在物联网服务平台中的应用