Design and implementation of security mass data processing platform

张德阳; 王晶

doi:10.13992/j.cnki.tetas.2014.11.020

Chinese

您当前的位置：

首页 >

文章列表页 >

Design and implementation of security mass data processing platform

更新时间：2026-04-20

- Design and implementation of security mass data processing platform
- Vol. 27, Issue 11, Pages: 86-89(2014)
- 作者机构：
  
  1. 北京邮电大学网络与交换技术国家重点实验室
  2. 东信北邮信息技术有限公司
- 作者简介：
- 基金信息：
- DOI：10.13992/j.cnki.tetas.2014.11.020
  CLC： TP311.52
- Published：2014
- 稿件说明：
移动端阅览
[1]张德阳,王晶.一种安全性的海量数据处理平台设计与实现[J].电信工程技术与标准化,2014,27(11):86-89.

张德阳, 王晶. Design and implementation of security mass data processing platform[J]. 2014, 27(11): 86-89.
[1]张德阳,王晶.一种安全性的海量数据处理平台设计与实现[J].电信工程技术与标准化,2014,27(11):86-89. DOI： 10.13992/j.cnki.tetas.2014.11.020.

张德阳, 王晶. Design and implementation of security mass data processing platform[J]. 2014, 27(11): 86-89. DOI： 10.13992/j.cnki.tetas.2014.11.020.

摘要

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式

以Map Reduce、Spark和Storm等作为底层数据处理方式

向用户提供了统一的接口

同时使用Kerberous进行权限控制

保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。

Abstract

This article put forward an open design scheme of distributed mass data processing platform. The platform uses HDFS

Hive and HBase to realize data storage

uses Map Reduce

spark and storm to realize data processing

uses kerberous to realize authority management. It also provides a unifi ed operation interface to the user

so that users can handle the mass data simple and effi cient.

关键词

Keywords

references

云计算研究与应用现状综述 [J]. 邹复民,蒋新华,胡惠淳,朱铨,庄孝昆. 福建工程学院学报 . 2013(03)

大数据管理:概念、技术与挑战 [J]. 孟小峰,慈祥. 计算机研究与发展 . 2013(01)

分布式系统Hadoop平台的视频转码 [J]. 杨帆,沈奇威. 计算机系统应用 . 2011(11)

Hadoop平台的性能优化研究 [J]. 栾亚建,黄翀民,龚高晟,赵铁柱. 计算机工程 . 2010(14)

云计算:系统实例与研究现状 [J]. 陈康,郑纬民. 软件学报 . 2009(05)

云计算环境下动态资源管理关键技术研究 [D]. 李冰. 北京邮电大学 2012

基于Hadoop的海量数据处理模型研究和应用 [D]. 朱珠. 北京邮电大学 2008

Cloud Computing: Analysis of Various Platforms [J] . Tutut Herawan,Nawsher Khan,A. Noraziah,Elrasheed I. Ismail,Mustafa Mat Deris. International Journal of E-Entrepreneurship and Innovation （IJEEI） . 2012 (2)

Cloud Computing Paradigm for Indian Education Sector [J] . Vijayalakshmi Ravi. International Journal of Cloud Applications and Computing （IJCAC） . 2012 (2)

Beyond Hadoop: Recent Directions in Data Computing for Internet Services [J] . Zhiwei Xu,Bo Yan,Yongqiang Zou. International Journal of Cloud Applications and Computing （IJCAC） . 2011 (1)

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Application of massive data extraction technology in IDC bad information monitoring system

Analysis on enterprise big data platform operation of telecom operators

The big data platform construction solution of telecom operators

Research on the scheme of multi-tenant management technology under the environment of cloud based on distributed computing

The application of big data technology in Internet of things service platform

Related Author

王彬

朱壮军

林玉广

孙红恩

张静娴

喻朝新

段为

朱晓民

Related Institution

中国移动通信集团山西有限公司

中国移动通信集团福建有限公司

中国移动通信集团设计院有限公司

中国移动通信集团广东有限公司

中国移动通信集团贵州有限公司

AI问答

Postal code：100079
Tel：（010）53879206 Email：tmw@bjxintong.com.cn
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备09082226号-64 京公网安备11010602201714号
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰