1. 北京邮电大学网络与交换技术国家重点实验室
2. 东信北邮信息技术有限公司
纸质出版:2015
移动端阅览
[1]薛瑞,朱晓民.基于Spark Streaming的实时日志处理平台设计与实现[J].电信工程技术与标准化,2015,28(09):55-58.
薛瑞, 朱晓民. Real-time log processing system based on spark streaming[J]. 2015, 28(9): 55-58.
[1]薛瑞,朱晓民.基于Spark Streaming的实时日志处理平台设计与实现[J].电信工程技术与标准化,2015,28(09):55-58. DOI: 10.13992/j.cnki.tetas.2015.09.014.
薛瑞, 朱晓民. Real-time log processing system based on spark streaming[J]. 2015, 28(9): 55-58. DOI: 10.13992/j.cnki.tetas.2015.09.014.
本文基于Hadoop Yarn平台
通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等
很好地解决了目前存在的问题
并使用HBase(Hadoop No SQL Database)作为数据库存储
更好地适应日志数据规模的增长。
For the purpose of solving the current problem
it proposes a system based on Hadoop yarn platform
which can process web logs
system logs and monitor logs by deploying Spark Streaming.In addition
the system can adapt to the growth of the scale of data in a better way by using HBase(Hadoop Database) as storage.
0
浏览量
1025
下载量
58
CSCD
关联资源
相关文章
相关作者
相关机构