基于MapReduce的并行加权FIUT算法

张航; 张欣; 张平康; 李琪

Chinese

您当前的位置：

首页 >

文章列表页 >

基于MapReduce的并行加权FIUT算法

更新时间：2026-09-04

- 基于MapReduce的并行加权FIUT算法
- Parallel Weighted FIUT Algorithm Based on MapReduce
- 微电子学与计算机 2018年35卷第7期页码：41-44
- 作者机构：
  
  贵州大学大数据与信息工程学院,贵州,贵阳,550025
- 作者简介：
- 基金信息：
  
  国家国际科技合作专项项目 2014DFA00670贵州省研究生教育教学改革重点课题黔教研合JG字201615贵州省科技厅工业攻关项目黔科合GY字20103056
- DOI：
  中图分类号：
- 纸质出版：2018
- 稿件说明：
移动端阅览
张航, 张欣, 张平康, 李琪. 基于MapReduce的并行加权FIUT算法[J]. 微电子学与计算机, 2018, 35(7): 41-44.

ZHANG Hang, ZHANG Xin, ZHANG Ping-kang, et al. Parallel Weighted FIUT Algorithm Based on MapReduce[J]. 2018, 35(7): 41-44.
张航, 张欣, 张平康, 李琪. 基于MapReduce的并行加权FIUT算法[J]. 微电子学与计算机, 2018, 35(7): 41-44. DOI：

ZHANG Hang, ZHANG Xin, ZHANG Ping-kang, et al. Parallel Weighted FIUT Algorithm Based on MapReduce[J]. 2018, 35(7): 41-44. DOI：

摘要

针对目前大数据环境下

传统频繁项集挖掘算法效率低下的问题

在MapReduce框架的基础上

结合加权模型提出了一种并行加权频繁项集挖掘算法PWFIUT(Parallel Weighted Frequent Itemset Ultrametric Tree).该算法将候选项映射到哈希表中以划分支持度

同时避免构建条件模式和实现压缩存储.最后

对PWFIUT算法在Hadoop平台进行了测试与分析

实验结果表明所提出的算法具有较好的运行效率和扩展性.

Abstract

Aiming at the the inefficiency of traditional frequent itemsets mining algorithm in view of the big data environment

a solution to this problem parallel weighted mining of frequent itemsets using PWFIUT(Parallel Weighted Frequent Itemset Ultrametric Tree) algorithm is implemented on MapReduce framework. Support is counted by mapping the items from the candidate list into the buckets which is divided according to support known as Hash table structure

also to avoid building conditional patterns and to achieve compressed storage. Finally

the Algorithm is verified and analyzed on Hadoop platform. According to the compared experiment results

it shows that the proposed algorithm has high efficiency and good scalability.

关键词

Keywords

references

Tsay Y J, Hsu T J, Yu J R. FIUT: A new method for mining frequent itemsets[J]. Information Sciences, 2009, 179(11):1724-1737. DOI: 1724

Li H, Wang Y, Zhang D. Parallel fp-growth for query recommendation[C]// Proc of ACM Conference on Recommender Systems. Como, Italy, 2008: 107-114.

梁吉业, 冯晨娇, 宋鹏.大数据相关分析综述[J].计算机学报, 2016, 38(1):1-18. DOI: 1

宋杰, 孙宗哲, 毛克明, 等. MapReduce大数据处理平台与算法研究进展[J].软件学报, 2017, 28(3):514-543. DOI: 514

朱晓峰, 李玲娟, 徐小龙, 等.基于MapReduce的关联规则增量更新算法[J].计算机技术与发展, 2012, 22(4):115-118. DOI: 115

肖文, 胡娟, 周晓峰.基于MapReduce计算模型的并行关联规则挖掘算法研究综述[J].计算机应用研究, 2018, 34(1):1-13. DOI: 1

李翔, 刘韶涛. FP-Growth的并行加权关联规则挖掘算法[J].华侨大学学报(自然版), 2014, 31(5):523-527. DOI: 523

杨勇, 高松松.基于MapReduce的关联规则并行增量更新算法[J].重庆邮电大学学报(自然科学版), 2014, 26(5):670-678. DOI: 670

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

云服务环境下的大数据多标签属性分类技术

基于Hadoop的大数据频繁模式挖掘算法

面向钻井大数据的数据集成及分析系统的设计与实现

面向大数据的并行分类混合算法研究

一种基于Hadoop的改进减法聚类算法