基于Hadoop的并行FP-Growth算法的研究与实现

施亮; 钱雪忠

Chinese

您当前的位置：

首页 >

文章列表页 >

基于Hadoop的并行FP-Growth算法的研究与实现

更新时间：2026-09-04

- 基于Hadoop的并行FP-Growth算法的研究与实现
- Research and Implementation of Parallel FP-Growth Algorithm Based on Hadoop
- 微电子学与计算机 2015年32卷第4期页码：150-154
- 作者机构：
  
  江南大学物联网工程学院,江苏,无锡,214122
- 作者简介：
- 基金信息：
  
  江苏省科技支撑计划资助项目(BE2009009)国家自然科学基金资助项目(61103129,61202312)
- DOI：
  中图分类号：
- 纸质出版：2015
- 稿件说明：
移动端阅览
施亮, 钱雪忠. 基于Hadoop的并行FP-Growth算法的研究与实现[J]. 微电子学与计算机, 2015, 32(4): 150-154.

SHI Liang, QIAN Xue-zhong. Research and Implementation of Parallel FP-Growth Algorithm Based on Hadoop[J]. 2015, 32(4): 150-154.
施亮, 钱雪忠. 基于Hadoop的并行FP-Growth算法的研究与实现[J]. 微电子学与计算机, 2015, 32(4): 150-154. DOI：

SHI Liang, QIAN Xue-zhong. Research and Implementation of Parallel FP-Growth Algorithm Based on Hadoop[J]. 2015, 32(4): 150-154. DOI：

摘要

在PFP(Parallel FP-Growth)算法的基础上提出了一种负载均衡并行的挖掘算法LBPFP(Load-Balanced Parallel FP-Growth)算法

该算法在Hadoop框架实现并行计算的同时

在数据分发中利用负载均衡策略

使主节点均衡地向子节点分配数据.除此之外

在子节点进行数据处理的过程中利用剪枝策略

减少数据的处理量

该算法在提高并行计算能力的同时也大大缩小了数据的处理量.最后

通过实验分析表明该算法在大数据的处理中具有较好的效果

证实了该算法的可行性.

Abstract

This paper

we propose a load-balanced and parallel FP-Growth algorithm based on Map/Reduce

which evenly parallelizes FP-Growth in the MapReduce approach. LBPFP(Load-Balanced Parallel FP-Growth) adds into PFP(Parallel FP-Growth) the load balance feature and the effectively pruning strategy

which improves parallelization and thereby improves performance. Finally

the experimental result shows the algorithm has good effect in the large data processing. It is proved the feasibility of the algorithm.

关键词

Keywords

references

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

关联规则挖掘Apriori算法的研究与改进

基于改进关联规则的Web使用挖掘方法研究

V型沟槽SiC中子探测器的蒙特卡洛分析

基于改进RT-DETR的航拍小目标检测算法

AlN/GaN混合缓冲层双异质结p-GaN HEMT直流特性仿真