基于改进K-means算法的海量数据分析技术研究

李欢; 刘锋; 朱二周

Chinese

您当前的位置：

首页 >

文章列表页 >

基于改进K-means算法的海量数据分析技术研究

更新时间：2026-09-04

- 基于改进K-means算法的海量数据分析技术研究
- Research of an Impoved K-means Algorithm for Aanalyzing Mass Data
- 微电子学与计算机 2016年33卷第5期页码：52-57
- 作者机构：
  
  安徽大学计算机科学与技术学院,安徽,合肥,230601
- 作者简介：
- 基金信息：
  
  国家自然科学基金项目 61300169
- DOI：
  中图分类号：
- 纸质出版：2016
- 稿件说明：
移动端阅览
李欢, 刘锋, 朱二周. 基于改进K-means算法的海量数据分析技术研究[J]. 微电子学与计算机, 2016, 33(5): 52-57.

LI Huan, LIU Feng, ZHU Er-zhou. Research of an Impoved K-means Algorithm for Aanalyzing Mass Data[J]. 2016, 33(5): 52-57.
李欢, 刘锋, 朱二周. 基于改进K-means算法的海量数据分析技术研究[J]. 微电子学与计算机, 2016, 33(5): 52-57. DOI：

LI Huan, LIU Feng, ZHU Er-zhou. Research of an Impoved K-means Algorithm for Aanalyzing Mass Data[J]. 2016, 33(5): 52-57. DOI：

摘要

针对海量数据难处理的难题

利用Hadoop平台下的Map-Reduce模型

实施了一种改进的对海量数据进行并行处理的K-means算法.为了解决传统的K-means算法对初始聚类中心和聚类数敏感的问题

改进算法首先对海量数据进行多次采样

找出采样数据的聚类个数; 其次

利用密度法找出采样数据的聚类中心; 最后

将各个样本中心点归并得到原始数据的全局初始聚类中心点.通过在Hadoop集群上部署的实验结果表明

改进后的算法相比较于传统的算法具有高效、准确、可扩展以及良好的加速比等特性.

Abstract

Aiming at solving the problem of mass data

this paper proposes an improved K-means algorithm for processing massive data by making use of the Map-Reduce model on the Hadoop platform. In order to solve the problem that faced by traditional K-means algorithm

such as it is sensitive to initial clustering center and clustering number

the improved algorithm firstly finds out the clustering number from sampling data by implementing multiple sampling of massive data; Secondly

with the help of density method the clustering center of data sampling is founded. Finally

the global initial clustering centers of original data are obtained by merging the central points of each sample. The results of the experiments deployed on the Hadoop cluster have shown that the improved algorithm is more efficient

accurate

scalable and has better acceleration ratio than the traditional algorithms.

关键词

Keywords

references

于海涛, 李梓, 姚念民. K-means聚类算法优化方法的研究[J]. 小型微型计算机系统, 2012, 33(10): 2273-2277. DOI: 2273

李国杰, 程学旗. 大数据的研究现状与科学思考[J]. 中国科学院院刊, 2012, 27(6): 647-657. DOI: 647

Parimala M, Daphne Lopez, Senthilkumar N C. A survey on density based clustering algorithms for mining large spatial databases[J]. International Journal of Advanced Science and Technology, 2011, 31(1): 59-66. DOI: 59

Renato Cordeiro de Amorim, Boris Mirkin. Minkowski Metric. Feature weighting and anomalous cluster initializing in kmeans clustering[J]. Patt ern Recognition, 2012, 45(3): 1061-1075. DOI: 1061

Li Haiguang, Wu Gongqing, Hu Xuegang, et al. K-means clustering with bagging and mapReduce[C]//Proceedings of the 44th Hawaii International Conference on System Sciences. Hawaii, USA, 2011: 1-8.

Murat Erisoglu, Nazif Calis, Sadullah Sakallioglu. A new algorithm for initial cluster centers in k-means algorithm[J]. Pattern Recognition Letter, 2011, 14 (32): 1701-1705. DOI: 1701

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

一种基于SURF和BRIEF的图像配准算法

基于改进蝙蝠算法的云计算任务调度研究

面向大数据的并行分类混合算法研究

混合细菌觅食和粒子群的k-means聚类算法

基于距离阈值及样本加权的K-means聚类算法