Ceph云存储中基于混合文件系统的读写性能优化方法

刘辉勇; 王勇; 俸皓

Chinese

您当前的位置：

首页 >

文章列表页 >

Ceph云存储中基于混合文件系统的读写性能优化方法

更新时间：2026-09-04

- Ceph云存储中基于混合文件系统的读写性能优化方法
- Optimization of Ceph Reads and Writes Performance Based on Hybrid File System
- 微电子学与计算机 2018年35卷第5期页码：27-34
- 作者机构：
  
  1. 桂林电子科技大学信息与通信学院,广西,桂林,541004
  2. 桂林电子科技大学广西云计算与复杂系统高校重点实验室,广西,桂林,541004
  3. 桂林电子科技大学机构广西云计算与大数据协同创新中心,广西,桂林,541004
- 作者简介：
- 基金信息：
  
  国家自然科学基金 61662018国家自然科学基金 61163058广西自然基金 2016GXNSFAA380153广西高校云计算与复杂系统重点实验室研究课题 14103广西高校云计算与复杂系统重点实验室研究课题 15208广西云计算与大数据协同创新中心研究课题 YD16303广西云计算与大数据协同创新中心研究课题 YD16512
- DOI：
  中图分类号：
- 纸质出版：2018
- 稿件说明：
移动端阅览
刘辉勇, 王勇, 俸皓. Ceph云存储中基于混合文件系统的读写性能优化方法[J]. 微电子学与计算机, 2018, 35(5): 27-34.

LIU Hui-yong, WANG Yong, FENG Hao. Optimization of Ceph Reads and Writes Performance Based on Hybrid File System[J]. 2018, 35(5): 27-34.
刘辉勇, 王勇, 俸皓. Ceph云存储中基于混合文件系统的读写性能优化方法[J]. 微电子学与计算机, 2018, 35(5): 27-34. DOI：

LIU Hui-yong, WANG Yong, FENG Hao. Optimization of Ceph Reads and Writes Performance Based on Hybrid File System[J]. 2018, 35(5): 27-34. DOI：

摘要

针对Ceph云存储底层OSD节点使用不同单一文件系统会造成集群在读、写不同大小文件性能上的较大差异这一问题

本文提出一种在Ceph集群中混合使用文件系统方法来优化集群读、写性能.通过采用层次分析法综合考虑不同文件系统在读、写不同大小文件时候各自的优势

构造层次结构模型

给出每个层次的判断矩阵并进行一致性检验

通过求解判断矩阵最大特征值对应的归一化特征向量

最后确定了底层OSD节点使用不同文件系统的比例.在真实环境中对所提出的方法进行实验测试

结果表明所提出的方法能够较好的改善当前Ceph集群使用单一文件系统带来的不足

优化了集群读、写不同大小文件速度性能.

Abstract

The cluster of Ceph cloud storage will have a greater performance differences in reading and writing different sizes of documents

when the underlying OSD nodes use different single file systems.To solve this problem

this paper proposes a hybrid file system approach in the Ceph cluster to optimize the performance of reading and writing.Through the use of analytic hierarchy process(AHP)

this method considers the advantages of different file systems in reading and writing different size files

constructs a hierarchical model

gets the judgment matrix of each level and carries out the consistency test.Then

the normalized feature corresponding to the maximum eigenvalue of the judgment matrix is worked out to determine the proportion of the underlying OSD nodes using different file systems.By testing in the real environment

the result shows that this method can make up the shortcomings of the current Ceph cluster using a single file system

achieve the purpose of optimizing the speed performance in reading and writing different size of files.

关键词

Keywords

references

Weil S A, Brandt S A, Miller E L, et al. CRUSH: Controlled, scalable, decentralized placement of replicated data[C]//Proceedings of the 2006 ACM/IEEE conference on Supercomputing. Hongkong, ACM, 2006: 122.

Meyer S, Morrison J P. Supporting heterogeneous pools in a single ceph storage cluster[C]//17th International Sympo sium on Symbolic and Numeric Algorithms for Scientific Computing. Timisoara, Romanina, 2016: 352-359.

Mackey G, Sehrish S, Wang J. Improving metadata man agement for small files in HDFS[C]//IEEE International Conference on Cluster Computing and Workshops. New Orleans, LA, USA. 2009: 1-4.

Ke Z, Ai H P. Optimization Of Ceph reads/writes based on multi-threaded algorithms[C]//IEEE International Conference on High Performance Computing and Communications; IEEE International Conference on Smart City; IEEE International Conference on Data Science % amp; amp; Systems. New York, 2016: 719-725.

Weil S A, Leung A W, Brandt S A, et al. Rados: a scalable, reliable storage service for petabyte-scale storage clusters[C]//Proceedings of the 2nd international workshop on Petascale data storage: held in conjunction with Supercomputing. New York, ACM, 2007: 35-44.

王胜杰, 徐龙. 一种Ceph分布式块存储的持续数据保护方法[J]. 网络安全技术与应用, 2017, 16(2): 84-85. DOI: 84

陈凌剑, 王勇, 俸皓. 基于网络延时的Ceph存储性能优化方法[J]. 微电子学与计算机, 2017, 34(6): 84-88. DOI: 84

刘飞, 蒋德钧, 张欢, 等. 异构存储感知的Ceph存储系统数据放置方法[J]. 计算机科学, 2017, 44(6): 17-22. DOI: 17

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于网络延时的CEPH存储性能优化方法

基于Ceph对象存储集群的高可用设计与实现

一种基于特征上下文理解与切片分析的肺结核检测算法

基于区块链的AI生成内容溯源框架设计研究

AlN/GaN混合缓冲层双异质结p-GaN HEMT直流特性仿真