基于文件拆分和缓存预测的日志文件传输算法

马赛牧; 王晶

doi:10.13992/j.cnki.tetas.2013.08.018

Chinese

您当前的位置：

首页 >

文章列表页 >

基于文件拆分和缓存预测的日志文件传输算法

东信北邮信息技术有限公司专栏 | 更新时间：2026-04-20

- 基于文件拆分和缓存预测的日志文件传输算法
- Journal file transmission algorithm based file splitting and buffer memory prediction
- 电信工程技术与标准化 2013年26卷第8期页码：71-78
- 作者机构：
  
  1. 北京邮电大学网络与交换技术国家重点实验室
  2. 东信北邮信息技术有限公司
- 作者简介：
- 基金信息：
  
  国家973计划项目（No.2013CB329100,2013CB329102）;国家自然科学基金（No.61271019,61101119,61121001,61072057,60902051）;长江学者和创新团队发展计划资助（No.IRT1049）
- DOI：10.13992/j.cnki.tetas.2013.08.018
  中图分类号： TP393.09
- 纸质出版：2013
- 稿件说明：
移动端阅览
[1]马赛牧,王晶.基于文件拆分和缓存预测的日志文件传输算法[J].电信工程技术与标准化,2013,26(08):71-78.

马赛牧, 王晶. Journal file transmission algorithm based file splitting and buffer memory prediction[J]. 2013, 26(8): 71-78.
[1]马赛牧,王晶.基于文件拆分和缓存预测的日志文件传输算法[J].电信工程技术与标准化,2013,26(08):71-78. DOI： 10.13992/j.cnki.tetas.2013.08.018.

马赛牧, 王晶. Journal file transmission algorithm based file splitting and buffer memory prediction[J]. 2013, 26(8): 71-78. DOI： 10.13992/j.cnki.tetas.2013.08.018.

摘要

当今的云计算平台和大型网站在运行时都会产生大量的日志文件

这些日志文件一般都具有收集分析的价值

所以在日志文件的收集过程中就出现了大日志文件的传输问题。本文要解决的问题就是如何使日志文件能够快速的传输到接收端。为此本文在研究了当前已经有的大数据传输办法之后

针对日志文件提出了与传输协议无关的新算法:文件拆分和预测算法。该算法主要由两部分组成:首先对日志文件进行拆分

拆分成包含描述性信息的文件和包含数据的文件

消除了文件中的冗余信息;然后在传输过程中通过预测接收端缓存的数据来达到消除传输过程中的冗余信息的目的。经过实验检验

本文设计的算法能够将实际传输的数据量降低90%以上。

Abstract

As networks and transmission are becoming increasingly important for computational science

we are working on proposing a journal file transmission algorithm.This new algorithm focusing on optimizing the performance of journal file transmission is independent of transport protocols.Our approach includes two components: the file splitting and buffer memory prediction.The file splitting performs file compression and redundancy elimination

and the buffer memory prediction avoids transferring the redundant data.Experimental results verify that the journal file transmission algorithm can effectively eliminate the redundancy in the journal file and reduce the amount of data transmission by 9.0%.

关键词

Keywords

references

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

大规模对象存储资源池设计方法探讨

基于安全即服务模式的网络安全智慧中台技术研究

面向5G+AICDE的智慧建造应用方案研究

数据中心存储资源池规划设计方法研究

数据中心基础设施管理系统的研究与设计