云存储环境下基于HDFS的海量小文件装箱算法

来源 :通讯世界 | 被引量 : 0次 | 上传用户:chentao805
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于HDFS的云存储系统在当前得到了广泛的应用,然而它存在小文件存储效率不理想的问题。针对该问题,提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标,设计了基于动态权值的装箱策略。原型实现和性能评价表明,TPSF算法是可行和有效的,能够显著降低HDFS名称节点和数据节点的存储开销。
其他文献
目的优化头孢菌素C(CPC)发酵过程的豆油补料控制策略,提高发酵整体性能。方法提出了一种匀速+DO-Stat结合型补油策略。在50L罐上对使用该策略和使用匀速补油以及传统DO-Stat自动
在北京西部山区分布有上百座村落,其中相当一部分村落都具有深厚的历史,包含了京西地区丰富的聚落文化。该文以门头沟区的数十个古村落为重点研究样本,以村落空间为研究对象,
在科学技术水平日益提升的背景下,门禁系统对先进的技术进行了积极的利用,本文主要研究了基于STM32单片机和GSM技术的门禁系统,该系统的核心为STM32单片机,并且对GSM技术进行了全
该文以会展建筑的展厅单元空间为研究对象,对寒地的展厅样本进行实地调研和数据采集,确立典型展厅单元空间能耗分析模型;通过对展厅单元空间的形态尺寸和界面开窗两个方面进
采用Plackett—Burman设计、最陡爬坡试验与响应面设计相结合的方法对纳塔尔链霉菌(Streptomycesnatalensis)lSIPI-120620产纳他霉素的发酵条件进行了优化。结果表明,培养基中的
随着经济建设的发展,我国的电网建设发展迅速,在整个电力环境的市场竞争下,为了适应新时期电网结构的多次规划与建设,现今开始尝试基于二次规划因素的电网规划,电网需要紧跟
四川古镇的街道空间是聚落中体现连续性的重要元素,其表现形式为街道的纵向、横向与竖向延伸。四川古镇街道空间连续性的意义通过边界限定连续型、空间限定连续型、单侧限定