一种基于混合索引的HDFS小文件存储策略

来源 :重庆邮电大学学报(自然科学版) | 被引量 : 23次 | 上传用户：qaz370724qaz

【摘要】

：

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达

【作者】

：

熊安萍黄容邹洋

【机构】

：

重庆邮电大学计算机科学与技术学院

【出处】

：

重庆邮电大学学报(自然科学版)

【发表日期】

：

2015年01期

【关键词】

：

Hadoop分布式文件系统(HDFS) 小文件元数据服务器缓存混合索引 hadoop distributed file system（HDFS） sma

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

欢迎订阅2005年《国外医学》预防、诊断、治疗用生物制品分册

期刊

网络数据包传输占用缓存大小混沌特性分析

建立一个无尺度元胞自动机模型,更为真实地模拟网络中数据包传输过程,得到单个节点在不同时刻和所有节点在一定时刻的缓存占用大小,在此基础上采用计算最大Lyapunov指数的方法,研究了网络节点缓存占用的混沌特性。研究结果表明,网络中单个节点占用的缓存大小表现出混沌性,而所有节点构成的系统占用的缓存大小在整体上趋于稳定,反映出网络数据包传输系统具有突现的复杂性特点。

期刊

元胞自动机缓存大小LYAPUNOV指数混沌性稳定性cellular automaton buffer size Lyapunov expone

一种实现下行同步序列快速搜索的新方法

针对无线通信系统中下行同步序列(summarized the existing downlink synchronization sequence,SYNC_DL)的搜索方法和对其计算复杂度方面存在的问题进行了分析。结合系统帧结构的特点,设计了一种基于逻辑特征窗的低复杂度SYNC_DL搜索方法,该方法通过逻辑特征窗的设置,将大量的数值计算转化为逻辑运算,从而减少了计算量。数值仿真结果表明,与传统方

期刊

下行同步序列搜索帧结构逻辑特征窗downlink synchronization sequence searching frame structure

基于时变演化博弈机制的WSN数据采集算法

为解决当前WSN数据采集算法存在的种子节点收敛准确度不高、数据区域传输存在抖动难以控制的不足,提出一种基于时变演化博弈机制的WSN数据采集算法。构建种子节点聚类初始化方法,并采取灰度-矢量微分映射机制进行聚类迁徙,实现时变条件下种子节点-区域节点的动态映射更迭;设计流量切换阈值,并结合演化博弈机制来构建区域流量均衡机制,完成节点在阈值范围内的流量负载均衡;结合能量阈值机制来建立经济效益评估模型,改

期刊

无线传感器网络时效演化博弈数据传输抖动流量均衡经济效益评估种子节点切换WSNTime varying evolutionary gameData t

一种基于混合索引的HDFS小文件存储策略

其他学术论文