基于在线重复数据删除技术的Openstack镜像管理系统的设计与实现

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:jcmmdq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息化高度发展的今天,人们对数据的依赖越来越大,信息技术已经从以计算为中心转化为以数据为中心。2011年2月,IDC发布了最新的《企业级外部存储市场季度跟踪报告》,报告指出到2020年全球产生的信息总量将达到35ZB(1ZB=1000EB=100万PB=10亿TB),而2010年这一数字却仅为1.2ZB。数据的爆炸性增长,也引起业界和学术界越来越大的关注。爆炸性增长的数据中,充斥着大量重复的数据。重复数据删除技术便成为数据存储领域中一个重要的研究热点。根据数据集的不同,重复数据删除技术可以将存储压缩为原来的18~1500,被广泛应用于数据备份领域。云计算将虚拟化的资源通过互联网以服务的形式提供。其中IaaS服务层通过虚拟机向外提供服务,虚拟机配置和安装内容的区别导致虚拟机镜像数量庞大。本文在阅读国内外文献基础上,研究了重复数据删除的关键技术和镜像重删的特点。针对开源云平台Openstack镜像管理系统在镜像存储和镜像传输中的不足,设计并实现了基于在线重复数据删除技术的Openstack镜像管理系统。本文的主要工作总结如下:(1)研究了重复数据删技术和云计算。其中,对文件切块方式和内存指纹索引技术作了深入研究,主要关注两个问题:文件格式和切分方式的联系与内存指纹索引技术,其中包括稀疏矩阵索引和布隆过滤器。(2)设计并实现基于在线重复数据删除技术的Openstack镜像管理系统IM-Dedup system。该系统利用静态分块技术进行文件分成若干数据块,使用指纹预传输技术避免重复数据块的网络传输,在镜像存储端部署带重复数据删除功能的核心态文件系统以减少存储空间,使用内存过滤器减少磁盘索引次数,指纹存储区的集中可以提高数据读取的局部性,使用有限的内存占用率达到了较高的IO吞吐率。其创新点在于,提出了一种双重的在线重复数据删除方法,并且实现了双重在线重复数据删除镜像管理系统,不仅在镜像传输上使用了重复数据删除技术,在镜像存储环节也使用重复数据删除技术,达到存储使用量和带宽消耗同时减小的目的。(3)搭建实验平台,并对IM-dedup镜像管理系统进行实验评测。对其重复数据删除率,镜像上传时耗,镜像恢复时耗进行实验,并与原有系统进行对比。此外,本文参照亚马逊S3存储平台的计费模型,对IM-Dedup镜像管理系统的花销作定量分析,并与原有的镜像管理系统作对比,进一步显示了IM-Dedup镜像管理系统优越的经济性。(4)对在研究与开发IM-dedup镜像管理系统上所做的主要工作和贡献进行了总结,并提出了对IM-dedup镜像管理系统未来工作的几点展望。
其他文献
<正>董老师两次应邀来徐州执教《老王》,分别在初中和高中进行。这两节课有一个显著的共性,即都充分体现了董老师的"生活化语文"的教学追求。所谓生活化语文教学,就是把读写
目的:研究脉络丛肿瘤的影像学表现,探讨其诊断与鉴别诊断。方法:搜集39例经手术病理证实的脉络丛肿瘤,其中脉络丛乳头状瘤35例,脉络丛癌4例。男性13例,女性26例,年龄1~60岁,平
数据挖掘是从数据库或数据仓库等大量的信息数据集中发现隐藏于其中的有效知识的过程。序列模式挖掘是一种按时间或其他顺序挖掘出现频率高的频繁项集。序列模式挖掘是数据挖
“三农”问题是在推动我国经济平衡发展和构建和谐社会的过程中遇到的一个难题。解决“三农“问题必须解决好农村地区经济发展的问题,而农村经济发展离不开农村金融的支持。
目的:制备葛根素单克隆抗体,并研究其应用范围及方法。1合成葛根素-牛血清白蛋白(免疫原)与葛根素-多聚赖氨酸(包被原)偶联物,并制备葛根素单克隆抗体。2利用葛根素单克隆抗体
井冈山革命老区“五县一市”是井冈山革命根据地的主要组成部分,包括江西省辖区的井冈山市、永新县、遂川县和莲花县,湖南省辖区的炎陵县和茶陵县。井冈山革命老区是集老区、
以苯酚为液化剂,对杉木Cunninghamia lanceolata树皮进行了液化实验。分析了反应温度、液比(苯酚与杉木树皮的质量比)、催化剂的种类和用量及液化时间对液化反应的影响。结果
<正>在中小学设置语文早读课,既是语文学科自身需要,又符合素质教育的要求。而现阶段一些学校的语文早读课情况急需改善。早读课作为语文学习的重要辅助手段,需要引起重视。
目的:探讨原发周围型肺腺癌的CT征象与病理学组织分化程度的关系。方法:回顾性分析83例病理证实的原发周围型肺腺癌的CT表现,比较在低分化和中高分化腺癌中的差异,统计分析采
随着人力资源开发与管理在企业的地位日益重要,做好绩效管理已成为企业关注的焦点。自2008年电信重组以来,中国移动一家独大的形势日趋逆转,竞争形势空前激烈,内部管理问题逐