基于数据依赖关系的云存储优化算法研究

来源 :电子科技大学 | 被引量 : 2次 | 上传用户:chenjinggoigo123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储作为一种新兴的存储模式,以其低成本、高可靠、弹性和按需付费的特点,吸引了越来越多的企业和用户将数据放在云端。如何降低云存储中海量数据的存储开销成为一个重要的问题。在云存储中,数据之间可能存在依赖关系。例如,由于客户端分辨率和带宽等因素的差异,视频网站通常会将原视频文件按不同码率转码生成清晰度不同的视频文件。此时,原文件和转码后的文件之间就存在依赖关系。目前,基于数据依赖关系降低数据存储开销的方案是:通过算法决策数据是否需要存储。对于不存储的数据,当其收到访问请求时,先利用依赖关系生成数据,再提供访问服务。此时,系统的整体开销包含存储数据产生的存储开销和生成数据产生的计算开销。由于不存储的数据通常访问频率较低,因此其计算开销小于存储开销,使得系统的整体开销小于以往存储所有数据的存储开销。然而,现有方案在存储数据时,使用固定的多副本存储策略,没有进一步考虑数据存储策略可变的情况。也没有考虑当数据生成时间超出用户允许的响应延迟时间时,数据不可用的问题。针对现有研究的不足,论文提出了基于数据依赖关系的云存储优化算法。在保证数据可用性指标的前提下进一步降低系统整体开销。具体工作和创新点包括以下四个方面:(1)提出了一种基于数据依赖关系的低冗余数据存储模型(Data Dependency based Storage Model with Reduced Redundancy,D2SMR2)。与现有研究不同,该模型中数据的存储策略可变,降低了数据副本的冗余度,提出了新的数据整体开销计算模型,提出了数据可用性的约束条件。(2)提出了D2SMR2中数据可用性和数据生成时间的计算方式。与现有研究不同,D2SMR2中数据可用性考虑了用户允许的响应延迟时间和数据存放节点两个因素的影响。此外,在D2SMR2中数据的生成时间是一个随机变量,与数据直接或者间接依赖的数据故障状态有关。(3)提出了降低系统整体开销的数据存储策略决策算法。算法对新数据直接决策数据的存储策略,并在每个时间周期T结束时,根据周期T内数据的访问记录,更新依赖关系图中数据的存储策略。(4)搭建了基于数据依赖关系的云存储仿真系统,并将现有算法和本文提出算法进行仿真实验对比。相比以往仿真环境,系统能够记录数据的依赖关系,模拟节点故障、故障恢复、请求排队和数据生成等。基于该仿真系统,论文在随机生成依赖关系的数据和真实数据上分别进行仿真对比实验,验证和评估了论文提出的模型和算法。
其他文献
图像分割是数字图像分析的重要环节,在整个的图像分析中起着承前启后的作用,它既是对所有图像预处理效果的一个检验,也是后续图像分析与解释的基础。因此,过去的四十多年里,
随着互联网和多媒体技术的快速发展,图像等多媒体信息呈爆炸性增长。传统基于文本的信息检索技术已经无法适应图像信息的检索需求,基于内容的图像检索成为一个重要的研究领域
多相流参数的检测技术是一个迫切需要发展的研究方向。但是由于多相流之间存在着相对速度和界面效应等问题,导致了多相流参数检测的难度系数较大。经过近几年来的研究发现,过
视频监控是当前计算机视觉的研究热点,而运动目标的分割和运动阴影的检测是视觉监控中的首要问题。运动目标分割的目的是从图像序列中将变化区域从背景图像中分割出来。但是,在
本文从介绍网络安全的现状、所面临的威胁、发展趋势及其研究的重点出发,对当前主动防御技术进行了基本的介绍,对各种技术进行比较,指出其优缺点。本文采用了基于程序行为分
随着网络时代的到来,互联网已经成为了一个重要的信息处理平台。如何在互联网上更加快捷、方便地交互和处理数据已经成为开发人员和用户的共同愿望。当今XML已经成为Internet
学位
近些年来,机器人开始走进人们的日常生活中,日益改善着人们的生活方式。而目前机器人与人的人机交互却没有与之相应发展起来。目前人与机器人交互方式仍然是鼠标、键盘、遥控
近年来,社会各界对云计算的关注度不断攀升,各种规模的商业云平台不断被建立起来,为远在千里之外的用户提供服务。为了保证服务质量,企业不惜投入大量资金在购买带宽上。然而
随着互联网的迅速发展和普及,网络已经成为人们获取信息的一个重要途径。由于网络信息资源飞速增长,如何有效地处理这些海量信息,并检索出用户所需信息成为一个非常重要的研
论文以数字图像处理为理论基础,借助了一些信号处理和计算机视觉上的一些思路来研究古碑文图像的处理,通过对大量的古碑文图像进行分析,针对不同的碑文图像特点,对不同的碑文