论文部分内容阅读
近年来,随着新兴技术的迅猛发展,越来越多的信息被数据化,数据从GB、TB到PB量级海量急剧增长。存储系统的性能面临着严峻挑战,而云存储具有可扩展、高性能、高可用性、大规模数据访问的特性,能够为海量数据的存取提供方便,但是采用机械硬盘来存储数据,很难满足多用户高速I/O的请求。新型非易失存储器具有与DRAM相媲美的访问速度,是构建云存储设备的重要存储介质,但是存在着读写延迟和使用寿命有限等问题。 本文针对采用新型存储器构建的云存储设备存在的问题,提出了如下的解决方法: (1)在云存储设备中引入缓存技术,使用DRAM构建主缓存和原始数据缓存。主缓存用来合并对同一数据的多次写操作,降低写存储设备的数据量;原始数据缓存用来降低写回存储设备的数据量。采用比较写回算法和缓存数据项主动淘汰策略降低了写云存储设备的21%-99%数据量,延长了云存储设备的使用寿命,提高了7%-27%的I/O性能。 (2)在云存储设备中添加均匀分布策略来分散写操作,较为均匀的把数据写到存储块中,避免过度的对存储单元进行写操作。采用哈希函数管理存储块,当文件在创建或者由于文件修改后文件容量变大时,为文件申请新的存储块。通过申请写次数较低的存储块,避免写操作的集中;采用分散式回收存储块算法,当文件删除或者由于文件修改后文件容量缩小时,回收文件所占用的存储块,降低均匀分布策略对存储设备I/O性能的影响。均匀分布策略使得存储块的写次数,降低为原来的1/15左右,I/O性能仅下降约3%。 通过实现基于新型存储器云存储设备的原型,并对原型系统进行了测试与分析,验证了上述方法能够有效的解决基于新型存储器云存储设备存在的问题,具有一定的稳定性。