基于强化学习的MS-SSD数据流分配算法的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:kenapple1368
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着数据的爆发式增长,基于NAND闪存芯片设计的固态硬盘在消费类电子产品和大型数据存储系统中受到了广泛欢迎。与传统的机械硬盘相比,基于NAND闪存芯片设计的固态硬盘具有读写速度快、体积小、功耗低、防震抗摔等优点,但NAND闪存芯片的写前擦除且不能原位更新的特点,使得固态硬盘增加了一个垃圾回收的额外操作机制,且每个固态硬盘上的垃圾回收次数是有限的,频繁的写入操作不仅能够影响整个系统的性能也限制了固态硬盘的使用寿命。因此,如何在提升计算机存储系统性能的同时有效降低垃圾回收的代价,成为了存储行业亟待解决的一个重要问题。目前国内外研究学者已从不同方向提出了许多解决方案,包括设备接口扩展、数据管理调度、热度识别等,但这些方案大多数基于统计学习、规则策略或建模仿真等方法,容易受到工作负载的影响,准确率不高。针对上述问题,本文提出了一种基于强化学习的数据流分配算法,该算法引入了强化学习的自适应学习能力和多流写入技术,能够快速有效地将具有相似生命周期的数据信息放置于连续物理块中进行存储,以便在激发垃圾回收机制时有效地减少写入放大和提升系统性能。本文的研究内容主要包括以下几个方面:(1)定义固态硬盘的性能优化问题。分析影响固态硬盘写入性能的因素,针对运行环境、工作负载、垃圾回收机制、写入放大现象、数据访问信息等重要影响因素,进行数学符号化定义,通过分析各变量间的关系进行性能建模。(2)设计并实现基于强化学习的数据流分配算法,构建固态硬盘性能优化模型。首先,根据官方文档与SMART检测指标中的描述对固态硬盘的特征进行两次筛选,得到影响固态硬盘写入性能的属性集合。然后,在多流写入技术基础上,采用强化学习的思想,设计并实现固态硬盘的数据流分配算法,为每个Chunk信息快速有效地分配不同的流ID。最后,通过分析写入放大的取值变化程度,对固态硬盘性能优化模型进行评估验证。(3)设计对比实验,分析实验结果。首先,在My SQL工作负载场景下分析本文方案的时间性能开销。然后,在FIO、My SQL、Rocks DB和Docker四种具有代表性的工作负载场景下,使用常规作业分发NORM、基于规则的数据流分配算法RBSA和动态数据聚类算法KM三种算法对本文提出的数据流分配算法Smart Stream进行验证与分析。实验结果表明本文的数据流分配算法性能提升了18.6%,写入放大降低了53.9%。
其他文献
双有源全桥DC-DC变换器作为现代电力电子变压器的核心器件,具有功率密度高、体积小、效率高以及易于直插式连接和替换的特点,它在储能发电、电动汽车以及直流输电中有着广泛的应用,在未来的工业应用中有着美好的前景。本文主要研究了双有源全桥DC-DC变换器中开关管寄生参数对于系统输出效率的影响,并在此基础上进行了运行效率的优化实验。本文主要研究内容如下:(1)本文首先介绍了双有源全桥DC-DC变换器的工作
目的观察并评价自动弹力线套扎术联合消痔灵注射术治疗直肠前突的临床疗效,为临床上治疗直肠前突提供一种新的治疗方式。方法将符合纳入标准的90例重度直肠前突女性患者随机分为治疗组和观察组,治疗组30例患者采用自动弹力线套扎术联合消痔灵注射术,对照组A组30例患者采用Block术,对照组B组30例患者采用Block术联合消痔灵注射术,分别对三组患者手术住院情况、总有效率、术后并发症、术后1个月与3个月症状
目前,工业废水排放引起的水污染问题已引起全球关注。其中,造纸、皮革、纺织、塑料、化妆品和电镀工业等行业都会产生大量工业废水。这些工业废水中的主要污染物包括有机染料(特别是阴离子染料)和重金属离子如Cr(VI)和As(V)等,已有报道表明这些有机染料和重金属离子的出现会导致人类产生多种生理和心理疾病,如癌症、肿瘤、贫血和畸变等。所以,在废水排放前去除这些有害的染料和重金属离子就显得尤为重要。但现有的
脑胶质瘤是人类最常见的难治性原发性颅内肿瘤,其中多形性胶质母细胞瘤占总原发性脑胶质瘤的50%以上。尽管目前外科手术切除、放疗、化疗和生物疗法等综合治疗措施有很大的进
氧化石墨烯(Graphene Oxide,GO)作为石墨烯重要的衍生物,具备优异的机械性能及稳定的孔隙二维结构,在污水处理、海水淡化和能源化工领域极具潜力。目前,燃煤电站主要采用三联箱
水稻病害的监测与诊断对保证国家粮食安全具有重要意义,基于分子生物学的病害检测方法可实现病害的精准分析,但该方法成本高、效率低、需要专业技术人员操作,在农业生产中难以实现,而近年来光谱技术在病害检测中的应用,为水稻病害高通量、快速的检测提供了可能,本研究以东北粳稻纹枯病为研究对象,展开病害光谱响应特征分析、病害识别、病害等级划分、病害指数估测等方面的探讨,主要研究内容如下:(1)研究基于水稻叶片尺度
基因测序的意义是使人类从根本上认知疾病发生的原因,做到正确的治疗疾病、尽早的预防疾病。例如肿瘤和红斑狼疮等疾病都是和基因变异有关,如果能过通过测序技术知道变异点,对精准治疗,攻克难题有重大意义。第三代测序技术是Pac Bio公司的Single Molecule Real-Timesequencing technology(SMRT)技术和Oxford Nanopore Technologies(O
党的十九大作出实施乡村振兴战略重大决策部署,对于新时代“三农”工作意义重大。实施乡村振兴战略,必须破解人才瓶颈制约,要把人力资本开发放在首要位置。加快新型职业农民培育,提升农民素质,实现人力资本的积累是破解人才瓶颈制约的关键,这就需要通过文献研究法、访谈法、案例研究法,对乡村振兴背景下S省W市新型职业农民培育现状进行实证研究。基于政府角色理论、人力资本理论对新型职业农民培育存在的问题进行分析,在此
在科技服务业领域,构建科技咨询大数据服务平台,需要将跨应用(企业/产业、专利/文献、经济/资讯等)、异来源(网络爬虫、数据库、文件等)的多场景数据进行集成、治理、融合。在围绕该大数据平台建设过程中要解决以下问题:(1)平台需要爬取多个垂直领域的开放网页应用数据,目前的主流爬虫框架存在重复编码、不便管理的问题。(2)对多场景数据进行集成,现有的数据集成工具通用性差,无法统一数据集成流程,且在实时增量
中国社会转型期出现女性“主妇化”的趋势,受过良好教育以及光鲜亮丽的白领在工作角色与家庭角色的角逐中也逐渐趋向选择投入家庭。回归家庭后全职主妇们又想要开创自己的副业,伴随消费方式转型出现的一种新型商业模式——微商成了热门选择,微商帮助她们完成从全职主妇到微商主妇的转变。本研究从自我认同的视角尝试解释这种转变的原因。研究运用深度访谈法,从全球化与市场化背景下的自我认同出发,透过主妇微商前后的生活叙事,