面向IoT的高并发时序固态存储系统

来源 :江苏大学 | 被引量 : 0次 | 上传用户:dawneagle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网(Internet of things,Io T)的迅速发展,爆发式增长的Io T时序数据给计算机系统带来巨大的压力。新型非易失性存储器(Non-Volatile Memory,NVM)具有持久性存储、可字节寻址、接近DRAM的读写速度等特性,能与基于Flash的SSD构成混合固态存储系统,为解决Io T系统中的时序数据存储墙问题带来可能。但目前的时序数据存储系统应用均是针对传统的存储设备而设计,缺乏适应NVM设备的优化机制,难以发挥NVM设备的优势。另外,现有的时序数据存储系统大多依赖于通用数据库管理系统,缺乏针对Io T时序数据特性的原生存储管理机制。因此本文以面向Io T的NVM设备与SSD混合固态大容量高并发时序数据存储系统为研究目的。(1)分析NVM设备对现有存储系统和时序数据存储与管理系统带来的挑战,给出了面向Io T高并发时序固态存储系统的结构,分别从Io T时序数据的管理引擎和I/O引擎这两方面开展研究。(2)针对现有时序数据存储系统I/O软件栈过长、缺乏原生的时序数据存储管理引擎的局限,设计了嵌入式的Io T时序数据管理引擎。针对NVM设备、SSD和Io T时序数据的特性,设计了融合删冗和压缩的数据存储策略、时序数据的分层管理策略和分级异构的时序数据索引机制。并基于Intel Optane DC persistent memory和其开源驱动PMEM和SSD的驱动NVME实现了嵌入式Io T时序数据管理引擎的原型(TS-NSM),使用YCSB-TS进行了测试与分析,测试结果表明,TS-NSM相比Influx DB和Open TSDB,写吞吐率最高能提升243.6倍和174.3倍、查询吞吐率最高能提升10.1倍和14.4倍。测试了原型系统的数据压缩算法的性能,实验结果表明,TS-NSM最高能比Influx DB节省29%的存储空间。(3)分析了Io T时序数据的读写特性,针对目前NVM设备驱动的局限,给出了多队列并发I/O引擎的结构。设计了基于多队列的I/O管理策略,使用多个I/O队列和工作线程并行地管理与执行I/O请求。设计了基于Io T采集频率的负载均衡机制,进一步优化多队列中I/O请求的管理,均衡每个I/O队列的负载,提高存储系统并发读写Io T时序数据的能力。并基于Intel Optane DC persistent memory和其开源驱动PMEM,实现了多队列并发的I/O存储引擎原型TS-Engine,使用YCSB-TS进行测试,实验结果表明TS-Engine能使Open TSDB、Influx DB、TS-NSM的写吞吐率分别最大提高0.6%、7.8%、18.6%,读吞吐率分别最大提高1.8%、0.9%、10.6%;能使Open TSDB、Influx DB、TS-NSM的写延迟分别最多降低0.9%、2.8%、8.3%,读延迟分别最多降低1.0%、1.4%、6.4%。(4)在所设计的嵌入式Io T时序数据管理引擎和多队列并发I/O引擎的基础上,基于TS-NSM和TS-Engine,实现了面向Io T高并发时序固态存储系统的原型Io T-HCTSS,使用YCSB-TS作为测试工具,通过改变并发Io T设备数量和并发读写线程数量两方面进行测试,与挂载NOVA和EXT4文件系统的Influx DB和Open TSDB时序数据库进行对比。实验表明,相比于Influx DB+EXT4、Open TSDB+EXT4、Influx DB+NOVA和Open TSDB+NOVA,随着并发Io T设备数量的增加,Io T-HCTSS的写吞吐率分别最大能提升14.0倍、6.2倍、13.8倍和6.0倍,读吞吐率分别最大提升17.7倍、19.1倍、10.7倍和17.9倍;随着并发读写线程数量的增加,Io T-HCTSS的写吞吐率分别最大能提升236.9倍、164.4倍、229.9倍和161.3倍,读吞吐率分别最大能提升9.8倍、13.8倍、8.6倍和12.5倍。
其他文献
随着推荐系统的发展,用户越来越关注推荐结果的个性化以及可解释性。得益于点评功能的完善,用户评论文本作为一种既能表达用户情感态度又隐含服务特征的文本数据,越来越受到推荐系统研究者们的重视。当前,众多研究者开始对用户评论进行情感分析,并将分析结果引入服务推荐工作中。融合用户方面情感的服务推荐系统是将用户和服务的所有历史评论和交互记录作为研究样本,挖掘用户对服务方面的偏好,提取服务的方面特征,通过预测获
随着技术的飞速发展,智能产品的普及带给人们许多便利。越来越多的产品界面活跃于大众的视野中,界面所显示的视觉信息不仅丰富人们的视觉感受,提升使用效率,而且为人们提供优质的交互体验。但由于产品功能日趋复杂,许多用户面对智能产品衍生出的诸多功能都束手无策,甚至被排除在外。产品界面作为用户与产品信息交互的媒介,其优劣程度直接影响用户的使用体验。认知能力是用户操作产品界面的核心能力,如何提升产品界面对用户认
在许多重要的自然科学与工程技术问题中,当描述实际对象的某些特性随着时间或者空间演变的过程时,往往可以通过建立微分方程进行研究,如流体运动、光纤传播、种群遗传、人口发展、核反应等。因此,微分方程广泛应用于物理、生物、工程等各种领域,对微分方程的研究一直是数学领域研究的热点之一。获取微分方程的解对该方程所描述的问题具有重要的价值。一般而言,对大部分微分方程,得到其精确解十分困难。而对很多实际问题,需要
风能作为发展潜力巨大的可再生能源,具有资源分布广、转化效率高、对环境影响小等优点,其开发与利用日益受到重视。但是,大规模风电接入电网时,其间歇性和随机性会对电网的稳定运行和供电质量带来巨大挑战。对风电功率进行准确预测可以显著提高电力系统的安全性、稳定性和经济性。因此,围绕风电功率预测方法展开研究具有重要的实际意义与应用价值。本文针对实际风电场数据,采用数据驱动技术,结合群智能优化算法,对风电功率混
吴乔是清初诗坛著名的诗人和诗论家之一。《围炉诗话》是他最重要的诗学理论著作。本文以《围炉诗话》为本,从吴乔生平及著述考证、诗歌批评标准、诗歌批评实践以及诗学思想在其诗歌创作中的体现等四个方面,分析吴乔《围炉诗话》的诗学批评。吴乔主张“有意有法”的诗歌批评标准。他一方面重视诗歌创作要有“意”,另一方面也看重传统诗学中比兴手法的运用,认为比兴是虚句活句,能使诗歌含蓄委婉,亦能关注到诗歌的用词与用韵,强
图像分割是计算机视觉领域的基础任务也是经典难题。近年来随着深度学习的快速发展,人像分割在公共安防、自动驾驶、计算摄影等领域得到了广泛的应用。然而,现有分割方法的网络模型具有巨大的参数量和计算量,急需一种轻量化的人像精细化分割网络。本文通过对现有的图像分割算法、轻量化网络设计方法以及图像边缘优化算法进行研究,提出了快速自动化人像分割网络以及边缘精细化处理方法,主要工作内容和成果如下:(1)在基于编码
本文研究两类包含易感染者、无症状感染者、感染者和接种疫苗者(SAIV)的扩散型流行病模型。模型中行波解的存在性揭示了在何种情况下流行病会在空间中以常速波速进行传播。该研究有助于人们预防和提前采取措施控制流行病。第一部分研究一类时滞扩散型SAIV流行病模型。首先引入行波系统的一个扰动系统,构造扰动系统的上下解,应用Schauder不动点定理得到该扰动系统解的存在性,并讨论解的若干性质。然后利用极限逼
稻瘟病是水稻生长周期中的主要病害,去年稻瘟病发生面积达6500万亩次,造成粮食损失近1000万吨。由此,稻瘟病早期的检测工作成为一个重点,国内外大量开展了对于稻瘟病预警检测的研究。大多数稻瘟病检测需要基于手机、单反相机等便携式设备拍摄RGB图像,利用这些图像进行后续的图像识别。然而,传统稻瘟病图像检测、图像识别仍存在下述问题:(1)手机、单反相机等拍摄设备采集待测水稻病害样本时需要花费时间对焦,对
随着互联网连同教育事业的蓬勃发展,在线学习也逐渐成为炙手可热的领域,随之而来的便是在线学习资源的冗余,学习者无法迅速获取想要的学习资源,直接影响到学习者的学习兴趣和耐心。因此,能够在信息过载的时代挖掘出符合学习者切身需求的学习资源并进行精准推送,对于学习者有着非常重要的意义。为了能够更精确的分类学习者学习等级,从而提供符合其自身需求的学习资源,论文根据在线学习行为数据不平衡的特性利用Bagging
NOx是柴油车排放的主要污染物之一,为了严格控制NOx排放,通常采取机内净化技术与机外净化技术相结合的手段。目前,选择性催化还原(Selective Catalytic Reduction,SCR)技术凭借其高效的催化活性、较好的水热稳定性、良好的燃油经济性等优点已成为机外净化的重要技术手段,被广泛应用于柴油车后处理系统中。Fe-BEA催化剂凭借其优异的高温催化活性和抗水热老化性能,被认为是应用在