【摘 要】
:
进入21世纪,互联网技术飞速发展,各种智能设备每日都在产生大量的非结构化数据。面对如此庞大的数据量,传统的存储区域网络(SAN)和网络附属存储(NAS)显然已经难以满足人们的需求。因此,对象存储(OBS)因其优异的性能和低廉的成本而进入了人们的视野,并有效地满足了广大用户对于大量数据的存储需求,为大数据存储问题提供了一种全新的解决方案。但是,目前在对象存储系统中,对于热点数据的处理并未发挥其最大的
论文部分内容阅读
进入21世纪,互联网技术飞速发展,各种智能设备每日都在产生大量的非结构化数据。面对如此庞大的数据量,传统的存储区域网络(SAN)和网络附属存储(NAS)显然已经难以满足人们的需求。因此,对象存储(OBS)因其优异的性能和低廉的成本而进入了人们的视野,并有效地满足了广大用户对于大量数据的存储需求,为大数据存储问题提供了一种全新的解决方案。但是,目前在对象存储系统中,对于热点数据的处理并未发挥其最大的效用,对象存储系统的性能仍有很大的提升空间。为此,本文设计并实现了对象存储热点预测系统,利用存储对象的各项属性来对文件的访问热度进行预测,进而智能地调整文件的存储方式,实现对于热点文件的预测和管理,提高对象存储系统的性能,优化了用户的文件存取体验。为了实现系统核心的文件热度预测功能,文本设计了一种文件热度预测算法。传统的预测方法主要着眼于对文件历史访问记录的分析,却忽略了文件名称和访问量之间的内在联系。因此,本文利用集成学习的方式将文件历史访问记录和文件名语义融合起来,从而得到一个预测效果更好的模型。本算法的实现主要分为三个部分,首先,考虑到历史访问记录为时间序列数据,所以采用LSTM模型来对文件历史访问数据建模;接着,对于文件名中包含的语义信息,先通过访问量划分热度等级,再采用文本分类的方式分类得到文件热度等级,此部分使用TF-IDF加权word2vec的方式提取文本特征,并通过SVM分类器进行分类。再利用集成学习方法将前两个模型进行融合,进而得到预测效果更好的预测模型。最后通过实验验证,将LSTM模型用于对象存储系统的文件热度预测是可行的,且较其他模型表现出更好的预测效果,而将文件名语义融合进LSTM模型后,又对预测效果有了进一步的提升。在完成了核心算法的设计和实现后,本文对系统的功能性需求和非功能性需求进行了分析,根据需求分析的结果,阐述了系统的总体架构,对功能模块进行了划分,并设计了数据库的结构和系统接口,接着对系统的各个功能模块进行了详细的设计和实现。最后,对系统的功能进行了测试,经过测试本文所实现系统的各个功能皆已满足业务需求,可以正常使用。
其他文献
随着互联网的发展,电子商务对人们的生活习惯产生了深刻影响,网络订餐、网络购物等消费方式成为了现代人生活的重要组成部分,随之而来的是消费者在购物平台上发表的海量评论
互花米草Spartina alterniflora原产于北美洲,广泛入侵我国滨海湿地生态系统,已造成了巨大的生态学影响。昆虫是滨海湿地生物多样性的重要组成部分,发挥着重要的生态学功能。
我国发电能源与负荷分布极不均衡,远距离输电工程在我国广泛存在,而直流输电在远距离输电中相比传统交流输电有着无可比拟的优势,因此近几年特高压直流输电技术得到了大力发展,促使我国交直流混联电网格局的形成。高效的电网故障诊断方案是电网安全稳定运行的前提,基于开关量的电网故障诊断方案在保护和断路器误动和拒动,以及报警信息漏报、误报等情况发生时非常容易误判故障元件。在准确性、完备性及容错性等方面电气量信息比
随着经济水平不断发展,我国农业的发展也逐渐朝着现代化迈出脚步。借鉴国外经验,以家庭农场为代表的农地规模化经营是农业现代化的重要实现形式。而农户兼业化不断发展导致农户种地积极性不高、农地闲置等现象也为农地规模化经营提供了发展空间。农地规模化经营作为我国农业未来发展主要方向,既是必要的,也是可行的。但是对于小农户而言,在不同农地规模化经营路径中选择合适的发展路径才能实现收益最大化、成本最小化,才能实现
为了能够在勘探上取得新的成果、深化顺北地区奥陶系深层油气成藏机理、预测有利的油气勘探靶区和提高勘探成功率。对顺北地区及其周边油气田进行地球化学对比研究、评价油气
在进行输油管道设计时,经济流速是确定备选管径的主要依据。本文以计算期的总费用现值最小为目标函数,建立了不加热输油管道总体工艺方案优化设计的混合整数非线性规划模型,
在钢铁行业浊环水系统中,旋流井采用的长轴泵、无密封自控自吸泵等提升泵,普遍存在能耗高,稳定性差,故障率高等问题,从而直接影响和制约钢铁企业的稳定生产,因此迫切地需要一
随着油气勘探开发难度越来越大,发现储量的品质也越来越差。我国近10年来新增油气探明储量6.94亿吨,在现有技术条件下能够获得经济效益的可动用储量所占比率不到25%,探究油气
FV520B钢拥有高强度、良好的韧性和耐蚀性,被广泛用作离心压缩机核心部件——叶轮的制造材料。激光焊接具有焊接效率高、热输入量小、接头变形小等优点,成为高端设备制造领域
CHC(Chenghai Chlorin)是脱镁叶绿酸a的主要水解产物,CHC本身与衍生物被广泛的用于癌症的荧光检测和光动力治疗。但是由脱镁叶绿素酸a水解得到的CHC产品成分较为复杂且不易分