【摘 要】
：
随着AI技术的不断发展,它对数据的需求也越来越大。但在海量小文件场景下,现有的分布式存储系统并不能很好地满足AI训练的需求。而AI训练过程中所使用的GPU成本高昂,若分布式存储系统不能提供与之匹配的I/O速度,将无法充分发挥GPU的计算能力,这将浪费宝贵的计算资源。因此,本文基于海量小文件的场景,针对AI训练过程多读多写的特性,设计与实现了一个多读多写的小对象存储系统。具体的研究内容如下:（1）针
论文部分内容阅读
随着AI技术的不断发展,它对数据的需求也越来越大。但在海量小文件场景下,现有的分布式存储系统并不能很好地满足AI训练的需求。而AI训练过程中所使用的GPU成本高昂,若分布式存储系统不能提供与之匹配的I/O速度,将无法充分发挥GPU的计算能力,这将浪费宝贵的计算资源。因此,本文基于海量小文件的场景,针对AI训练过程多读多写的特性,设计与实现了一个多读多写的小对象存储系统。具体的研究内容如下:（1）针对小对象的写性能问题和范围查找的需求,本文参考已有的K/V分离的LSM-Tree方案,以解决小对象的写性能问题,并重新设计垃圾回收的过程,使数据能够保证有序性,以满足范围查找的需求;同时,为垃圾回收设计高低水位来衡量空间利用率,以此判断垃圾回收的时机,来提高垃圾回收的收益,并延缓非必要的垃圾回收,避免影响系统的正常业务。（2）针对小对象的数据分布问题,本文基于现有的哈希槽的方法,设计出自动化哈希槽的方法,以解决其需要人工分配哈希槽的问题,实现在初始时能够自动进行初始调度,在负载不均衡和节点宕机时进行平衡调度。（3）针对小对象读性能问题和元数据存储问题,本文结合自动化哈希槽的方法,将小对象的元数据分散到各个节点,避免因在一个节点上管理小对象的元数据而限制系统的可扩展性,并借助小对象的元数据,提高数据读取效率。（4）针对云存储平台在本系统的应用问题,本文设计延后确认机制,以此来提高数据存储的效率,并提高客户端数据的传输效率,同时借助客户端缓存的数据,避免了因分区迁移而导致内部节点需要进行数据迁移的麻烦,简化了分区迁移的过程。（5）针对存储系统单点故障的问题,本文采用一主多从的架构,由主节点进行资源管理和任务调度,从节点作为主节点的备用机;同时,为了减轻主节点的压力,主节点通过云存储平台将关键的元数据实时同步给从节点,让从节点承担关键元数据分发的任务,实现客户端的分流。
其他文献
以智能诊断为出发点，提出一种基于同步压缩小波变换（SWT）和卷积神经网络（CNN）的诊断方法。首先，对振动信号进行SWT获得时频图，随机划分为训练和测试集；然后，利用CNN强大的特征提取能力提取时频图特征；最后，利用SoftMax层进行故障模式的自动诊断。实验结果表明：该方法在滚动轴承的故障诊断中具有较高的可靠性。
沉降炉中燃烧两种污泥研究温度对灰行为的影响。结果表明：随温度升高颗粒直径向大尺寸范围移动，在熔融聚集作用下1300℃时颗粒直径略微减小；灰形态随温度升高熔化程度增加，球颗粒数目增多，结合1300℃的灰平均圆度与EDS结果，推测Fe和球形灰颗粒的形成有关；泥样主要矿物相分是SiO2、AlPO4、Na/K-硅酸盐、白云母、水钙沸石，随温度升高转变为CaAl2Si2O8、NaFe3Si2O6等辉石矿物，
基于位置的服务（LBS）可以根据智能手机用户所在的情景提供适当的服务,这种服务越来越受用户欢迎,还有很大的商业潜力。伴随着近年来智能家居、智能房屋等概念越发火热,涌现了大量基于室内位置的服务。室内位置识别最常见的做法是利用用户携带的移动设备感知用户的位置信息,按照算法类型可分为基于模型和基于指纹的室内定位方法。基于模型的室内定位方法需要对室内空间建模,无法用于布置复杂的室内环境;而基于指纹的室内定
目的 探究静脉注射不同剂量免疫球蛋白对新生儿肺炎患儿的疗效及其免疫抑制作用。方法 选取新密市妇幼保健院2019年12月至2021年12月接诊的82例新生儿肺炎患儿作为研究对象，采用随机抽样法作为分组基础，分为常规剂量组（常规剂量免疫球蛋白静脉注射）和大剂量组（大剂量免疫球蛋白静脉注射）各41例，对两组疗效、动脉血气指标、免疫功能、炎症因子进行分析比较。结果 大剂量组治疗效果高于常规剂量组，差异有统
通过TG分析，研究4种加热速率对空气气氛中污泥燃烧行为的影响。利用FWO和DEAM 2种模型计算污泥燃烧动力学和热力学参数。当升温速率为20 K·min-1时，污泥在空气气氛中的DTG曲线存在一个比较明显的主峰，主要的燃烧阶段发生在433和923 K之间，污泥的质量损失为33.646%。升温速率对污泥燃烧过程基本无影响，4种加热速率下的S、C和Di均随着升温速率的增加而逐渐增加。2种模型计算的Ea
在阵列信号处理领域,波束赋形技术一直以来都是一项核心技术。这项技术通过调整阵列中各个阵元天线的馈电激励,达到控制接收或发射的电磁波功率在不同的空间角度的分布的效果。随着近些年科技的发展,在实际工程应用中,阵列的规模也朝着大规模天线阵的方向发展。天线阵列随着规模的增大,在获得更好的性能的同时,系统复杂度和馈电网络的成本也在逐渐攀升,这使得大规模天线阵列的应用研究遇到了挑战。本文着眼于大规模天线阵的应
推进全面从严治党、依规治党，需要进一步完善党内法规制度体系。党内法规体系建设水平一定程度上取决于人才培养质量的高低，将人才培养摆在更加重要的位置有助于党内法规的长远建设和发展。党内法规人才培养对坚持党的领导、加强党的建设、推进依规治党具有重大现实意义。文章针对党内法规人才培养过程中存在的人才培养制度有待健全、人才使用模式有待改进、实体培养机构有待发展等问题，提出要找准问题症结，从深化教育模式转变、
关于PCB元器件自动定位是电子设计自动化领域一个重要的应用型研究任务,PCB元器件自动定位的目的是为了实现PCB元器件在机器进行贴装元器件的过程中,能够准确地贴装每一个元器件,减少人工去检查贴片位置的中间过程。人工智能发展的今天,极大地推动了工业自动化领域的发展,SMT自动贴片技术的发展在现阶段已经相当成熟,2018年美国“电子复兴计划”,强调美国制造业将人工智能的应用转移到电子智能制造产业,我国
人们的沟通交流模式因移动通信而发生改变,5G的定位不仅在于它能为用户提供更好体验和更多业务,还是连接行业的网络。5G网络技术在全球应用领域范围内的拓宽,使得其在网络系统设计和优化过程中变得更为复杂,将其在网络应用中所具有的支撑能力进一步拓宽至网络可靠性、时延、用户体验速率、连接密度等多个关键性能指标（Key Performance Indicator,KPI）方面[1],人工智能（Artifici