海量小文件相关论文
全国检察业务应用系统2.0是最高人民检察院基于"科学化、智能化、人性化"的理念研发的全国四级检察机关统一使用的信息系统,是新......
为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案.存储阶段,引入最优化......
基于目录聚合的分布式海量小文件存储技术能有效提供百亿级以上的海量文件存储与买时访问,主要适用于每个目录下有大量文件的情况.......
当前,由Apache基金会所研发的Hadoop云计算平台,已经迅速成为了大数据处理领域的热门首选。与此同时,个性化互联网及移动互联网技......
近年来，海量小文件读访问时延大成为并行网络文件系统（pNFS）的主要问题。其原因有两点:一是元数据访问频率高、耗时开销大;二是IO粒度......
当前海量小文件访问性能瓶颈是现有分布式文件系统需要解决的问题,其主要表现在高比例元数据并发访问和高随机小粒度数据I/O访问。......
海量小文件访问应用场景已经广泛存在，具有高比率高并发同步元数据访问与随机小粒度IO数据访问的两个本质特点，给当前分布式文件系统......
当前,随着计算机和信息处理技术的迅猛发展,应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。传统的存储技术在面对海......
随着互联网快速发展,数据呈爆炸式增长,在当前众多互联网应用场景中80%为小文件。相对于大文件,海量小文件的存取给文件系统带来巨......
HDFS(Hadoop Distributed File System)是Hadoop的底层文件系统,负责海量数据的存储。一般而言,HDFS存储文件大小为PB甚至TB级别时......
随着人工神经网络算法的成熟以及机器计算能力的提升,深度学习技术已经在众多领域都取得了重大突破。算法的成熟离不开大数据的支......
信息技术的发展使其产生的数据呈爆炸式增长,传统的存储方式已难以胜任海量数据的存储,尤其是海量小文件的存储。由于海量小文件在......
近年来,在移动互联网、物联网、云计算技术高速发展的推动下,采集的数据呈现出“井喷式”增长,数据类型繁多、体量变化大、流动速......
分布式文件系统HDFS被用来存储大文件,若在其中存储海量小文件将会严重消耗Name Node内存,影响系统性能,同时小文件也不利于使用Ma......
针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题，提出采用分布式文件来存储元数据，并通过元数据缓冲和......
为了解决HDFS(Hadoop distributed file system)在存储海量小文件时遇到的NameNode内存瓶颈等问题,提高HDFS处理海量小文件的效率,......
Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低.提出了......
Hadoop集群下每个小文件均占据一个Block,一方面存储海量元数据信息消耗了大量的NameNode内存,另一方面,Hadoop为每个小文件单独启......
海量小文件应用已经渗透到高性能计算、企业办公、互联网等多个领域。由于小文件主要存储在分布式文件系统中，海量小文件访问性能已......
SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据，往往需要从多个维度快速浏览文件，基于目录结构管理海量文件的......
针对分布式文件系统应用于海量小文件访问模式时，元数据请求过多导致系统性能下降的问题，提出了客户端元数据缓存授权机制的解决方案......
在互联网高速发展的背景下,个人、企业、社会产生的碎片化数据已达PB级,随之而来的海量数据的存储管理成为各企业争先研究的热点问......
随着美国GPS系统的现代化,俄罗斯GLONASS系统的更新发展,欧盟Galileo系统的正式运行以及我国BDS系统的逐步全球化,GNSS系统在空间......
随着数据规模的不断扩大,分布式文件系统以其海量数据支持、高可用、大规模并发访问和并发处理能力等优势获得越来越多的关注。目......
分布式文件系统（HDFS）存取大文件有很好的性能,但存取海量小文件时效率很差。鉴于此,提出一种小文件存取优化策略。存储小文件时,客......
高效管理海量小文件,提供低延时的小文件访问服务,是并行网络文件系统的研究热点.p NFS采用数据带外访问模式,元数据的访问频率高,......
所述的海洋观测资料共享服务平台在海洋信息化建设前期成果的基础上,充分加载、共享了业务化海洋观测获取的数据资源,提出一种基于......
大数据技术随着互联网的发展及信息量爆炸增长的趋势应运而生。面对异常庞大的数据,多种分布式文件系统为大数据的存储提供了解决......
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们......
近十年来,随着馆藏档案数字化工作快速推进,以及数字档案馆建设逐渐铺开,综合档案馆的数据量早已从GB级达到TB级,相信未来的区域档......
为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题，将NameNode职责分离，使用单独的NFS服务器同步存储元数据信息，以降......
随着大数据时代的到来,以及近年来移动互联网技术的快速普及,互联网上产生的小文件数量呈爆发式增长,因此企业对海量小文件存储的......
学位
海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。以GFS和HDFS为代表的分布式文件系统大多面向海量大文件的......
随着移动互联网的高速发展和快速普及,人们逐步进入万物互联的时代,每天都会产生海量的移动数据信息。特别是近些年不断兴起的短视......
随着互联网的普及和覆盖率提升,人们的日常生活已经开始全方位接入互联网。由此带来的是数据量的急剧增长,和数据类型的多样化。近......
内容分发网络(CDN)面临多终端、多业务融合所带来的各种技术挑战,自适应流媒体技术是一种结合了流控和HTTP渐进式下载的分发技术,......
本论文研究了基于web的海量小文件存储的解决方案，以数字化校园资源管理系统作为其海量小文件存储的具体实现。本论文中对海量小文......
针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法。......
机构知识库作为一种新型的学术交流模式和开放获取活动的绿色通道已逐渐成为国内外图书情报界关注的新焦点,随着机构库的发展其数......
随着Internet的飞速发展，传统的技术架构在处理海量数据方面显得越来越乏力。Hadoop作为一种能够对海量数据进行高效地分布式处理框......
在2019年的下半年,中国移动将把5G带到公众面前。5G带来的是什么?相比4G而言,5G大大提升了用户体验。同时也将会提升连接数据的密......
分布式文件系统在处理海量文件存储需求的问题上已有很多成熟的商业解决方案,但海量小文件问题一直是学术界和工业界的技术难题。......
