云计算是目前计算机领域最热的话题,HADOOP下的默认分布式文件系统Hadoop distributed file system(HDFS)因为其可靠性伸缩性以及在存储大文件时提供了强大的性能已经成为当今云计算研究领域事实上的标准,但在处理大量小文件时由于所有的文件请求都需要单Namenode进行处理,性能十分低下。本文首先对一些常用的分布式文件系统的原理以及内部实现做了简要介绍,然后对本文的目标原型HDFS作了深入的分析,包括架构,数据结构,数据块设置,以及读写策略,数据流模式等,并且分析了现有解决HDFS上小文件存储的一些方案的性能以及不足。针对HDFS存储小文件的不足,本文提出了一种通过Datanode缓存部分小文件元数据的策略来解决Namenode在存储小文件时的性能瓶颈,通过Datanode来缓存部分小文件的元数据,让客户端在请求数据时将绝大多数的小文件请求由Datanode进行处理,只有当Datanode请求不到需要的数据时才向请求Namenode进行请求,从而大量Namenode接受请求的次数,解决单Namenode由于频繁的请求造成的瓶颈。同时,针对Web2.0特殊的应用场景,需要对部分文件进行频繁的读写,会产生一些热点数据,针对这个特性,本文设计了两种方法来解决这个问题,首先本文采取了动态副本策略来复制一些高访问率的副本,增加这些数据的副本数,减轻缓存这些数据的Datanode的负担,其次本文在Datanode中直接建立相应的Cache缓存部分小文件数据,大大的提高了访问的效率。