近年来,许多领域的数据量都在以惊人的速度增长,及时对数据进行收集、储存和分析,对于构建高效的业务解决方案至关重要,深度学习是高性能数据分析(HPDA)的典型应用。大多数深度学习应用是I/O密集型的,区别于传统应用,具有随机访问、超大数据集、高重叠、高聚集、大热点等特性,对支撑其运行的存储系统提出了较高的要求。Hadoop分布式文件系统(HDFS)基于Google公司的GFS,目前已广泛部署在深度学习与HPC集群上。它的原始设计是利用大量分布式的廉价存储资源为用户提供容量大、性能高的存储服务,目前已无法有效满足深度学习应用的I/O需求。针对这一问题,本文首先提出了多级缓存的架构,并建立了缓存成本与收益的数学模型,接着提出了针对深度学习应用的缓存联合部署、大文件预取和小文件缓存三种优化方案。具体研究工作如下:①本文使用多级缓存的思想,并在HDFS数据节点上将传统硬盘与SSD进行整合,满足了深度学习应用对于云存储系统大数据,高带宽的要求。同时,建立各级缓存的效用模型,在综合考虑成本与性能的条件下,较为精确地求解出各级缓存的最优空间大小。②基于理论分析与真实平台数据,本文刻画了深度学习训练集与用户请求特征,提出了联合缓存部署、大文件预取和小文件缓存三种优化策略。其中,联合缓存部署策略通过计算各训练集副本的增益,使用贪婪算法进行部署;大文件预取在顺序读的场景下,将文件后续部分预先存入内存;小文件缓存则满足了深度学习应用场景中更多的I/O请求。为了评估所提模型与策略的性能,本文进行了大量的仿真与实际测试。实验结果表明,本文所提出的缓存效用模型在多种情况下均可以较好地针对各级缓存进行拟合,最大误差仅为2%,联合缓存部署方案缓存命中率明显优于LRU,大文件预取和小文件缓存策略平均性能提升分别超过40%和90%,较好地实现了深度学习应用场景下HDFS的优化目标。