随着信息化技术的发展,传统的数据管理体系已经不能满足数据密集型应用和高性能计算的要求,存储虚拟化技术为解决这个问题提供了一条有效途径。 GDSS(Global Distributed Storage System)是一个存储虚拟化系统,该系统实现了广域网范围内存储资源的统一管理和共享,屏蔽了底层数据资源的分散性和异构性,为用户提供了透明的逻辑视图。 传输系统是 GDSS 中的一个重要模块,其性能直接决定了 GDSS 的性能。为了确保 GDSS 的高性能和高可靠性,传输系统综合采用了多种技术,包括自适应传输、分片并行传输、连接复用和基于多副本的断点续传等。其中自适应传输根据文件大小和服务器状态决定传输方式:当传输大文件时采用分片并行传输,通过多线程并行传输,提高传输效率;而当传输批量小文件时采用连接复用技术,通过一个连接传输所有小文件,这样与普通文件传输协议(File Transfer Protocol,FTP)相比显著减少了连接次数,从而提升了传输性能。另外,为了确保系统的可靠性,传输系统还采用了基于多副本的断点续传和双日志技术。其中基于多副本的断点续传在普通断点续传的基础上利用系统中存在多副本的特点,在恢复过程中充分利用可用的副本;而双日志技术采用主日志和备份日志相结合,确保任何时刻至少存在一个日志是可用的,为断点续传的正常进行提供基础。 经过测试,与普通 FTP 相比,GDSS 传输大文件时的性能提高 1～3 倍,传输批量小文件时的性能提高 2～10 倍。结果表明 GDSS 传输系统的性能达到了预期效果。