论文部分内容阅读
随着云计算技术的不断发展,把云储存提供的高效、安全、快捷的存储服务和柯达图文影像技术有机地融为一体是柯达未来继续立足印刷行业前沿的根本。柯达为此基于分布式文件系统FastDFS研发Alpaca云储存系统,定位于柯达全球用户通过移动客户端进行文件储存以及资源分享传递服务,实现全球柯达客户的印刷解决方案的整合。随着移动互联网的不断普及,全球的柯达用户呈现出多通过移动互联网方式访问和使用Alpaca云储存系统的趋势。由于云存储的用户群体庞大且网络状况复杂,用户对于文件存储尤其是大文件存储的需求日益增强,FastDFS分布式文件系统作为Alpaca云储存系统的核心底层构件,已无法满足全球Alpaca云存储系统用户对文件存取性能的需求。目前仍存在着诸多问题亟需解决,包括:(1)热数据读取性能问题:大量移动端用户在访问热数据时,系统会出现资源消耗过大、高延迟以及数据传输速度慢等问题。(2)服务器集群负载均衡问题:在云存储全球化的趋势下,存储系统对负载均衡算法的性能提出了更高的要求,传统的静态负载方式已无法满足云储存系统全球化应用场景的需求。(3)大文件存储问题:大文件在上传过程中将耗费存储系统大量的上传时间以及流量,同时大文件的冗余备份会占用较多的CPU时间,影响存储节点服务性能。为了解决上述问题,本文研究并设计了基于FastDFS性能优化的Alpaca云存储系统,主要工作包括以下三个方面:(1)针对FastDFS热文件读取性能低的问题,本文研究和制定包括缓存区开辟前置条件、文件查找流程、缓存区文件淘汰机制、缓存区更新策略等一系列的缓冲区管理规则,设计并实现了缓冲机制管理和优化模块。(2)FastDFS分布式文件系统只有轮询、选择最大剩余空间、指定服务器等几种简单的静态负载均衡方式,无法满足Alpaca云存储系统全球化应用场景的需求,因而,针对服务器集群负载均衡问题,本文结合了 CPU、内存、磁盘、网络带宽以及负载均衡等相关因素,应用现有的动态负载均衡算法研究成果,设计并实现了负载均衡管理和优化模块。(3)FastDFS分布式文件系统出于设计精简的考虑,未对文件做分块存储及数据块去重处理,因而,针对大文件存储问题,本文通过应用现有的文件分块以及数据去重算法研究成果,形成新的FastDFS文件存取机制,实现了大文件存储管理和优化模块。基于FastDFS性能优化的Alpaca云存储系统使用C语言在Linux环境下进行实现,在Alpaca云存储系统中使用了缓存技术、负载均衡技术以及大文件重复数据删除与分块技术,实现了缓冲机制管理和优化、负载均衡管理和优化以及大文件存储管理和优化三大模块并与Alpaca云存储系统进行集成,达到了高效处理热数据、均衡服务器集群负载请求以及提高大文件存储效率的设计目标。