高性能分布式相册Web集群架构研究

被引量 : 0次 | 上传用户:wuxirl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于分布式Web集群的相册系统得到了广泛的应用。它具有海量图片存储需求、海量用户元数据存储、图片上传的高并发、上下行带宽的高占用等特点。相册Web站点需要提供稳定、实时、高可用、高负载的服务。本文研究基于大规模、高性能、高容错、分布式相册Web集群架构的设计。主要研究内容包括:1)硬件架构设计。硬件架构分为LVS(Linux Virtual Server)层、Nginx层、Apache层、Tomcat层、数据持久层,前一层对后一层进行集群配置、负载均衡与健康检查。LVS集群实现系统负载均衡。Nginx集群实现Http反向代理、负载均衡与文件缓存。Apache集群提供Http服务并实现请求重写规则,Tomcat集群采用机器分离实现上传与基本页面功能。数据持久层采用分布式数据库存储海量用户元数据与分布式文件系统存储图片等非结构化数据,图片与元数据采用多重备份恢复机制,相同数据存放不同机架保证数据的安全性与访问性。2)软件架构设计。软件框架采用MVC(Model View Controller)设计模式并利用Spring框架作为技术架构,结合前端Freemarker框架与DWR(Direct Web Remoting)框架来展示页面。统一开发分布式数据库与分布式文件系统访问中间件。采用Memcached内存缓存技术减少分布式数据库请求次数。3)高性能高容错研究。根据用户信息采用HAproxy实现从Apache集群到Tomcat的负载均衡。采用Varnish对Http请求加速,利用缓存来存储请求内容并设置超时信息。为适配所有终端需求,在上传过程中采用异步方式压缩生成不同尺寸的图片。静态资源采用内容分发系统,不仅能降低运营成本,提升用户速度,并能够解决网络的互联互通,防御DDOS(Distributed Denial of Service)攻击。4)海量图片存储去重研究。结合分布式数据库与分布式文件系统去重海量图片,该技术通过提取图片文件二进制流的特征段生成文件MD5码签名,依据签名对图片文件进行存储去重。结合实验数据分析验证该技术不仅能够准确的去重图片,且在计算签名时间、上传速度等方面均优于文件级与块级去重技术,是对海量图片数据存储的一种优化。同时针对该技术的不足性提出了改进方案。本文实现了相册Web集群的高性能分布式架构设计,从硬件架构、软件架构与元数据存储都设计了切实可行的方案。同时探究了提升整个架构性能的方法以及海量数据存储优化设计。系统可以在全文检索、页面推荐等方面进一步研究。
其他文献
近几年来,党和国家日益重视农民文化权益,农村文化设施得到了较大改善,农民文化生活水平得到较大提升。本文通过对成渝地区的调查发现,当前农民文化生活仍然十分贫乏,农村文
我国高校图书馆正在从传统图书馆、自动化图书馆向数字化图书馆过渡。鉴于民办高等学校的现实情况,不能完全仿照公办高校数字图书馆的模式,应该开创一条适应民办高校特点的数
近年来,随着住宅产业化的推行,钢结构作为装配式住宅的优良结构形式,已被广泛应用于住宅建筑中。与钢框架结构配套的墙体材料的选用,也成为钢结构住宅推广应用的关键所在。在
中国一直致力于现代化建设,紧跟时代步伐,与国际接轨,共享全球化盛宴。特别是改革开放以来,举世瞩目的成就不但让国人扬眉吐气,继续坚持改革与创新的政策规划;而且开启了国内
从公司生产的优质中高温大曲中分离几株纯种酵母菌,并通过水浴加热后测定活菌数的方法,对其进行高温性能测定,从中筛选出一株耐高温的优质菌株,以备生产使用。
目的:观察阿托伐他汀结合血脂康治疗高血压合并冠心病的疗效。方法选取近年收治的100例高血压合并冠心病患者为对象,观察组使用阿托伐他汀结合血脂康治疗,对照组使用阿托伐他汀
2012年受欧债危机的影响,世界经济及多个主要经济体陷入低迷或衰退,其中欧洲经济的减速最为突出;美国经济增速略好于去年,但仍难以抵消欧元区经济衰退对全球经济造成的负面影响;新
研究背景宫颈癌是世界范围内发病率居第二位的女性恶性肿瘤,主要由高危人乳头瘤病毒(human papillomavirus,HPV)的持续感染导致。高危HPV感染上皮细胞后,病毒基因与宿主基因
第二语言习得是一个复杂的过程,语言学习者在这个过程中不可避免地会犯这样或那样的错误。研究这些错误对于探索和发现语言习得的规律起着十分重要的作用。近年来,对二语学习
通过粘度,极限氧指数,弯曲及拉伸强度测试研究了有机磷阻燃剂ZR-801R和ZR-802R,无机阻燃剂氢氧化铝以及ZR801R/氢氧化铝复合阻燃剂对环氧树脂体系工艺性能、阻燃性能和力学性