基于Hadoop海量数据微博系统的设计与实现

被引量 : 4次 | 上传用户:jhcjsc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,社会化网络服务在国内开始兴起。微博从一个新兴的社会化网络平台的概念,逐步走近用户,被越来越多的用户接纳并使用,这个容量只有140个字,通过手机或电脑随时随地阅读、更新、联络的服务不断在改写着信息传播的历史。伴随而来的是网站对数据库高并发读写的需求,对海量数据的高效率存储和访问的需求以及对数据库的高可扩展性和高可用性的需求都在日益增加。目前主流微博主要使用的是Mysql数据库的分布式实践来提供数据支持。但是目前来看,仍有几个问题没有很好的解决就是如何实现系统易于扩展、低延迟、高可用和异地分布、可监控以及去中心化。本文旨在通过构建基于Hadoop的海量数据微博系统来解决这几个问题。Hadoop框架的底层实现部分HDFS分布式文件系统,具有高容错性、高传输率等特点,访问文件系统中的数据可以以流的形式,从而解决安全性问题和访问速度,实现海量数据的存储管理。建立在HDFS之上的HBase,提供高性能、高可靠性、可伸缩、列存储、实时读写的数据库系统。MapReduce是一种编程模型,用于大规模数据集的并行运算。Hadoop上的HDFS、MapReduce和HBase可以说是Hadoop的三剑客,它们之间相辅相成、各有长处。本文首先以Hadoop的相关技术作为理论基础,这些理论对系统的分析与设计有重要的指导意义。然后对系统进行了详细的需求分析:用户分析,系统功能分析,业务流程分析和非功能需求的分析。在需求分析的基础上,针对微博系统的特点,进行了系统的逻辑架构设计,系统技术架构设计,功能模块设计,处理流程设计,数据库设计和系统运行环境的设计。经过细致的分析与设计,依次实现系统的用户模块,用户关系模块,内容发布模块,内容搜索模块和后台管理模块。之后是系统的部署和测试。最后在以上实践的基础上对工作提出总结,以及对今后工作的展望,希望以此作为一个开始,未来云存储系统能有广阔的发展空间。
其他文献
当前我国面临着大气污染严重,雾霾时常侵袭的严峻态势。自2013年至今,雾霾现象时常发生,车辆限行、学校停课、工厂停产等不得已的措施成为应对雾霾的常态。我国大气污染已经
我国金融监管制度在变迁过程中,存在金融创新与市场约束等市场监管制度供给不足和市场准入、业务运营及市场退出等行政监管制度供给过剩的问题。我国金融监管制度是控制性金
为逐步减少农业生产上化肥的使用量,在水稻生产上探索用有机肥替代化肥的可行性,我们进行了有机肥不同用量替代水稻基肥中的化肥试验。结果表明,有机肥做水稻基肥替代化学肥
滑塌堆积是由滑动作用导致岩性或岩相相同岩块和泥质基质相混杂且层理不发育的沉积体.在新疆西准噶尔恰达一带志留系玛依拉山组上部发现一套特殊沉积层,经岩性特征、分布层位
自隋唐以来,扬州逐渐成为中国的经济文化中心之一,其经济的繁荣以及巨商富贾的附庸风雅吸引了一大批以画画为生的画家。他们在继承、学习传统的基础上,不受成法的约束,自由驰
直流无刷电动机,交流同步伺服电动机以及无刷式同步电机是目前主要应用的三类无刷电机。性能优良的无刷电机将成为21世纪的各类机器、设备等的驱动源,已毋庸置疑。
智能材料如形状记忆合金(Shape Memory Alloy,SMA)已经广泛应用于驱动器和传感器的设计,实现定位和主动控制目的。然而,受迟滞影响,SMA驱动器的工作精度大大降低,限制了其应用。多数
超高层建筑实施绿色技术措施有一定难度。介绍上海某超高层项目在新一轮空间设计的改造方案中,以土地复合、功能混合及文化融合的设计原则为基准,通过绿色设计、绿色技术措施
采用溶胶-凝胶法制备掺杂TiO2插层蒙脱石黏土。对插层蒙脱石黏土性能进行了表征,研究了掺杂TiO2插层蒙脱石黏土吸附镍动力学,推测了掺杂TiO2插层蒙脱石黏土吸附反应的机理。