基于分布式实时流计算的资讯feed流系统

来源 :湖南大学 | 被引量 : 0次 | 上传用户:zhhc1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当下,互联网应用开发非常重视流量,用户越多产生的价值越大。而feed流作为一种典型的流量入口,被越来越多的互联网产商使用,也受到互联网用户的广泛喜爱。但在数据以及用户数量急剧攀升至海量之后,feed流系统将面临高并发、吞吐量、实时性等诸多方面的严峻考验。因此非常有必要引入一套能够支撑海量数据和用户并同时能保证实时性的feed流系统。本文在调研了众多互联网头部产商的产品架构以及当前主流技术工具之后,确立了采用分布式实时流计算的技术构建一套能够实现高并发高吞吐量低延时的feed流系统的端到端解决方案。通过将整个系统分解成售前、售中、售后三大环节,feed流系统中的资讯实体可以被当做商品来看待,从传统商品销售的角度可以更好地理解本系统的业务流程。售前包括资讯的收集、审核过滤、分类、标签生成,涉及的技术包括爬虫、文本分类、RPC(远程过程调用)。售中就是用户与新闻资讯的交互过程,使用的技术包括Spring Boot、Nginx、My SQL、Redis。售后是一个包含了运营数据统计、展示、负反馈处理的运营平台,使用了Flink、Grafana等技术框架。本文在系统中对流动数据的管控与处理均体现了流计算的设计思路,以此达到在多个组件之间上下游数据的高吞吐量与实时性。本文在多处使用了分布式的架构来分散高并发的任务,使系统能充分利用廉价的硬件资源来实现高效、高可用的服务。与此同时,通过引入Docker容器技术以及Kubernetes集群管理工具,系统中数量众多的微服务部署运维得以简化。本文严格按照规范的软件开发流程进行了feed流系统的设计与实现,按顺序进行了需求分析、业务拆分、可行性分析即基础理论调研与技术选型、具体设计与实现、功能与性能测试等软件系统开发规程。使用功能模块图、架构图从整体上阐述系统的设计思想,使用程序流程图、时序图、类图、用例图等大量图表从细节上讲解每个功能模块的实现步骤,并且进行了基本的功能测试与性能测试,最终交付上线并正常稳定地运行。
其他文献
在许多场景例如在地下空间、地铁隧道、公路铁路隧道、高层建筑消防、火灾救援等都需安装通风系统。通风有正压通风与负压通风两种方式,正压通风采用硬质管、软性软管等,负压通风一般采用硬质风管,或带有支撑骨架的软性风管。硬质风管笨重,运输、架设、连接、密封均不方便,在某些特殊情况不可用,如特长独头隧道开挖、高楼大厦的通风灭火等;而螺旋支撑骨架软风管虽然拥有一定承受负压的能力,但是螺旋式支撑骨架软风管只能进行
近年来,以硅基硬脆材料为代表的微小零部件在光伏新能源、芯片半导体、电子通讯等前沿产业具有广泛的应用前景。采用金刚石微磨具的微细磨削是实现此类零部件微槽、微孔、微流道等微结构精密加工的重要手段。由于单晶硅的硬脆特性,微细磨削过程中极易在微结构的加工区域发生崩边、破碎等损伤,以及微磨具磨损严重等影响加工质量和加工精度的问题。本文旨在探究声发射(AE)技术在微细磨削加工中对非稳态特征的动态识别能力,构建
与文本排布整齐,背景干净的印刷体不同,自然场景图像中的文本具有背景杂乱、分布随意、长度大小不一、颜色字体多样的特点,使用传统的光学字符识别(OCR)不能满足实际的需求。注意力机制广泛地用于当前文本识别深度网络模型中的编码器/解码器框架,它通过给定一个查询向量,计算其和输入向量的相关性,得到每个输入向量的重要性,从而可以从大量的信息中选择出重要信息。但是其并不知道查询向量与输入向量是否相关或者相关程
在汉语作为第二语言的教学中,词汇习得至关重要,在词汇学习过程中,教材发挥着至关重要的作用。本文选取泰国“本土化”综合课教材《初级汉语》,以教材生词表中的所有词汇为研究对象,综合运用文献研究法、统计分析法、对比分析法、访谈法等研究方法,通过与国家汉办制定的《汉语水平词汇与汉字等级大纲》及“通用型”教材《博雅汉语-初级起步篇Ⅰ、Ⅱ》的词汇编写方面的数据进行对比,从词汇量、词汇等级、词汇重现率、词汇释义
传动系统是汽车中的关键系统,起着至关重要的作用。传统燃油车仅有一套动力系统,而混合动力汽车拥有两套及两套以上的动力系统,结构与传动控制更复杂。其中电液控制系统又是传动系统的核心,担负着重要的控制执行功能。本文将根据混合动力汽车的特点,首先对混合动力传动系统构型进行了初步优化设计;然后对电液控制系统进行了仿真,基于仿真结果对电液控制系统进行了三维结构设计;最后对影响系统的最关键元件——比例阀进行了结
近年来,随着固态毫米波器件的发展,毫米波雷达技术获得了巨大的推动力,其产品不断被应用于各种领域,例如液面监测、汽车防撞、近程测距等。其中,用途最为广泛的是线性调频连续波(LFMCW)体制雷达,它在超高频段覆盖了超大的带宽,既保证了精度又保证了距离分辨率,可以实现高精度的测距功能。对现阶段的研究进行分析可知,三维形变监测系统是亟需开发的一套系统,传统的监测手段由于环境复杂、自动化不足等缺陷不再满足现
基于我国文化背景的特殊性,祖辈与母亲共同养育智力障碍儿童是一种普遍且长期存在的特有现象,共同养育关系如何对母亲的教养压力和儿童行为发展有着十分重要的影响。而智力障碍儿童伴随着出生便存在一定的情绪问题行为,如果在之后的发展中该问题行为持续出现不但会加重母亲的压力,而且会影响儿童的身心健康,甚至会造成其成年后的社会适应能力不足。因而,本研究在查阅并分析相关文献的基础上,采用共同养育关系量表、母亲教养压
自“乡村振兴战略”提出后,乡村地区的建设发展问题又一次被推向高潮。村庄规划作为指导乡村地区发展的基础性规划之一,也越来越受到国家和社会的重视。我国的村庄规划起始于改革开放后,在为期40多年的发展过程中,一定程度上解决了农房无序扩张的问题;向农村地区投放了大量的基础设施与公共服务设施;改善了乡村地区的生态环境;推动了乡村地区的全面进步。但是,随着时代的变迁,乡村社会开始显现出其他问题:乡村治理问题愈
随着研究者们对钙钛矿光电特性研究的不断深入,钙钛矿已经成为光伏器件,光电检测器件等领域内最具有潜力的新型半导体材料之一。钙钛矿单晶的研究基础,其中包括多种晶体合成方法,丰富的晶体表征手段以及性能优越的单晶器件等等。常用的液相旋涂方法制备钙钛矿多晶薄膜,在稳定性,基础光电性能上均有一定的不足。与此相反,钙钛矿单晶拥有高的光电转化效率和更出色的稳定性。同时,现在对钙钛矿晶体生长条件或制备方法的调节,通
人工智能物联网的发展,使得便携式互连电子设备需求骤增,同时对设备的微型化、集成化提出了更高的要求,从而激发微储能的巨大需求。片上(on chip)储能作为微储能形式之一,因其单位面积上的空间利用率高,更易于满足集成微系统中的空间要求。但是如何获得高能量密度和功率密度,且循环性能优良的on chip储能器件是个亟待解决的问题。目前的微器件多以薄膜电极和叉指电极作为储能器件的电极,其存在一个普遍的问题