具有反爬虫机制的影评系统的设计与实现

来源 :北京交通大学 | 被引量 : 4次 | 上传用户:hekaishou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电影业的不断发展,越来越多的电影涌现在人们的面前,人们想甄选出较好的电影,通常是以电影的综合评价作为首要标准,此时全面、客观的评价就显得尤为重要了。最早的电影评价是在传统的纸媒上进行的,通常都是由专业影评人发表影评文章,但这种评价方式手段太单一,而且不能够从多维度对电影进行评价,容易对观影人产生误导作用,所以全民参与影评的需求就显得尤为突出。随着互联网的高速发展,人们可以在网络上对所有的电影进行评价,这种方式的评价维度比较全面,时效性也非常高,评价方式也非常开放,而且使用网络评价的方式也可以允许所有人发表影评,而不局限于之前极少量专业人士的影评。大家通过参考这些影评可以选择自己喜欢的电影,减少筛选电影的成本,能够快速、高效、便捷地选择出自己想看的电影。本文首先阐述了项目的背景以及国内外现状,对整个系统进行功能性和非功能性需求分析。根据需求分析设计系统架构、划分系统功能模块、设计系统数据库,并对系统进行详细设计与实现。作者独立完成了社区、榜单、会员中心、反爬虫功能模块的设计与实现,并参与了其它模块的部分工作。其中反爬虫模块是对已存在的反爬虫技术进行了改进,提高了反爬的精度和速度,进一步保证了系统的安全。反爬模块主要是通过收集系统的请求数据,拆解请求数据为特征,模型评估后选择极端梯度提升算法进行特征转化,使用逻辑回归算法完成爬虫判断,并且根据数据的累积及爬虫技术的升级而不断优化反爬虫模型。本系统采用Zookeeper框架、Thrift框架实现微服务管理,这样能保证系统功能模块独立,降低各模块之间的耦合度,并且能保证系统高可用。同时通过Spark计算定期更新热度榜、口碑榜和人物榜,使用户可以更便捷的看到近期最热门或评价最好的电影,节省用户挑选电影的时间。数据存储使用Mysql数据库、Hive文件系统,缓存使用Redis集群。目前,本文所提及的系统已经开发完毕,并成功上线。影评系统运行状况稳定,满足用户的需求和公司的期望。
其他文献
目的:探讨瘢痕子宫中孕引产的方法及安全性。方法:选择我院2007年1月~2008年12月47例瘢痕子宫中孕引产病例作为研究组,随机抽取60例非瘢痕子宫中孕引产病例作为对照组;孕13~14
【正】近几年,延边在农业产业化发展中取得一定成绩,但仍存在着对农业产业化认识不足和一些需要解决的深层次问题。只有针对这些问题,寻找有力措施,才能更快发展延边农业产业
我国经济的发展带动了我国电力企业体制的持续改革,电力系统的网络建设方面也有了巨大的突破,可以说现在传统的电力系统输电运输技术和相应的管理方式,已经无法达到输电线路
本文从加强档案管理工作人员的保护技术培训、档案库房的保护技术、电子档案的安全保护、电子档案利用环节的安全保护四个方面阐述了新型档案载体材料的保护技术,从而最大限
合作创新模式使得创新主体之间构成具有拓扑结构特性的创新网络,创新主体合作行为会影响创新网络的可持续发展。为探究不同影响因素作用下创新网络合作密度的变化,基于演化博
介绍了基于SPOC和翻转课堂的线性代数混合式教学的实践.实践过程包括三个阶段:课程准备与资源建设、教学过程设计与组织、教学评价与形成性反馈.从课程知识体系、知识点、计
随着轻质高强新型建筑材料的不断涌现,高层建筑不但建筑形式变化多样,而且结构体型也朝着高大、轻柔的方向发展。故风对高层建筑的影响越来越大。所以必须认真对待高层建筑中
一、308例药物性肝损伤临床特点与危险因素和预后分析目的:探讨药物性肝损伤(DILI)的临床特点、危险因素和预后。方法:回顾性分析了我院2014年1月至2016年12月诊断为DILI的30
新课程的核心理念是以学生发展为本,激发学生学习兴趣,积极主动参与教学活动,并从中获得知识。这也势必要求对中学英语的传统教学模式进行改革。本文就新课程背景下的高中英语采
采用3HE-MF300W四轴联动激光焊接机对Q195低碳钢进行激光焊接实验,利用金相法研究焊接工艺参数对焊缝熔深和熔宽的影响。结果表明焊接速度和离焦量一定时,随激光功率由30W增