基于Canal框架的发文实时监控系统的设计与实现

来源 :刘博谦 | 被引量 : 0次 | 上传用户:tangdeqian1102
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在汽车用户社区的海量信息中,存在着较多具有识别难度的营销广告以及水军信息,过去的传统做法为运营人员肉眼进行监测,对于明显存在灌水意图,以及为经销商和品牌打广告的帖子,进行删帖禁言封号等处理。此种方法的成本大,收益低。因而需要开发一款发文实时监控系统来对社区的多种文章体裁进行检测,加强对经销商、水军等异常群体的识别与处理,尽可能将对社区内容生态的负面影响降到最低,同时以CNN模型对文本进行类别预测,提升运营人员的工作效率。发文实时监控系统在充分考虑低延时、高可用的基础之上,实现了一个分体裁的监控系统,可以支持运营人员对用户发文及时处理以及可视化配置监控规则,并且支持以卷积神经网络对新增的用户论坛发文进行分类操作,给运营人员提供辅助建议。监控系统主要包含三个部分,第一是最基础的监控部分,实现了用户和车友圈维度的计数,并支持基于Canal框架读取数据库binlog的毫秒级别的分体裁监控,且与业务代码解耦,即使后续新增体裁或者进行监控功能的拓展,以最小改动的代码即可实现;第二是配置平台,该平台实现了高可用性,即使部分节点宕机依然可以对外提供服务,且支持网页可视化操作,接入了公司统一的SSO,可以应对研发人员以及运营人员频繁的监控规则变动,而无需更改代码;第三,借助深度学习的CNN模型以及Tensor Flow框架,以历史存量数据进行分类模型训练,最终实现了对新增发文文本内容的实时识别,可以区分出水军、经销商与正常用户文本,减轻运营人员人工识别的工作量。发文实时监控系统使用binlog技术、Canal框架以及CNN文本分类算法等关键技术,实现了对于汽车论坛内用户发文的实时监控,可以分体裁来监控用户的发文,同时做到了低延时、高可用、监控规则解耦以及用户数据的安全加密存储。
其他文献
学位
降水是陆地生态系统重要的水分来源,降雨变化通过改变土壤理化性质、植物的光合作用速率、蒸腾作用强度、水分利用效率等生理、生态过程影响群落中物种分布和多样性格局。随着全球气候变化的加剧,植物多样性和植物功能属性在维持生态系统功能中的重要作用日益被关注。因此,探讨植物功能性状、群落结构与非生物因子之间的关系,有助于从个体、群落和生态系统水平研究生态系统功能和过程对降雨变化的响应,深入理解降雨变化对荒漠草
优秀传统文化是我们的教育资源宝库。我们要积极发挥优秀传统文化的能量,有效推进人才培养工作,同时借力优秀传统文化、乡土文化,优化传统文化下乡途径、方式、举措,服务国家乡村振兴战略。探索优秀传统文化入教材进课堂,实施乡村振兴人才工程,探索创新人才培养模式,提升教育教学信息能力,“三教”改革开发活性教材,联村挖掘地域民俗文化,开展文体下乡志愿服务,大力培育职教名师专家,加强涉农实训基地建设,扎实推进校村
学位
学位
农田镉(Cd)污染导致的“Cd米危机”已成为我国社会关注的热点问题。利用遗传稳定性高的籽粒Cd低积累水稻品种,再辅以田间配套的土壤修复等措施可最大化克服土壤污染的不利影响,实现污染农田的带污生产,保障粮食安全。水稻籽粒Cd含量是由多基因控制的数量遗传性状,挖掘调控籽粒Cd积累的关键基因,可为分子标记辅助选育籽粒Cd安全且兼具其他优良性状的水稻品种提供技术支撑。因此,本研究以前期从146份水稻亲本材
小伞山羊草(Aegilops umbellulata,2n=2x=14,UU)是小麦遗传改良的优异基因源,蕴含多种抗病、耐逆及品质相关基因。四倍体小麦--小伞山羊草三倍体杂种F1可通过未减数配子自然加倍形成四倍体小麦--小伞山羊草双二倍体,是转移小伞山羊草优异基因/性状的重要“桥梁”。因此,对小伞山羊草种质资源进行遗传评价,弄清四倍体小麦--小伞山羊草三倍体杂种F1自然加倍形成双二倍体的细胞遗传学
本文以大兴安岭中段晚古生代-中生代岩浆岩为研究对象,利用岩石学、年代学、地球化学等手段,对该地区晚古生代-中生代的岩浆岩特征进行研究,探讨其岩石成因、岩浆来源及构造背景,结合区域地质条件,进一步了解大兴安岭地区晚古生代-中生代岩浆期次及地球动力学背景,探讨大兴安岭隆升的原因。根据数据分析结果及历史资料,大兴安岭中段地区的岩浆活动主要集中在三个时期,分别为石炭纪、三叠纪和白垩纪。其中石炭纪主要表现在
为研究中草药对断奶仔猪圆环病毒2型(PCV2)抗体和免疫机能的影响,选取健康断奶仔猪40头,21 d断奶,14 d、28 d接种PCV2疫苗,28日龄开始按1.0%、1.5%、2.0%比例日粮添加12种中草药,连续10 d后,37、44、51日龄测定PCV2血清抗体、血清免疫球蛋白(IgG、IgA、IgM)含量。结果表明,日粮中添加中草药均能提高PCV2抗体水平和IgG、IgA、IgM含量,增强机
在数据规模高速增长的大背景下,关于分布式数据库的研究正成为当前存储领域的热点。课题组尝试构建分布式关系型数据库以探究分布式存储的技术原理,并计划在将来用于提升课题组云加密系统密钥服务器集群性能。为此,首先构造了分布式Key-Value存储引擎用于支持底层数据存储,之后将在此基础上构建SQL层从而完整实现分布式关系型数据库。本文详细讨论了构建分布式Key-Value存储引擎SimpleDKV过程中的