基于Flink的电商实时用户画像系统的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:regicide09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
用户画像是真实用户的虚拟代表,是建立在一系列真实数据之上的目标模型,可以用来描述用户的需求、个性化偏好以及用户兴趣。随着近年来互联网的快速发展,各行各业的电商平台如雨后春笋般涌现出来,市场竞争变的日益激烈,为了提高电商平台的竞争力,电商平台需要尽可能满足不同用户的需求,因此电商平台需要对平台用户数据进行分析形成相应的用户画像。目前市场上各电商平台普遍采用批处理的方式对用户全量数据进行处理形成用户画像,但是这种方法导致形成的用户画像缺乏实时性,而针对实时性的需求,电商平台则是通过对用户实时增量数据进行流处理形成平台用户数据的实时统计分析,这样的方法导致实时统计分析的结果具有片面性。此外,电商平台的离线用户画像与实时统计分析需要采取不同的计算框架来实现,而在绝大多数业务场景之下,平台的业务逻辑在批处理和流处理之中往往是相同的,平台计算框架的不统一将给平台带来额外负担和成本。针对上述问题,本文设计一种基于Flink的电商实时用户画像系统。本系统将离线用户画像和用户数据实时统计分析结合起来,使得形成的用户画像具有实时性以及全面性。此外,本系统利用Flink框架流处理和批处理相结合的特性,实现了系统计算框架的统一性。具体而言,本系统主要分为数据采集、实时计算、数据存储和数据应用四个模块。数据采集模块采用Flume+Kafka实时地从电商平台采集数据;实时计算模块采用Flink计算框架,将流处理和批处理结合起来,调用规则或模型实时处理采集到的用户数据,为用户打标签并实时更新,确保了用户标签的实时性;数据存储模块主要用来对分析产生的结果进行存储;数据应用模块采用SpringBoot和SpringCloud框架根据业务需求对数据库中的数据进实时查询并通过前端框架Vue.js展示出来。电商平台运营商通过实时用户画像系统实时把握不同用户的不同需求,实现对不同用户的精准营销和实时推荐,从而有效提高平台自身的竞争力。
其他文献
股权激励计划作为一种薪酬机制,在公司内部治理中具有重要作用。关于股权激励的研究也十分丰富,但主要以高管为激励对象进行研究,从高管持股,高管代理成本的角度研究股权激励效应。但随着我国企业公司治理能力的提高,技术和人力资本要素逐渐成为部分公司的关键竞争力,也使得企业推出员工股权激励计划来达到吸引留住核心人才的目的,我国股权激励计划在激励对象上由高管逐渐向核心员工过渡。在此趋势下,需要对员工股权激励的动
机构投资者是资本市场投资主体之一,在资金规模、投资决策能力以及信息渠道等方面具有明显优势,能够不断发现市场中具有投资价值的公司,是资本市场中优秀的“价值发现者”。由于机构投资者持股比例相对较高,因此其更有可能参与公司经营决策,对公司行为进行有效地监督,从而改善公司业绩表现,是良好的“价值创造者”。然而,由于我国机构投资者的发展尚处于起步阶段,对上市公司而言,机构投资者的进入是否真的改善了公司业绩?
近年来,随着我国国民经济的发展,人口数量的上升,以及一线城市和新一线城市拥有着其他城市所无可比拟的工作机会、教育、医疗等资源,相对的人均可支配收入也更高,吸引了不少省内外甚至是国外的人口迁移到上述城市安家定居。这一部分外来人口加上原本就在上述城市内生活的年轻人,都有着巨大的买房压力,形成了巨大的刚性需求。而我国作为一个土地资源有限的国家,对其供应的管制十分严格。土地资源的稀缺性以及一线城市和新一线
改革开放至今已然经过了近40载,在这短短的40年之中,我国的市场经济实现了惊人的跨越式发展,尤其是在国家实行国企改革和大力发展私有制经济的之后,我国的民间中小私营企业如雨后春笋般蓬勃发展,催生了改革开放后新一代的一批成功企业家。在这些企业中大部分企业组织形式为有限责任公司。而如今,在时间的催促下,这些第一代企业家均已年迈,并纷纷与世长辞。由此,一系列的有限责任公司的股东继承问题不断涌现。而目前我国
创业投资机构对其持股公司经营绩效的影响问题一直以来都是许多学者研究的重点,对于这个课题的研究,国内外学者由于选取了不同的影响因素以及业绩指标而产生了不一样的研究结果。本文在借鉴前人研究的经验基础上选取创业板上市公司为样本指标,采用更加具体的指标体系研究了风险创投机构的参与持股、公司股权结构与经营绩效的相关性问题。在我国,创投机构进行股权投资活动出现在20世纪末期,经历了几个阶段的发展之后已经形成了
党的十八大报告指出,将建设创新型国家作为国家经济建设的又一大战略目标,并力争到2020年,使我国的自主创新能力显著增强。创新作为一种新型经济增长方式,已成为衡量一国竞争力与经济发展潜力的重要指标,提高自主创新能力,走科技强国之路是我国面向未来的重要发展战略。企业是社会的细胞,是市场经济的主体,企业的自主创新是实现国家创新战略的重要力量。而现实是我国企业创新强度明显不足,数据显示我国创业板上市公司2
自动驾驶技术近年来取得了飞速发展,大部分国家正在积极研发自动驾驶汽车以抢占产业制高点。自动驾驶汽车的应用一方面给社会带来了巨大的经济效益,但是另一方面,从频繁发生的自动驾驶汽车交通事故可知,自动驾驶汽车并不能保证绝对安全。当自动驾驶汽车发生交通事故时,如何高效的救济事故的受害者成为社会各界关注的焦点。关于救济自动驾驶汽车交通事故受害者,主要有三种救济路径,即传统侵权法救济、基金救济和保险救济。而我
在城市化过程中,大量人口涌入城市,并造成一系列的环境问题。浅层地温能作为一种可再生清洁能源,利用前景广阔,储量大,利用这种清洁、可再生的能源可有效的缓解能源紧缺、环境污染的状况,对于我国建设新型城市化意义重大。在开发利用浅层地温能过程中,建立长期有效的浅层地温场监测站,能有效实时地监测与评估浅层地温场分布特征。本文通过开展南京市浅层地温监测,对比了不同监测技术的有效性与合理性,分析了区域性浅层地温
P2P网络贷款,是指不同民事主体之间通过互联网电子商务平台完善相关交易手续从而确立资金借贷关系的行为。一般表现形式为:有资金需求的借款人,通过在特定的电子商务平台上发放借款邀约,有资金并有投资意愿的出借人通过在该平台上投标进行放贷。其中,该电子商务平台即为P2P网络借贷平台,对外表现为金融服务网站。P2P网络贷款在我国又被称为人人贷。P2P网络贷款作为互联网时代新兴起的民间融资形式,发源于英国一家
乡村振兴指产业、生态、文化、人才、组织五大方面的振兴,是以产业兴旺、生态宜居、乡风文明、治理有效、生活富裕为总体要求,以农业现代化为总目标,以坚持农业农村优先发展为总方针的振兴。“五个振兴”是一个有机的整体。乡村振兴战略的实施,能有效促进现代化经济制度发展,加快构建美丽中国;促进我国优秀传统文化进一步发展,促进全体人民更快走向共同富裕之路。因此,乡村振兴战略的实施对乡镇政府的职能也提出了新的更高要