论文部分内容阅读
随着大型互联网企业的市场规模与用户群体的不断扩大,它们所拥有的用户数据量也在呈指数级递增。每个大型互联网公司,在掌握了如此数量级的用户之后,使得广告投放行业成为公司盈利过程中的关键一环。在当今互联网技术已经渗透到各行各业的时代,如何使用大数据技术让广告主获得期望的投放效果以及投资回报率的最大化,是各大互联网企业首先需要解决的问题之一,谁能让广告主客户在有限预算内的投放效果最好,谁就能掌握住客户资源,获得更大的盈利。所以,每个大型互联网公司都期望建立一个大数据管理工具来管理平台用户的数据,进行广告的精确投放。当今广告主在广告投放行业面临如下几个主要问题:(1)需要更贴合广告主和企业的实际投放业务需求,将广告投放给目标群体用户,即将广告主所期望投放的用户群体从海量用户中筛选出来。(2)已投放人群的管理复杂,难以对历史投放人群进行有效的管理,以及人群计算过程中无法进行实时状态的掌握,从而影响到后续投放的流程。(3)广告投放过程中无法得知用户群体的特征属性,从而无法制定相应的应对策略,进行更有效的投放。本文首先阐述了面向广告投放的大数据管理平台在广告投放行业中使用的研究背景与意义,然后从广告投放行业对大数据管理平台的需求出发,探索人群管理、计算与用户画像对广告精准投放的重要意义;接着介绍平台所使用到的技术选型、技术架构和网络架构。最后详细的论述了平台各个模块的关键功能,结合平台的架构与详细设计实现了面向广告投放的大数据管理平台。平台总体可分为用户管理、人群管理、人群计算以及画像计算四个部分,其中用户管理部分可分为认证服务器的Shiro认证流程模块、权限设置模块、Token令牌获取模块。人群管理模块分为结构化目录的管理、基于WebSocket的人群和画像实时状态修改、主题人群的管理。人群计算包括基于阅读文章的关键词人群计算、基于使用记录的APP人群计算以及基于位置服务人群。可根据广告主客户所提供的地理位置、关键词或APP,通过Spark从存储在Hive表的TB级用户数据中提取出相关用户,并将其压缩存储,供画像计算使用。用户画像可分为用户特征画像数据的计算、结果标签数据的管理等,将该人群包的用户信息与RocksDB中标签的用户数据对比生成用户画像,包括性别、年龄、地域分布、手机系统等,并将用户画像展示给广告主客户和营销人员,从而让广告主客户分析用户的特征以及行为,及时的进行策略的调整和定制,进而将广告更加精确的投放给感兴趣的用户。本平台所涉及到的用户数据主要源自企业内部数据和第三方平台数据,目前已经正式上线并且运行良好,承担了公司90%以上的广告投放业务,与其他部门的广告投放平台也有着一定的联系,已经成为了广告投放业务中必不可少的一环。