DSP(Demand Side Platform)即需求方平台,在互联网广告中有着重要的作用,它通过对接若干个广告交易平台,让广告主合理精准的投放广告。不同于传统的广告方式,DSP并不专门购买媒体流量资源,而是通过AD Exchange(广告交易平台),采用实时竞价的方式赢得广告展示的机会。AD Exchange发送广告请求给DSP,DSP接收到请求并决定是否进行投放以及投放什么类型的广告,AD Exchange就根据多个DSP返回的竞价价格,最终决定给用户展示哪个DSP的广告。因此在DSP的广告投放过程中,数据的重要性不言而喻。DSP平台数据处理系统需要对DSP整个投放过程中生成的数据进行处理,主要处理三方面的数据:一种是广告交易平台发起的广告请求数据;其次是DSP平台在广告竞价过程中生成的相关日志数据;最后是广告主网站回传的用户行为数据。DSP数据处理系统需要根据业务需求对这些数据分别采用不同的处理方式来处理。DSP数据处理系统需要解决的问题有四点:1.为了能够实时进行数据统计,系统需要对数据进行流式处理;2.为了建立离线化存储的数据中心并为企业各部门决策提供支持,需要对数据进行离线处理并建立合适的数据仓库;3.为了能够更精准的为广告主进行广告投放,系统需要对RTB(Real time bidding)过程进行算法模型的优化和处理;4.为了从收集到的数据中提取出有价值的投放人群方便后台投放,需要建立人群受众模块。为了实现以上目标,本文采用了Flume-Kafka-Storm的流式处理架构,设计并实现了流式处理的内部业务逻辑,从而实现实时数据的统计;采用了HIVE进行数据仓库设计,整合三方数据,进行统计分析,并给其它部门提供支持;研究了DSP平台的实时竞价的相关算法,实现了针对CTR(Click Through Rate)模型的优化,满足了不同的投放要求;研究了DSP平台的投放人群,根据多方数据来源,提取用户不同维度的行为数据,并找到人群受众,为后续的投放提供精准的定位。本文通过这四个方面对DSP平台的数据处理系统进行了研究,实现其各自的功能要求,测试相关性能,最终能达到上线运行的要求。本文的DSP平台的数据处理系统已经经过了线上投放测试,各个功能都已经相继完成,可以使用离线和实时两种处理方式来对数据进行处理,建立了HIVE数据仓库,建立了高价值人群模型和CTR模型,为公司的广告投放提供了重要的数据支持,为DSP平台决定广告投放与否以及投放对象的选择提供了更合理的建议。通过该系统产生的数据可以更直观的看到投放效果,让广告主更加清晰的了解广告投放的具体成果,为广告主带来更好的体验和效果,为公司创造更高的效益。