实时广告竞价（Real-Time Bidding,RTB）目前是现代互联网广告行业普遍采用的流量交易方法,结合大数据技术能够做到广告针对相应用户的精准投放,其整个投放广告的流程包括提供方平台（Service Side Platform,SSP）发起广告展示的请求,RTB的交易中心（AD e Xchange,ADX）向需求方平台（Demand Side Platform,DSP）发起竞价请求,而DSP会通过数据管理平台（Data Management Platform,DMP）获取用户相关信息,经过一系列的广告投放标准确定广告投放的预算并给出竞价,最终ADX根据相应竞价机制（如广义第二高价机制）确定赢得展示机会的广告活动,此外,RTB会跟踪广告投放后用户的响应行为并向获胜的DSP报告,简单来说,RTB模式就是广告主通过公开的竞价,获得实时竞价系统的广告展示机会。以上过程中的需求方平台代表了广告主的利益,它能够根据RTB系统跟踪到的用户行为来调整用户响应预测模型和竞价策略,制定实时、高效的竞价策略赢得展示机会,实现广告的精准投放并做到广告收益最大化是DSP最需要解决的问题。以往很多研究问题都将竞价的策略看作是一个静态的优化问题,对每一个广告流量都给予竞价或者单独看待每一广告展示的价值,然而现实世界中同时会有数以千计甚至万计的竞争者会参与对同一个广告展现机会的竞价,并且DSP代表的广告主随时会更改广告投放计划,这就使得RTB竞价环境高度动态且不能被准确估计,因此静态策略无法满足广告主的要求。为了解决上述问题,本文提出基于约束马尔科夫决策过程的实时广告竞价策略RLB-LG,将竞价决策过程视为强化学习问题。每个广告展示机会的竞价过程抽象为一个回合（episode）,在强化学习问题中,状态空间由剩余竞价次数和剩余预算等实时信息组成,智能体（Agent）的动作就是出价,奖赏则通过点击通过率（Click Through Rate,CTR）和转化率（Conversion Rate,CVR）等指标来构建,进而将竞价的策略问题形式化为一个约束的马尔科夫决策过程,采用值迭代的方法求解,得出能够适应现实生活中高度动态环境的竞价策略。本文的主要贡献有:（1）对于点击率的预测模型,考虑到真实的场景下广告投放获得的点击率十分低,因此会有正负样本之间的比例极度不平衡的问题,所以会对本文采用的数据集首先进行负采样处理,同时模型方面采用GBDT+LR的融合结构（HEXR et al.,2014）,通过GBDT（Gradient Boost Decision Tree）筛选出有区分度的特征和特征组合,再作为LR（Logistic Regression）模型的输入,提升LR模型的非线性学习能力,得到更为精准的点击率预测模型,并运用到竞价策略模型中去。（2）对于竞价模型,将竞价问题形式化为一个有约束的马尔科夫决策过程,采用强化学习中值迭代的方法求解,使本文提出的竞价策略能够在有预算限制下合理分配预算,购买更多具有投放价值的广告展现以达到较好的广告投放效果。本文还会将RLB-LG策略与工业上常用的几种竞价策略在i Pin You数据集上进行实验并进行效果性能的对比。实验结果表明,本文提出的竞价策略在总点击数、胜率等性能指标上都具有有效性。