随着互联网的快速发展,近年来网络上的文档数据量呈几何级数增长。快速增长的网络信息量带来了高效检索信息的需求。搜索引擎在网络信息检索任务中扮演了重要角色。学习排序(Learning to Rank,以下简称LTR),作为搜索引擎相关应用背后的重要技术支撑,主要解决对搜索结果的相关性进行排序的问题。搜索结果的排序结果对检索的性能和体验影响很大,因此LTR技术获得了众多了关注,取得了长足的发展,各种相关的算法也层出不穷。然而,随着数据量的进一步大幅度增大,近年来,在关注算法精度的同时,越来越多的研究人员开始关注LTR训练算法的效率问题。GBRT(Gradient Boosting Regression Tree),作为LTR领域最重要的算法之一,同样也面临着大数据时代的挑战。GBRT训练具有顺序性、并行粒度低等特点,导致在数据规模增大时其训练效率的问题越来越突出。2013年,百度甚至将“GBDT的并行化训练研究”1作为百度最有价值的研究课题之一向学术界公开征集解决方案2,本文研究内容即为课题组成功申请的百度GBRT并行化训练课题基础上的研究工作。基于上述背景和所申请的百度课题,本文以不降低算法的精度、提升算法的训练速度为目标对GBRT的训练并行化展开了研究。本文的研究工作主要包括训练算法优化和算法并行化两大部分。第一部分,在算法优化上,本文提出了基于K-Means直方图近似的并行化训练算法KH-GBRT以加速训练过程。Gradient Boosting框架具有本质上的顺序性,难以并行化,且GBRT算法训练最耗时的部分是在单棵回归树的训练过程,因此本文并行化的关注点主要在单棵回归树的训练上。首先,我们提出了基于K-Means直方图的近似构造算法并把它和回归树算法相结合降低了回归树训练过程中分裂点寻优过程的时间复杂度,并提高了寻优过程的并行粒度,加速了训练过程;进一步地,为了避免K-Means直方图近似算法带来的精度损失,本文将核函数密度估计和K-Means直方图算法相结合,提出了一套基于K-Means直方图的核函数概率密度估计算法,该算法提高了 K-Means直方图密度估计的准确性,并间接提升了训练精度。第二部分,在并行化方案上,我们分别针对MPI和适合迭代计算的大数据处理框架Spark的特点提出了两套并行化方案。MPI具有接口灵活,运行效率高优点;而Spark具有高容错性,可编程性好,代码移植简单的优点,它们根据不同的需求有不同的应该场景。我们在LTR的公开评测数据集和百度内部大规模数据集上进行了一系列实验,以评估本文并行化优化算法的效果。结果显示,本文提出的基于MPI并行化的KH-GBRT算法和先前文献中已有的最快的大规模分布式GBRT算法相比,取得了 1.49-1.54倍的加速,同时精度上也有所提升;在可扩展性上,也取得了近乎线性的可扩展性效果。同时和中文搜索引擎百度使用的GBRT算法相比,本文并行算法获得了 1.6-2.13倍的加速和更好的训练精度。而基于Spark并行化的KH-GBRT算法,虽然训练速度上和MPI版本相比稍逊一些,但其在容错性和可编程性上更胜一筹,并且在实验中显示了准线性、甚至超线性的可扩展性效果。