机器学习技术通过与各个产业进行深度融合,改变着我们的生活方式,广告推荐、智能扫地机器人、自动驾驶等各种人工智能和机器学习的应用正在蓬勃发展。机器学习流水线（Machine Learning Pipeline,MLP）在其中扮演了重要角色,它支撑着模型的快速开发、测试和迭代。机器学习流水线能够将机器学习过程中的数据预处理、特征选择、模型训练等步骤进行流式化封装和管理,提高了机器学习的研发效率。在使用机器学习流水线进行实验的过程中,存在一个非常关键的问题:超参数的选择。然而,超参数调优这一过程极度依赖经验,传统方式主要通过人工调优,这不仅耗时耗力,而且往往收益不高。超参数优化（Hyper-parameter Optimization,HPO）作为自动机器学习的一个重要研究领域,能够通过自动化的方式,搜索出机器学习算法的最佳超参数,减少人工干预。然而,目前机器学习流水线超参数优化的相关研究尚存在着诸多问题:（1）超参数的类型通常包含离散型和连续型,面对这种混合类型的配置空间,大部分算法选择将连续值离散化,然而离散间距过大,会导致算法无法搜索到最优的超参数配置,离散间距过小,会导致搜索数量呈指数递增。（2）机器学习流水线中包含多个算法,这导致超参数的配置空间维度成倍增加,高维的搜索空间导致优化算法难以搜索到最优的超参数配置。（3）大部分超参数优化算法的搜索空间在训练过程中保持不变,然而超参数优化的过程是非常耗时的,如果在算法表现较差的配置空间进行过多的探索,会产生额外的搜索开销,甚至可能导致算法收敛至次优解,给算法带来不稳定性。针对上述问题,本文使用多智能体强化学习方法进行机器学习流水线上的超参数优化,并在迭代过程中对智能体的动作空间进行动态修剪,以提高搜索效率,主要工作如下:1.提出了基于多智能体近端策略优化的超参数搜索算法。针对机器学习流水线中存在的混合动作类型问题,本文提出了一种复合动作空间的设计来处理离散、连续超参数的选取。对于多个算法同时存在造成的超参数配置维度过大问题,本文通过将流水线的超参数优化建模为多智能体协作问题,来降低每个智能体的动作维度。2.提出了基于多智能体动态动作空间的超参数搜索算法。智能体在较差的配置空间进行探索,不但会消耗额外的计算资源,并可能会导致算法收敛于次优解。本文根据迭代过程中收集的历史数据,筛选出关键超参数及对应的高性能区间,在智能体的迭代搜索过程中对动作空间进行动态修剪,使智能体向核心搜索空间聚拢,避免其在低性能的空间过多的探索。将智能体往高性能区间引导还能够增加智能体搜索到更优配置的概率,并使算法能够更快收敛,有效降低算法方差。3.设计开发了基于超参数自动优化的机器学习流水线平台。本文使用上文提出的基于强化学习的超参数搜索算法,设计了一个能够对机器学习流水线自动进行超参数优化的机器学习平台。该平台允许科研人员通过拖拽算法组件的交互方式,构建机器学习流水线并进行实验,每个机器学习算法的超参数可以通过可视化的方式进行设置。该平台能够避免低效的手动调参工作,提高科研效率。