随着互联网的飞速发展,各种网络业务呈现出爆发式的增长,产生的互联网流量数据也爆发式增长,互联网大数据分析平台的的运维环境变得复杂多变,产生的数据量大,并且千变万化,平台需要监控的指标越来越多,这对于传统的平台运维模式和技术方案带来了很大的挑战。目前,大数据分析平台的运维人员通过简单的检测器或者设置固定的阈值来对平台的各项指标进行监控,并且对于不同的业务场景,阈值的设定也不尽相同,这需要平台的运维人员丰富的经验。随着平台业务的增多,监控指标也在增加,需要设定的阈值也在增多。并且人工设定阈值带来大量的错报以及漏报问题,平台运维人员需要花费更多的时间去监控、排查以及修复问题,平台的运维变得很被动,运维成本也在不断的增加。基于规则和简单设置阈值的运维方式,只能够应对简单的场景,难以扩展。相反,统计方法和机器学习提供了更加灵活的表达方式,强大健壮,能够应对不断变化的需求。本文介绍了机器学习在大数据分析平台运维管理中的两方面应用,第一是聚类方法在平台原始数据分布规律的发现和以及采集服务器负载均衡中的应用;第二是回归算法在平台监控指标的智能化预测以及异常检测中的应用。不同于传统的图像或者文本数据,本文实验数据为时间序列,因此特征提取与传统的机器学习流程上有一定的差别。本文通过数据的汇聚处理将平台原始数据转为算法可用的时间序列数据,然后使用不同的距离计算方法和聚类方法对其聚类和分析。对于平台的监控数据,本文充分挖掘时间序列的特征信息,将单一时间序列特征扩充为表现力丰富的多维特征,之后分别采用LSTMs(Long Short Term Memory networks)以及机器学习回归模型对时间序列进行预测,同时与传统的时间序列分析方法ARIMA(Autoregressive Integrated Moving Average Model)进行了对比。有了准确的预测能力之后,本文自主设计一种异常检测算法,并通过验证得到了满意的结果,实现了对平台监控数据的异常检测。