Apache Spark作为专为大规模数据处理而设计的快速通用的计算引擎,具备运行速度快、更通用、内置更多应用工具等优点,是当前主流的大数据技术框架。Spark可以完整覆盖数据采集、数据清洗、数据分析以及数据展示等一系列数据研发流程。对于超大规模、商业级的大数据应用场景,当前的Spark生态仍然存着待改进提升的问题。首先,Spark缺少完善的针对业务作业的调度能力,作业调度需要全面考虑各种因素,如作业依赖、作业等待时长、作业紧急度等。当前对于大数据作业调度算法的研究,其应用场景主要集中于如何将一个大数据作业更合理或者更快速的拆分,然后对拆分后的子作业进行调度,在Spark生态中尚缺少针对业务数据处理作业的调度算法。其次,Spark生态缺乏数据运维监测支撑能力,对于数据监测、数据治理等数据质量保证方面缺少支持。论文借鉴 Spark 的 DAG(Directed Acyclic Graph,有向无环图)逻辑结构与实现,综合考虑集群资源使用率、作业时间以及用户期望等因素,设计实现了基于多DAG的面向资源动态优先级作业调度算法,同时提供紧急作业调度,解决了实际生产过程中Spark作业阻塞挂起、任意抢占资源以及紧急作业无法快速执行等问题。论文针对全过程数据质量监测问题,设计了大数据平台数据流转监测机制,提升了 Spark平台的数据运维监测能力。论文实现了 Spark作业调度和数据运维监测两个功能的系统,并在某全国级的大数据分析环境中进行了应用,效果良好。