互联网技术催生了大数据时代的来临。当前,大数据已经成为了炙手可热的研究焦点。由于海量的数据使得单个的计算机已经无法满足存储及计算的要求,各种大数据的计算模式及其对应的分布式计算系统开始不断涌现。MapReduce无疑是其中最为经典并且应用最为广泛的大数据计算模式。任务调度与资源分配一直以来都是大规模分布式集群研究的关键技术,这对提高大数据集群的计算效率尤其重要。Hadoop是通过各个从节点在不同的时间向主节点以“pull”的方式发送心跳请求获取任务的。现有的任务调度器只根据当前请求任务的从节点状况,来选择任务进行分配。而没有将更多的资源与集群中各个作业的具体需求联系起来,做出更优的调度方案。因此本文在对MapReduce的任务推测执行算法和任务调度算法进行分析和研究的基础上,设计了相关的改进算法。具体工作如下:(1)提出了预释放资源列表。通过Hadoop记录的历史信息和集群当前状况的监控信息,对节点的任务处理速率以及任务的剩余完成时间进行评估,可以预测出哪些资源即将释放,以此构建出预释放资源列表。从而使得Hadoop在进行任务调度的时候有着更大的优化空间。(2)设计了一种基于预释放资源列表的任务推测执行算法。从构建出来的预释放资源列表中,选择使慢任务更快完成的资源,从而达到使慢任务更快完成的目的。实验表明,基于预释放资源列表的推测执行算法能够有效的使有慢任务的作业更快完成。(3)设计了一种基于预释放资源列表的任务调度算法。根据作业在各个节点的本地性以及节点的任务处理速率,为每个作业构建一个预释放资源列表。通过将作业与预释放资源列表进行匹配调度,从而为每个作业找到最适合的资源。实验表明,本算法能有效提高集群的性能。