云计算技术是一种全新的计算模式,通过互联网实现随时随地、按需、快速获取服务(计算设施服务、存储设施服务、应用程序服务等)。同时通过云计算,可以将任务分布在由大量服务器组成的集群上。目前,云计算已经在科学计算、虚拟环境、网络搜索、生物信息和能源等领域有了相关的应用和探索。随着互联网的快速发展,网络传输数据量和数据中心存储数据量与之前比较都呈现出几何倍数的增长。传统的存储方式价格昂贵,扩展性差,设计复杂,需要的专业维护人士也不能跟上数据快速增长的需求。MapReduce致力于解决大规模数据处理的问题,利用局部性原理将整个问题分而治之,已经被现阶段的许多行业广泛应用。但是它也存在一定的问题,当输入的数据倾斜度比较大时,会造成键值对的分布不均匀。增加Map任务与Reduce任务之间的中间数据的网络传输量,占用大量带宽,使得有的任务执行时间明显大于其它的,因此作业的总执行时间增加了,降低了系统性能。本文的出发点是在云端大数据集群上输入数据存在倾斜时,如何利用云环境的优势,采用蚁群算法,有效的对虚拟机进行迁移,使得中间数据的网络传输量达到最小。主要工作为:(1)改进蓄水池抽样算法,并行的蓄水池抽样对MapReduce中间数据进行抽样,估算键值出现的次数。该抽样由一个独立的MapReduce应用程序完成,并在后文中给出理论证明,水池抽样算法能够有效的估算中间数据的键值分布。(2)根据抽样统计出来的所有中间数据键值的频次分布结果,通过蚁群算法以虚拟机之间数据传输量最小为优化目标,得出最佳虚拟机与物理机对应关系,最后对虚拟机进行迁移,将数据传输大且距离较远的虚拟机迁移到同一台物理机上。(3)搭建OpenStack和Hadoop大数据平台进行试验。实验中,在输入数据量大,倾斜度高时,与随机模式的迁移和不迁移策略相比根据抽样数据分布的蚁群算法迁移有较大的优化,即跨机流量传输越小,数据本地化程度越大,执行时间越短。