近年来,随着计算机和信息技术的迅猛发展和普及应用,行业应用数据呈爆炸性增长,全球进入到了一个全新的“大数据”时代,引起业界、学术界和各国政府的高度关注。大数据中往往隐含着很多在小数据量时不具备的深度知识和价值,因此大数据存储处理与分析应用成为近几年来的研究热点。机器学习和数据分析是将大数据转换成有用知识的关键技术。而在大数据机器学习处理时,大多数机器学习和数据分析算法都可以表示为矩阵或向量代数计算。因而在大数据机器学习算法中,矩阵运算的性能很大程度上决定了学习和分析算法整体的运行性能。以深度神经网络算法为例,大部分的计算量都花费在矩阵乘法上。而大数据场景下矩阵运算的另一个技术难题是,大规模矩阵运算无法基于单机在可接受的时间内完成,因此,有必要研究实现基于集群的大规模分布式矩阵运算方法和算法。为此,本文将研究基于大数据平台的大规模分布式矩阵运算方法和算法,以提高大规模矩阵运算的计算性能,最终为分布式学习系统提供基础矩阵算法库支撑。在实际的大数据处理场景中,通常包括稠密矩阵和稀疏矩阵两大类矩阵。为此,本文首先对大规模稠密矩阵相关运算进行研究。在分析了Hadoop和Spark等大数据平台上已有相关工作的基础上,提出了能更好地权衡矩阵运算并发度与shuffle数据读写开销的矩阵运算执行策略C-RMM (Concurrent Replication based Matrix Multiplication);并且根据底层Spark平台的相关特性,在算法实现环节,提出了以下三种优化措施,包括在MapMM (Map-side Matrix multiplicatic n)策略中更高效地利用本地原生库,提供更高效的分布式行-块矩阵转换,以及减少矩阵乘法join阶段的shuffle数据读写开销。此外,本文还进一步利用Spark的联合分区的特性,对矩阵间逐元素运算进行了相关性能优化。除了稠密矩阵外,现实世界大数据处理场景中,很多大规模矩阵具有很大的稀疏性,对这种稀疏矩阵,如果采用稠密矩阵运算方法进行处理,不仅会浪费较大的数据存储空间,而且运算性能也难以令人满意。为此,本文第二部分工作对大规模稀疏矩阵相关运算方法和算法进行了研究与实现。在区分了高度稀疏的矩阵乘法和中度稀疏的矩阵乘法各自特点和相关应用场景后,对于中度稀疏矩阵乘法问题,本文仍然采用分块切分的思想。为了优化分布式计算过程中单节点上的计算性能,本文比较了现有的基于JVM的单机矩阵运算库,参照已有工作中的相关设计思想,研究实现了一套高效的单机稀疏矩阵运算方法,从而在整体上提高了分布式运算的整体性能。在稠密和稀疏矩阵运算方法和算法研究与实现的基础上,本文进一步设计并构建了一个基于Spark的高效大规模分布式矩阵运算库——-Marlin,并在三种不同特征类型的矩阵乘法运算上,与Spark MLlib、SystemML和SciDB进行了相关运算操作的性能对比。实验结果表明,在大规模稠密矩阵乘法场景下,Marlin相比于Spark MLlib. SystemML和SciDB可以分别达到2-4倍的平均加速比；在设定常见稀疏度的大规模稀疏-稀疏矩阵乘法场景下,Marlin可以分别达到8-16倍的平均加速比；在大规模稠密-稀疏矩阵乘法场景下,Marlin可以分别达到3-5倍的平均加速比。最后,为了验证所研究实现算法的整体有效性,本文还利用矩阵相关运算算法分别实现了深度神经网络和非负矩阵分解两个真实的机器学习算法应用,并将Marli n与SystemML口SciDB进行了性能对比。实验结果表明,在深度神经网络的应用中,Marlin相比于其他系统可以达到5-29倍的加速比；在非负矩阵分解应用中,Marlin相比于其他系统可以达到约2-3倍的加速比。同时,Marlin系统还表现出了近乎线性的系统和数据可扩展性。