矩阵分解的原理是将原始数据矩阵分解成多个矩阵的乘积,其作用是数据降维或者超完备基的学习。然而,传统的矩阵分解算法存在很多不足,第一,容易陷入局部解,而无法搜素到全局最优解;第二,对于各个子问题优化存在收敛慢、计算量大和精度差等问题。因此,本文提出收敛快、计算量小、精度高以及能搜索到全局解的多个算法,理论和实验证实了这些算法的可行性和有效性。除了对矩阵分解问题的优化算法进行研究以外,本文还要研究如何将矩阵分解有效地应用到实际问题。基于矩阵分解的思想,本文提出了监督性学习方法,该方法可以很好应用于图像识别。我们的创新点如下:·提出基于惯性神经网络求解非负矩阵分解的一类算法,通过Lyapunov泛函知识证明惯性神经网络系统的稳定性,且收敛到全局最优解。相对于传统算法而言,该算法的优势在于通过调节神经网络的惯性项,从而搜索到全局最优解。·提出基于估计序列优化来理论求解非负矩阵分解的一类算法:即通过Nesterov的凸优理论对两个带约束凸二次规划问题进行交替优化。相对于传统算法而言,该类算法的优势在于各子问题的算法收敛率为O(1/k~2),且拥有收敛快,计算量小和精度高的特点。·提出基于估计序列优化来理论求解稀疏编码的一类算法:即通过Nesterov的凸优理论对L1范数和带约束二次规划问题进行交替优化。相对于传统算法而言,该算法能较快的学习超完备基。·提出基于矩阵分解的监督性学习方法,该方法结合局部保持投影和线性判别分析的思想,即投影后的低维数据空间不仅遵循原始数据空间的流行结构,而且低维空间的类内距离非常近。相对于传统降维方法而已,该方法在图像识别中的识别率更高。