随着大规模高维数据在研究和工业领域的普及,对数据分析和知识发现的可扩展计算技术的需求越来越大。将这些数据转化为知识的关键是学习高效的数据统计模型。由于计算机的性能限制,在单机环境下利用大规模数据集学习模型具有很大的局限性;同时,现有的大量学习统计模型的方法,通常在应用于大规模数据时具有较高的计算成本,或者产生学习能力不强的模型。为了解决这两个问题,本文开展了压缩回归与分类问题的算法与应用研究,本文提出了一种基于定长编码的矩阵压缩方法,并支持快速时间内的随机访问;在此基础上建立了基于压缩矩阵的偏最小二乘回归和偏最小二乘逻辑回归算法,提高了偏最小二乘方法的扩展能力和学习能力。具体内容如下:首先,为了解决单个计算机应用大规模数据集的局限性,本文设计了一种基于定长编码的矩阵压缩算法BCSM(blocked compressed sparse Matrix),该算法按照矩阵行序进行压缩,将所有非零位置的索引连接并进行分块压缩,同时支持快速时间内随机访问矩阵,以应用于分类与回归模型中大量的矩阵运算。之后,本文将压缩矩阵应用于机器学习模型中,提出了基于压缩矩阵的偏最小二乘算法NFPLS。该方法将特征提取分为两个步骤,首先将传统偏最小二乘算法中的主成分分析替换为神经网络算法受限玻尔兹曼机,用于提取能够表达原始数据的低维特征,该改进消除了原始方法不能充分表达数据的非线性特征的局限性,之后修改残差计算公式,在压缩矩阵上利用典型相关分析和线性回归对所提取的特征构建学习模型。受限玻尔兹曼机提取特征的过程运算较为复杂,为了降低训练受限玻尔兹曼机模型的时间复杂度,本文对受限玻尔兹曼机中对比散度算法提出改进,从两个方面识别和消除冗余计算:第一点改进侧重于采样过程,通过给出每个采样单元可能的条件概率的上下限减少不必要的计算;另一点侧重于条件概率的计算,通过重用历史结果以加快计算速度。本文利用这两点改进加快NFPLS模型构建的速度。本文选取了多种数据集进行实验测试,其中包含UCI标准数据集以及经过分词和TF-IDF处理的大规模数据集。本文选取了几种稀疏矩阵压缩算法与本文算法在压缩时间,压缩率以及访问性能进行对比,实验结果表明,本文所提出的压缩方法BCSM在访问性能和压缩率上具有普遍优势,同时,本文利用多个标准评价模型的学习准确率,NFPLS算法在与其他类似算法的比较中,表现出了优秀的回归及分类准确率。