旋转机械中齿轮传动系统在工业生产中应用广泛。然而其齿轮传动系统中的轴承和齿轮容易发生故障而使得整个传动系统运转出现问题甚至失效。所以尽早对齿轮传动系统中轴承和齿轮的故障进行诊断,及时发现故障并处理,是十分必要的。对齿轮和轴承的振动信号进行处理和分析是故障诊断最常用的方法。在对振动信号进行处理的过程中,提取出故障轴承和齿轮的故障特征,并对这些特征进行分类,就能够很好地诊断出是否发生了故障和故障的类型。本文围绕齿轮和轴承两种重要部件的故障特征提取和分类方法展开了系统研究,在基追踪、匹配追踪、字典构造、K-SVD等稀疏表示理论方面进行了深入的研究,取得了以下主要研究成果。首先,提出了一种基于改进的Morlet小波与自适应迭代阈值算法的冲击特性检测方法。设计了一种能够更好地搜索到最佳稀疏参数的改进峭度指标、构造了一种严格满足相容性条件的改进Morlet小波,并将它们与傅里叶基结合起来使用自适应迭代阈值收缩算法(AITSA),解决了稀疏表示下的参数优化问题,能够对冲击分量进行最优检测。然后,提出了一种基于自适应OMP算法和改进的K-SVD算法的冲击故障特征提取方法。根据谐波和调制分量的形态特性,利用过完备傅里叶字典和自适应稀疏度,OMP算法可以自适应地、准确地将谐波分量从观测信号中分离出来;之后利用循环平移和主周期分割方法建立出信号矩阵,并将信号矩阵进行时域平均得到高效的初始冲击字典构造方法,该方法避免了局部最优,加快运算速度,提高了冲击特征的检测精度,为将K-SVD算法推广到2维信号处理奠定了关键基础。最后,在自适应OMP算法和2维信号自适应K-SVD算法基础上,探究了基于LC-KSVD的齿轮传动系统故障识别方法。将基于自适应OMP算法和改进的K-SVD算法处理后的信号的特征计算出来作为LC-KSVD的输入进行字典学习即分类。将此算法应用到轴承故障实验台的机械振动信号中,结果表明,该方法有很好的分类效果。总之,本论文所提出的这些方法有很好的故障特征提取特性和故障特征分类特性。