齿轮传动是应用最为广泛的机械传动形式之一，它在机械、航天、船舶等行业的设备中起着非常关键的作用。目前，齿轮传动系统的振动与噪声已成为影响产品竞争力的首要因素，从而增强了齿轮减振降噪理论与技术研究的紧迫性。与振动相关的齿轮传动系统动力学问题已受到国内、外学术界和工程界的高度重视。本文针对渐开线直齿轮传动系统动力学相关问题展开深入研究，形成了非线性动力学建模、试验研究和模型验证、非线性振动特性研究、齿廓修形研究和动态性能优化设计为一体的理论研究体系。本文的主要研究内容和创新点如下：分别针对渐开线定轴齿轮传动和行星齿轮传动，分析了沿齿宽方向载荷分配不均引起的啮合平面力系，分析了由几何偏心、中心距偏差和横向位移引起中心距变化对啮合力作用方向的影响，分析了齿面、齿背啮合状态变化对啮合力作用方向的影响，考虑由旋转轴空间方位改变引起的陀螺效应，采用拉格朗日法建立了包含齿轮啮合平面力系和啮合力方向动态变化的横-扭-摆耦合非线性动力学模型，揭示了齿轮传动过程的中心距变化和齿面、齿背啮合状态变化与齿轮副间啮合力作用方向之间的耦合机制。分别针对渐开线定轴齿轮传动和行星齿轮传动，分析了中心距变化对齿侧间隙的影响，分析了齿廓修形、转速变化、中心距变化和齿面、齿背啮合状态变化等对啮合刚度的影响，提出了包含动态齿侧间隙和动态啮合刚度并可适用于齿廓修形齿轮的非线性动态啮合模型，该啮合模型实现了与齿轮传动非线性动力学模型进行反馈计算，可用于分析齿轮传动过程中啮合参数的动态变化与振动响应之间的耦合作用。分别搭建了两级定轴齿轮传动和行星齿轮传动试验测试平台，研究了振动特性相关信号的测试方法、测试原理和数据处理方法，并开展了多个稳态工况的振动特性试验研究。针对各试验装置进行动力学建模和数值仿真，并将仿真结果与试验结果进行了对比分析。结果表明，仿真结果与试验结果吻合较好，验证了本文提出的渐开线直齿轮传动横-扭-摆耦合非线性动力学模型和非线性动态啮合模型的正确性。针对单级齿轮传动系统，在发动机激励作用下，采用不同的动力学模型，对比分析了不同转速下的动载荷，分析了发动机转速、中心支撑刚度和中心距偏差对动载荷的影响规律。分析了空载条件下的敲击特性，分析了转速、间隙和中心距偏差对空载工况下动载荷的影响规律；结合非线性动力学特性定性和定量分析方法，分析了齿轮传动系统在不同工况下的运动形式。所得结论可用于指导设计低振动和低噪声的齿轮传动系统。在准静态条件下，研究了齿廓修形参数对啮合刚度和齿间载荷分配系数的影响。基于齿轮传动系统横-扭-摆耦合非线性动力学模型，研究了修形参数对齿轮动载荷的影响，并进一步分析了齿廓修形对轮齿强度的影响。为降低齿轮传动系统的振动和噪声，以减小动载系数为目标，建立了基于渐开线直齿轮传动系统横-扭-摆耦合非线性动力学模型的齿廓修形优化模型，对多个齿廓修形参数进行了优化设计，有效降低了齿轮传动系统的动载荷，为设计低振动和低噪声的齿轮传动系统提供理论依据。针对某履带车辆齿轮传动系统，系统分析了不同挡位下的动态啮合力、行星传动均载系数、轴承支反力和传动轴的动态应力；对比分析了齿轮加工精度和动平衡精度对齿轮传动系统动态特性的影响。基于履带车辆齿轮传动系统非线性动力学模型，建立了综合考虑多挡动态特性的优化模型。通过Isight优化软件集成非线性动力学程序，搭建了优化平台，并开展了优化设计。优化结果表明了优化模型的可行性，为履带车辆齿轮传动系统动态性能的改进设计提供参考。