随着通信业务需求的增加，光纤通信系统朝着传输速度快、容量大、距离长等方向发展。但光纤中存在较大非线性效应，该效应严重限制了信息传输速率和传输容量。基于色散管理技术思想，人们开始专注非线性管理技术，即如何合理有效利用光的非线性特性来改善光纤通信系统的传输速率和容量等，另一方面如何利用非线性管理技术来抑制光纤通信系统因非线性效应引起的系统性能恶化。本文主要研究了非线性管理技术在光纤通信系统中的应用，以光脉冲在光纤中的传输为研究对象，重点研究了如何利用非线性管理技术实现对光脉冲在光纤中传输的控制，深入研究了非线性光纤耦合器的开关特性和耦合特性。本文主要创新性工作和成果如下：（1）采用变分法研究光脉冲在光纤中的传输情况，推导出脉冲传输过程中脉冲宽度保持不变情况下非线性系数、初始脉冲宽度和色散系数之间的关系；成功运用非线性管理技术控制光脉冲的传输特性。研究了五阶非线性管理情况下光脉冲的传输特性，结果表明采用五阶非线性管理情况时，脉冲宽度的波动幅度大大减小，并能实现脉冲宽度接近于保持不变。（2）采用矩量法推导出超短脉冲在光纤传输中脉冲幅度、宽度、频率、相位及中心位置随传输距离的演化方程，分析了拉曼效应、自陡峭效应对脉冲宽度、频率的影响。采用非线性管理技术来控制超短脉冲的传输，结果表明非线性管理技术可很好抑制拉曼效应和自陡峭等非线性效应。（3）运用矩量法推导出两个脉冲在作用过程中脉冲间距、宽度、频率随传输距离的演化方程，并进一步研究脉冲间距、非线性系数对两个脉冲间的相互作用的影响。（4）采用色散管理和非线性管理同时控制光脉冲在光纤中的传输和光脉冲的相互作用。结果表明在两种管理同时作用下，随着光纤中传输距离的增加，系统传输性能几乎不下降，脉冲宽度几乎不发生变化；光脉冲间的作用大大减小，即使脉冲间距较小和传输距离增加，光脉冲间也基本不发生相互作用。（5）采用变分法和分步傅里叶变换法研究如何运用纤芯的非线性系数、增益以及输入脉冲的相位差来控制非线性光纤耦合器的开关特性和耦合特性。研究发现，非对称型非线性耦合器比对称非线性耦合器能实现更高的开关效率和更低的阈值功率；通过增益诱导和相位控制可提高耦合器的开关特性，也可得到不同耦合输出比，成功实现耦合比可变的耦合器的设计。最后研究了纤芯的非线性系数和增益对多芯非线性光纤耦合器的输出特性的影响。本论文的研究得到国家杰出青年科学基金项目（Grant No.60588502）与国家自然科学基金项目（Grant No.60877033,60607005）的资助。