非光滑优化是系统科学技术层次的重要组成部分,在图去噪、最优控制、数据挖掘等方面都有着广泛的应用.在非光滑优化中,由于目标函数不可微,传统的微分概念已不再适用,一类广义的微分形式:Clarke次微分、B微分、拟微分等构成了非光滑理论的基础.考虑到一般Lipschitz函数的广义微分并不容易算出,本文对几类特殊向函数的广义Jacobi的计算方法进行了研究,并以此为着手点,提出了求解垂直互补问题、混合互补问题、非线性互补问题以及非线性非光滑互补问题等几类互补问题的有效算法:首先,研究了垂直互补问题.对于此类互补问题,本文首先基于一类新的微分形式,提出了具有自适应参数调节方案以及全局收敛性的非光滑Levenberg-Marquardt（LM）算法（I）,然后通过对极大值向函数Clarke广义Jacobi计算方法的研究,提出了基于B微分计算的非光滑Levenberg-Marquardt算法（II）,并在弱于Jacobi非奇异的局部有下界条件下给出了算法的局部收敛率.需要说明的是,非光滑LM算法（II）从理论上对LM算法（I）中的参数调整方案进行了修正.其次,研究了一类箱式约束混合互补问题.首先给出了此类互补问题的两种不同转化形式,然后基于对一类极小值复合向函数Clarke广义Jacobi计算方法的研究,给出了求解箱式混合互补问题的Levenberg-Marquardt算法.最后,数值实验验证了算法的有效性.众所周知,Jacobi光滑化算法是求解非线性互补问题的一有效方法.在这一算法中,是否满足Jacobi相容性是衡所构造（或已有）光滑函数与其对应非光滑函数的一阶逼近程度的一个重要指标.为了得到光滑函数更好的性质,本文提出了强Jacobi相容性的概念,并结合对相关函数Clarke广义Jacobi中元素表达式的研究结果,提出了求解非线性互补问题的强Jacobi光滑化算法.最后,研究了一类更为广义的非光滑非线性互补问题.对于此类互补问题,本文首先提出了一种新的微分形式,然后在此基础上给出了求解该问题的Levenberg-Marquardt算法和其在一定正则条件下的局部收敛率.值得一提的是,此类互补问题包含的类别比较多,如互补函数为凸函数的互补问题、互补函数连续可微的互补问题等,研究结果适用的范围较为广泛.