稀疏优化是目前最优化领域中非常热门的研究前沿课题,在压缩感知、图像处理、机器学习、生物信息等领域都获得了成功的应用.它旨在从少量样本中恢复高维度的稀疏信号;为此,学者们提出了l₀最小化模型.然而,人们发现有些实际问题不仅是稀疏的,还具有特殊的结构,如实际应用中的组稀疏与组内稀疏的结构,Friedman等学者将l₁范数与l_2,1范数结合作为罚函数项,提出了稀疏&组稀疏优化模型.该模型已被成功应用于深度神经网络、特征选择等问题中.受稀疏&组稀疏优化模型的启发,以及l₀范数比l₁范数更优的稀疏诱导性特征,本文将l₀与l_2,0结合作为惩罚项,提出（非凸）双层稀疏优化模型,并深入研究模型的稳定性理论与算法收敛性理论.本文主要工作与贡献如下:第一,本文分别对欠定线性系统和非线性系统提出了双层稀疏优化模型.双层稀疏优化模型引入了l₀范数与l_2,0范数的惩罚项,同时刻画组稀疏与组内稀疏的结构,这将为广泛的工程应用提供新的建模思路.第二,本文研究了这两个双层稀疏优化模型的稳定性理论.对于线性系统,提出了线性算子A的组稀疏特征值条件,并在此条件下得到了线性双层稀疏优化模型的Oracle性质和恢复边界估计.对于非线性系统,提出了损失函数的组限制强凸条件,并在此条件假设下建立了Oracle性质和恢复边界.需要注意的是,这两个模型的Oracle性质不需要任何正则性假设,而恢复边界需要的假设条件也比目前文献研究的要弱.模型的稳定性理论研究将为双层稀疏优化的成功应用与推广奠定理论根基.第三,本文对这两个模型设计了相应的连续化近似梯度算法,建立了收敛性理论.具体的,运用KL理论框架,得到了算法的全局收敛性;结合罚函数的特殊结构证明了收敛点即为双层稀疏优化模型的局部极小解,并深入分析了算法的线性收敛速度.算法的收敛性理论将为广泛的工程计算与实际应用提供算法基础.第四,本文进行了大量的数值实验,并将本文设计的算法与一些机器学习领域的先进算法进行比较,如ADMM、ISTA、OMP、FoBa、GSparO、SPGL1等.实验结果表明,合理利用双层稀疏结构,本文所设计的模型与算法的性能表现要明显优于已有算法。