在当今大数据时代背景下,数据往往呈现高维度、大容量、多样化和增长快等特点。这不仅意味着数据中有用信息的增加,同时还会给数据存储、传输和运算带来巨大负担。如何有效地挖掘并利用数据本身的低维结构来处理高维数据成为各行业面临的重要挑战。近年来,鲁棒稀疏恢复（robust sparse recovery）研究的兴起表明,数据本身的稀疏特性可以用来有效地分析高维数据,并且当满足一定条件时,可以从有限观测值中准确重建原始高维数据。而信息论作为一门研究数据获取与传输的科学理论,为我们探究鲁棒稀疏恢复问题提供了新的思路。因此,本论文以信息论为指导,以数值优化和变分贝叶斯为主要数学工具,综合运用信息论的相关测度和基本原理,结合压缩感知图像重建、近场毫米波成像和多光谱成像等具体应用对鲁棒稀疏恢复问题进行了深入的探究,主要研究内容包括以下四部分:首先,利用在一定约束条件下最大化Tsallis熵得到的q-高斯函数推导出了一种鲁棒的信息论测度——q-高斯广义相关熵。为从含有脉冲噪声的压缩采样观测数据中成功地恢复稀疏信号,提出了一种新的鲁棒稀疏恢复模型,该模型采用q-高斯广义相关熵（1<q<3）作为恢复残差的损失函数,并选用?0范数作为稀疏正则项。通过在自适应滤波框架中引入零吸引正则算子,开发了一种基于梯度的自适应滤波算法对所提模型进行求解。该算法结合了自适应滤波和q-高斯广义相关熵的优势,可以通过调整自由参数q来获得令人满意的恢复结果。实验结果证实了在同等脉冲噪声条件下,相较于一些主流的鲁棒稀疏恢复算法,所提算法可以获得更好的恢复结果。其次,为解决脉冲噪声环境下的鲁棒稀疏恢复问题,提出了一种基于M-估计和非凸正则项的鲁棒稀疏恢复模型。M-估计作为一种鲁棒测度,不仅与相关熵测度联系密切,同时在许多任务场景中展示了其强大的抑制脉冲噪声的能力;非凸正则项可以解决凸正则项带来的有偏差估计问题,进而获得更精确的恢复结果。为有效地求解此模型,利用半二次优化技术（half-quadratic,HQ）推导出了一种高效的低计算复杂度算法。仿真信号和实际图像在脉冲噪声环境中的重建实验结果证实了该算法的有效性。再次,在信息论原理的指导下提出了一种基于广义近似消息传递的鲁棒稀疏恢复贝叶斯方法,该方法在推导过程中综合运用了相对熵、信道编码和置信传播等信息论测度和原理,是信息论与变分贝叶斯方法的一种有效结合。此外,通过构建近场毫米波压缩采样成像模型及相应的测量矩阵,将所提方法应用到近场毫米波成像中,实现了近场毫米波的实时成像。仿真和实测数据的恢复实验结果表明所提方法可以快速、有效地从压缩采样观测数据中重建近场毫米波二维图像。最后,研究对象从一维信号和二维图像扩展至多维张量数据,探讨了脉冲噪声环境下基于稀疏表示的鲁棒张量恢复问题,提出了一种基于相关熵和混合张量稀疏表示测度的鲁棒张量恢复模型。深入分析了所提出的鲁棒张量恢复模型能有效地抑制脉冲噪声影响的原因及混合张量稀疏表示正则项的优势。另外,为了有效地求解此问题,基于交替方向乘子框架推导出了一种高效的大尺度优化算法。多光谱数据恢复实验结果表明所提出的算法可以在脉冲噪声环境下实现有效的鲁棒张量恢复。