纳米科技经过半个世纪的快速发展,已经成为一门集前沿性、交叉性和多学科特征的新兴研究领域。在包括复合材料、生物细胞和微纳器件等领域,对能够实现无损、无标记、快速和超高分辨率成像样品表面、界面以及表面以下结构,同时能够提供关于材料力学特性信息的表征方法有着迫切的需求。面向以上需求,原子力显微镜作为近三十年来纳米科学和纳米技术发展的关键仪器之一,表现出了巨大的潜力。在其众多的模式中,基于多频模式的高次谐波原子力显微术因其具有纳米级的空间分辨率、超高力检测灵敏度等优点在特定的领域中有着重要的前景。在轻敲模式原子力显微术中,通过对微探针施加激励,使其以接近谐振状态的频率做简谐振动。当针尖与样品的间距适中时,它将在每个周期中与样品间歇式接触。由于相互作用力的存在,导致悬臂梁的振动产生非线性。这种非线性信号中包含大量与样品属性有关的高次谐波响应。高次谐波因成像简单易实现、力灵敏度高、分辨率高而受到广泛关注。本论文针对高次谐波原子力显微术在纳米力学表征及次表面结构成像中存在的相关问题,以探针振动力学为基础,主要开展了微悬臂梁动力学分析、高次谐波应用拓展和信号增强以及次表面成像能力评价等方面的研究工作。在理论分析方面,我们将从振幅调制原子力显微术的基本原理为出发点,以探针振动的力学模型及针尖-样品间的相互作用力模型等为理论核心,分析了相互作用力场下悬臂梁的动力学特性,并探究了高次谐波的产生机理和成像特点。在高次谐波成像参数优化方面,我们研究了激励频率、调制振幅以及激光光斑位置等主要影响因素对高次谐波力学特性表征的影响。结果表明调制振幅通过影响相互作用力进而影响谐波信号;光斑位于悬臂梁自由端时可以提供最高的谐波灵敏度;激励频率的正确选择可避免谐波成像衬度反转。通过对影响因素的综合分析,实现了高次谐波成像衬度优化,将其应用于有力学特性差异的多相材料区分,并进一步应用于复合材料中纳米颗粒混合比的定量测量。在谐波信号增强方面,我们基于微悬臂梁材料去除的方法来调控其频率特性,使得高阶模态频率与高次谐波频率准确重合,从而增强相应谐波响应信号强度。采用理论分析和有限元仿真,我们进行了去除材料的位置、尺寸等参数优化设计,并利用聚焦离子束刻蚀技术在普通微悬臂梁上进行二次加工。在低密度聚乙烯/聚苯乙烯混合材料样品上的成像结果表明优化后的高次谐波信号较优化前可增强6倍。最后,由于高次谐波原子力显微术具有很强的力学特性检测能力,因此我们将其应用于次表面结构成像。在大气环境中,采用内嵌硬质球形颗粒的聚二甲基硅氧烷材料作为参考样品,对高次谐波进行次表面检测能力的定量评估,并与接触共振、双模态等方法对比。结果表明高次谐波具有较高的力学特性灵敏度,在一般成像条件下的次表面检测深度可超过百纳米。其次,在具有空穴结构的参考样品上对液体环境中高次谐波次表面检测能力进行研究,并与大气环境中进行比较。结果表明,高阻尼环境下悬臂梁高阶模态的瞬态激励可增强谐波的信号强度,液体环境中高次谐波的力学特性灵敏度比大气环境中高一个数量级,可检测到超过200纳米厚高定向热解石墨片下面的空穴结构。