由于拥有较高的比强度与比刚度、优良的耐热性等特点,复合材料层合板结构在航空航天、医疗等众多领域有着日益广泛的应用。通过调整纤维布局方式,可以进一步提高层合板结构的性价比。因此,越来越多的学者开始重视复合材料在高性能化、低成本化方面的研究。然而,这种面向性能优化的工程设计面临诸多挑战。首先,对层合板结构厚度的轻量化裁剪会破坏载荷传递路径,进而引起应力集中。其次,大量确定材料布局的微细尺度设计变量和可制造性约束,增加了该优化问题的复杂程度。再者,作为典型的空间分布变量优化问题,致密的均匀设计网格会带来巨大的计算量,而稀疏的网格又会失去一些设计自由度。针对上述问题,本文开展了下列研究工作:为了保证纤维增强层合板结构优化中力学性能预测精度,本文首先在等效单层板理论的基础上,采用等几何分析的方法构建了层合板的静力学分析、自由振动和屈曲分析模型。针对多块直线纤维层合板的变厚度拼接组合问题,本文提出了一种基于多铺层模板的纤维铺层顺序设计方法。多铺层模板的引入,在保证相邻层合板之间结合强度的同时,扩展了传统单一铺层模板优化方法的设计空间。针对多层曲线纤维变刚度层合板优化中变量多、约束复杂、非凸问题,本文提出了一种纤维路径多阶段寻优模型。在铺层参数优化、纤维轨迹拟合以及屈曲载荷优化不同阶段,采用了逐步细化的设计变量形式及其网络,有助于避免陷入局部最优解。对于应力分布不均匀的变刚度层合板,本文提出了一种基于截断层次B样条的自适应变刚度优化方法。该方法通过对铺层参数分布模型进行自适应的多层次局部细化,在保持优化精度的基础上,能够较大幅度地减少优化自由度的数目。