为了更好地获取目标物信息，空间光学系统通常对分辨率有较高的要求，要获取高分辨率就要求发展大口径长焦距的光学系统。但是传统的大口径光学系统存在制造技术难度大，成本高，运载困难等问题。因此人们开始寻求新的方法来解决这一问题，其中复杂光瞳光学成像系统是实现大口径高分辨率的途径之一。本文阐述了研究的问题，介绍国内外现状和选题意义，讨论了复杂光瞳光学系统的分类，重要指标，孔径结构和Golay6结构的特点，导出Golay6结构复杂光瞳的光瞳函数解析式和点扩散函数的解析式，并对目标图像进行模拟成像。针对所成像对比度下降问题，提出利用分数阶微分算子对模拟所得图像进行图像增强。从复杂光瞳的成像原理出发，进行了Golay6结构复杂光瞳成像特点分析，设计了Golay6结构复杂光瞳望远镜系统。用Golay6结构复杂光瞳代替望远系统两镜结构中的主镜，通过Zemax程序对系统进行设计，分析了调制传递函数以及点列图，加入熔石英校正镜增大系统视场范围并且改善成像质量。在Golay6结构复杂光瞳光学系统中，通过计算和模拟Golay6结构主镜存在piston误差时的光瞳函数、点扩散函数以及调制传递函数，研究子镜装调产生的piston误差对成像的影响。根据中心点亮度的要求，给出了不同半径，不同填充因子下的误差允限，并通过Matlab进行成像模拟。最后，总结本论文的研究内容，并指出下一步需要展开的工作。