小行星取样返回是深空探测的热点。轨道设计是开展深空探测任务设计的重要环节。本文研究了近地小行星取样返回任务的转移轨道优化设计问题。针对日心直接转移轨道的设计问题,利用两脉冲转移和三脉冲转移进行取样返回任务转移轨道设计。主要包括如下三个方面的研究:(1)采用经典Lambert轨道转移算法和三脉冲转移方法,对发射窗口、逃逸状态、任务时序进行数值寻优,获得往返于小行星的速度增量,形成小行星取样返回轨道转移方案;(2)针对化学推进转移轨道,设计了以探测器干重为优化指标的轨道转移方案。通过求解直接转移获得转移速度增量,结合运载火箭的发射能力,得到探测器干重并使其最大化,有效地提升了探测器干重,扩大了小行星遴选范围;(3)建立了剩余质量-转移时间的多目标优化模型和速度增量-转移时间的多目标优化模型,利用NSGA-Ⅱ算法进行求解,有效地分配了轨道转移时间与停留在小行星上的科学探测时间,为任务设计提供了更多的灵活性。针对具有一定倾角和偏心率的目标小行星,研究了采用天体借力的日心转移轨道的设计问题。建立了含有深空机动的天体借力转移的模型,对发射窗口、飞行时序进行数值寻优,获得取样返回转移轨道的速度增量,形成小行星取样返回轨道转移方案。通过建立并求解含有深空机动的日心借力飞行转移模型,有效地降低了轨道转移途中的速度增量。针对地心逃逸段轨道的设计,研究了采用月球借力逃逸转移的轨道设计方法,探讨了月球借力的作用。按照发射能量高低、月球借力次数的不同进行了如下三方面的研究:(1)针对高能发射情况,利用正向拼接、反向拼接两种方法建立了月球单次借力逃逸转移的基本模型。通过反向拼接法的应用,发现了月球借力逃逸可以有效降低发射能量,但是不会降低最优日心转移轨道的速度增量;得出了月球借力可以摆脱直接逃逸方式对于逃逸方向角的约束的结论。同时开展了高能发射情况下,以探测器干重为优化指标的月球借力逃逸转移轨道优化设计,有效提升了转移至部分小行星的最大干重;(2)针对低能发射情况,利用圆锥曲线几何性质、开普勒轨道特性,系统研究了共振型、backflip型、coplanar型月球双借力逃逸轨道的求解方法。建立了月球双借力日心化学推进转移模型和电推进转移模型,比较了低能发射两种推进模式下,不同月球双借力转移模型的效果,形成了共振比为2的月球双借力逃逸电推进轨道转移方案;(3)针对低能发射化学推进模式下,月球借力逃逸转速度增量过大的问题,建立了有脉冲辅助的月球借力发射转移模型,有效地降低了全程转移的速度增量,减少燃料消耗,从而增加航天器的干重。