近年来,伴随着空间技术的不断发展,人们持续开展宇宙星体探测和航天器空间在轨服务等空间任务,而悬停技术是未来其发展的关键所在。本文研究了相对目标航天器的悬停编队控制,通过对控制算法的改进,实现提高悬停编队控制性能的目标,论文将从以下几个方面展开研究:首先,考虑椭圆参考轨道下,推导了真近点角域下线性化相对动力学方程。通过变量代换简化了模型,得到了时变性不强且无关参考航天器位置信息的动力学形式。随后,将悬停编队控制转化为线性二次型最优化问题,给出了应用广泛的LQR控制器。为了解决悬停控制期间存在匹配干扰或不确定性的问题,提高编队系统的抗干扰性能及鲁棒性,研究了有限时间控制和滑模控制,提出了非奇异终端滑模控制,在悬停编队过程中,终端滑模控制在控制精度,收敛速度都优于LQR控制,但燃料消耗较高。为了改善燃料消耗高的缺点和完善全局收敛速度,提出了改进的非奇异快速终端滑模控制算法。仿真分析表明,改进后的终端滑模控制能提升控制性能并且降低燃耗水平。为解决悬停编队期间存在不满足匹配条件的干扰或不确定问题,引入了反步设计方法。提出径向基(RBF)神经网络逼近策略,通过李雅普诺夫稳定性理论推出自适应率,解决了非匹配干扰的问题,再结合线性滑模控制,消除了匹配干扰或不确定的影响。为了提升悬停控制器的性能和改善抖振现象,结合有限时间收敛的终端滑模控制,设计了高阶滑模控制器。仿真分析表明,该控制器去除了自适应线性滑模控制中出现的抖振现象,但控制性能略有下降,通过应用快速终端滑模的改进高阶滑模控制器解决了此问题。仿真分析表明,该改进控制器提升了控制精度,加快了收敛速度,且燃料消耗较低。考虑航天器悬停编队过程中的避障问题。研究使用人工势函数法得到了悬停制导率,实现了悬停编队且规避了空间障碍物,结合滑模控制得到了一种反馈控制器,提升了系统的抗干扰性。为提高编队效率和优化控制性能,将终端滑模有限时间收敛原理推广,基于采用人工势函数梯度的非奇异终端滑模面,设计了改进控制器,仿真验证了改进控制算法在加快收敛速度及提高控制精度方面的优越性,并且在特定条件下能够减少的燃料消耗。