小行星探测作为深空探测的重要部分,因小行星外形、引力场不规则等因素,天体附近力学环境难以表征。针对此类引力场设计轨道时,开环控制方案对初值敏感;预设的参考轨道不够准确,闭环控制方案中存在控制冗余。而燃料正是探测器完成探测任务的基础,降低燃料消耗能够有效延长探测器工作寿命,增加科学回报。基于上述原因,本文对不规则小行星绕飞轨道仿真的基础引力模型和动力学模型进行了介绍,考虑到轨道仿真中可能遇到的非线性、高维度等问题,采用启发式算法进行燃料优化。针对启发式算法的不足,结合强化学习中的策略优化与乌贼优化算法的多策略特性,提出了基于Q-learning的乌贼优化算法（QL-CFO）,相比于乌贼优化算法,收敛速度更快,计算精度更高。针对基于卡尔曼滤波的粒子群算法（KPSO）的计算速度快但过早收敛的特性,提出了基于粒子滤波的粒子群算法（P-PSO）。结合两个算法的优势,提出了基于混合卡尔曼滤波和卡尔曼滤波的粒子群算法（HKP-PSO）,相比于其他相关优化算法,提出的HKP-PSO算法,在不牺牲时间复杂度的基础上,取得了更好的计算精度。以最少燃料消耗为目标,采用QL-CFO算法优化探测器轨道参数。遵循重新设计的燃料消耗最优性能指标,采用HKP-PSO算法优化原有的轨道控制系统。通过仿真实验进行了验证。