深空探测是指对月球及更远的天体和空间的探测。进入21世纪，人类深空探测的步伐不断加快，深空探测已成为继应用卫星、载人航天之后的第三大航天活动。深空探测能力不仅是先进空间科学技术的标志，也是一个国家科技水平与综合实力的集中体现。在深空探测任务中，测控通信系统是连接探测任务各环节的“神经网络”，它肩负着跟踪定位、姿态控制、传输遥控指令、遥测信息和语音/视频数据等功能，因此测控通信系统的正常运行是深空探测任务成功的重要保证。　　随着空间探测范围的扩展，深空测控通信系统面临着许多新的问题。例如，星地之间的超远距离通信，不仅导致了巨大路径传播损耗和超长时延，而且增加了对探测器进行高精度跟踪定位和实时测控的难度。由于探测器、地球和被探测星体之间的相对运动，导致星地链路频繁中断；从而要求空间探测器具有一定的自主性，以便相互之间能够协作通信。本文针对深空测控通信系统中的关键问题进行了深入研究。其中，具体研究内容如下：　　（1）深空通信链路设计与参数优化：1）基于CCSDS-401协议提出了一种统一规范的深空通信链路预算流程，设计了深空通信链路预算软件。2）提出了基于余量等均准则的调制指数优化算法。3）提出了一种月表无线电波传播损耗分段预测模型。　　（2）深空通信中的MIMO技术：1）针对多天线深空中继通信系统，推导了该系统的中断概率和遍历信道容量。2）针对深空MIMO无线信道的建模仿真问题，提出了一种简单高效的Nakagami-MIMO空时相关衰落信道仿真模型。　　（3）深空测控中的阵列信号处理：分别提出了一种改进的NC-RI-PM算法、基于Euler变换的非圆实值 PM算法和二维非圆波达方向矩阵算法（2D-NC-DOAM）。所提算法不仅可以估计更多的信源，而且算法的角度估计性能明显提升。　　（4）针对深空中不同探测器之间的协作通信问题，基于邻近空间链路协议设计开发了深空器间通信验证系统。该系统为邻近空间链路协议在我国深空探测任务中的应用提供了可行性验证。