在无线通信系统中,无线信号的衰落与干扰使得通信的可靠性一直是无线通信系统设计的关键问题。在第五代(fifth generation,5G)通信系统的设计中,高可靠通信的设计将变得更加复杂。与前几代无线通信系统不同,5G通信系统不仅需要提供高吞吐量,还要为大规模机器通信(massive machine type communication,mMTC)场景提供海量连接支持,为某些关键业务传输提供超可靠低时延通信(ultra-reliable and low-latency communications,URLLC)服务。这些需求都给可靠通信提出了更高要求。传统的通信系统的设计都是基于正交的接入方式从而带来系统资源的浪费,难以支持未来通信业务的需求。非正交多址接入(non-orthogonal multiple access,NOMA)允许多个用户同时接入到相同的系统资源上,从而提高系统的频谱效率同时也可以支持更多的连接数。因此,考虑基于NOMA的超可靠系统设计具有重要的现实意义。本论文提出三种基于NOMA技术的高可靠通信传输策略。首先,本文提出了一种协作式NOMA传输策略来提高处在小区边缘用户通信的可靠性。然后,将混合自动反馈重传请求(hybrid automatic repeat request,HARQ)技术引入到了NOMA系统的设计中,联合进行多时隙的优化设计,从而进一步提高系统的可靠性。最后,本文将NOMA技术进一步应用到URLLC系统的设计中,并提出采用基于有限码长容量公式来精确刻画系统传输时延和可靠性。这三部分内容针对未来通信的特点和需求,分别采用不同的通信技术来保障通信系统的可靠性。结果揭示了NOMA技术在保障通信系统可靠性方面的优势。论文的创新性工作主要有以下三个方面:1)首先,针对mMTC场景,本文提出通过协作式NOMA保障系统中小区边缘用户的通信可靠性。考虑到mMTC场景中,用户通常是能量受限的传感器。因此,为了延长传感器的使用寿命,增加其能量效率,本文将无线能量传输技术引入到协作式NOMA系统中,其中小区中心的用户通过能量采集技术收集能量并为小区边缘的用户提供中继传输,从而提高其可靠性。首先研究了多天线场景中的传输策略,并提出了基于连续凸近似的低复杂度算法解决相应问题。然后,出于实际系统考虑,本文进一步研究了单天线场景下的系统设计问题。通过分析该场景下问题的特殊结构,提出了基于黄金分割搜索的低复杂度算法,并且该算法可以收敛到问题的最优解。这意味着本文所提出的传输策略和算法具有很高的实用价值。2)其次,通过将HARQ技术引入基于NOMA的系统设计进一步提高系统的可靠性。该策略的优点是不需要知道当前时刻信道的精确信息,而仅需要信道的统计信息,这样可以降低系统的信令开销。通过联合设计多时隙的传输策略会使得系统可靠性和能耗性能都得到提高。然而,基于HARQ技术的系统分析和设计带来了巨大的挑战。本文首先利用概率统计相关方法得到了系统中断概率的表达式,基于此,又提出了有效的算法进一步优化系统性能。此外,本文还将提出的策略扩展到多用户场景,这使得所提算法法更具实际意义。3)最后,本文提出了基于NOMA的URLLC传输策略设计问题。通过将有限码长编码理论引入NOMA系统设计,用户可靠性和时延的关系得到了精确刻画。此外,出于对系统中用户需求多样化的考虑,本文考虑了异构多类用户系统,其中用户有不同的时延和可靠性需求。这给基于NOMA系统的设计带来了很大的挑战。根据系统参数不同,本文提出了新的干扰消除策略。通过分析问题的内在结构,提出了低复杂度的算法解决了相应的系统设计问题。