协同通信技术是现代无线/移动通信系统中不可或缺的关键技术之一。作为新一代协同通信技术，双向中继（Two-way relaying, TWR）已经成为当前无线/移动通信系统中的研究热点。借助于物理层网络编码（Physical layer networkcoding, PLNC）技术，双向中继技术能够克服半双工限制进而显著地提高了系统的频谱效率。本文正是针对双向中继信道中的物理层网络编码进行了深入广泛的研究。首先对现有物理层网络编码方案做了同一评判标准下的分析比较，找出了这些方案的优缺点以及与最优界的差距；接着提出了一种能够逼近最优界的新的物理层网络编码方案，并做了逼近能力分析；然后考虑了物理层网络编码的实现问题，提出了具有普适性的基于动态物理层网络编码的中继译码方案；最后通过引入可容忍的中继延迟，提出了一种联合全译码和部分译码的双向中继传输协议，该协议的性能突破了现有的双向中继最优界。具体地，本文的工作可概括为以下四个方面。1、基于现有的工作，依然未知哪种中继方案才能够提供最好的性能，以及现在还缺少一种公平的尺度来比较不同的方案。因此本文在同一评判标准下研究了双向中继高斯信道下的几种实用的中继策略，考虑了基于译码转发的比特位异或、符号位叠加以及放大转发。证明了每一种TWR方案的可获得速率对均由一组线性不等式决定，对于每一种方案的速率域，均获得了精确的解析式并附带几何线型图。相应地，也获得了它们的有/无比例公平约束的最大速率和表达式。分析结果提供了一种便利且有效的方式来评判各种TWR方案在任意信道条件下的性能。另外也给出了数值仿真例子来阐述和比较所考虑的方案在不同中继位置时的速率域以及最大速率和。2、由于当广播时隙的信道是非对称时，现有TWR方案中没有一种方案能够逼近容量限，所以本文提出了一种新的PLNC方案，命名为叠加的异或。相比于现有的方案，这种新的方案同时考虑了广播时隙的信道和信息两种非对称。通过与两种知名的时隙控制协议相结合，获得了高斯信道下该新方案的可获得速率域。另外也讨论了衰落信道下它们的平均最大速率和以及系统服务延迟性能。数值仿真结果显示，相比于异或和叠加方案，本文所提出的叠加的异或获得了更大的速率域而且在衰落信道下表现更好。更进一步本文以精确的解析表达式推导了新方案在广播时隙时的可获得速率域的边界。基于这些结果，然后证明了在高信噪比区域，新方案与容量限之间的间隔逼近于0。3、因为现有基于部分译码的实现仅仅适用于高斯信道和静态PLNC，所以本文提出了一种新的联合网络编码和信道编码的中继解决方案，命名为成对校验译码（Pairwise check decoding, PCD）。该方案适用于块衰落信道下LDPC编码的TWR系统，针对任意动态PLNC映射都具有普适性。主要思想就是通过联合考虑广播时隙的动态PLNC映射，基于MA时隙的叠加的LDPC编码的数据包对生成一个校验关系表。为了最小化最差的成对误差概率，在PCD基础上又提出了一种部分译码方案，也就是俩步骤近邻分簇。再者，为了选择较好的校验关系表提出了最小相关优化方法。仿真结果表明，相比于传统的异或和置信传播结合的方案，本文所提出的基于PCD的两步骤近邻成簇方案在TWR衰落信道下获得了明显的性能增益。4、给定任意的基于立刻转发的TWR协议，两方向的传输速率都将受限于具有较差容量的链路，即min操作。为了消除TWR衰落信道下的min操作，本文提出了一种新的传输协议，命名为选择性等待和广播（Alternative awaitingand broadcast, AAB）。分析了AAB协议的工作流程、平均交换速率和以及中继的平均延迟。再者，基于众所周知的Lattice码推导了AAB协议的可获得的遍历的速率和以及相应的平均延迟。相比于源节点缓存的比特服务延迟，由AAB协议产生的中继缓存的平均延迟是非常渺小和可忽略不计的。数值仿真结果表明，1）如果俩上行传输速率的差异与俩下行传输速率的差异之比小于97%，那么AAB协议的平均延迟是有限的且小于大约100个单位时间；2）相比于传统的中继无延迟TWR协议，AAB协议在采用Lattice码的情况下显著地提高了可获得的遍历的速率和，付出的代价仅仅是需要在中继端引入几十个单位时间的平均延迟；3）AAB协议在采用Lattice码的情况下，当SNR渐进增大时能够逼近遍历的容量和的一个新的上边界。