中继技术（Relay）可以扩大蜂窝小区的覆盖范围、增强系统的频谱效率、提高系统的传输速率，是下一代移动通信系统中不可缺少的关键技术之一。引入中继节点（Relay node，RN）之后，传统的点对点（Point-to-ponit）传输可以被分割为多跳（Multi-hop）传输，形成虚拟多输入多输出（Multiple-input multiple-output，MIMO）系统，进而可以有效地增加系统的分集增益。双向中继（Two-way relay）是一种新型的中继技术，其利用物理层网络编码（Physical layer network coding，PLNC）技术，使两个源节点可以在一个中继节点的帮助下完成信息互传，有效地提高了系统的频谱效率。双向中继技术已经成为当前移动通信领域的研究热点之一。本文围绕基本的两时隙双向中继信道（Two-way relay channels，TWRC）模型，深入地分析中断概率（Outage probability）、分集－复用折衷（Diversity-multiplexing tradeoff，DMT）性能以及改进中继传输技术，主要研究内容如下：　　首先，在有限信噪比（Signal-to-noise ratio，SNR）范围内，本文分析了采用中继放大转发（Amplify-and-forward，AF）和解码转发（Decode-and-forward，DF）时，双向中继信道的中断概率和有限信噪比下的分集－复用折衷（Finite-SNR DMT，f-DMT）性能。在两时隙双向中继信道中，假设两个源节点都只有一根天线，中继节点可以具有多根天线。针对单天线和中继节点具有多天线的放大转发协议，本文推导得出中断概率的下界。对中继节点具有多天线的解码转发协议，同样推导出中断概率的上界和下界。此外，在单天线中继解码转发双向中继信道中，可以直接得到中断概率的闭合表达式。这些关于解码转发协议的结论，适用于任意时隙分配系数和速率分配系数。因为中继放大转发协议的时隙分配是固定的，其结论适用于任意速率分配。数值结果说明推导得出的中断概率下界和实际蒙特卡洛（Mento Carlo）结果十分接近。所以，本文基于中断概率的下界，进一步估计出有限信噪比下分集－复用折衷性能的表达式。比较中继放大转发和解码转发两种协议在有限信噪比下的分集－复用折衷性能，可以得出结论，无论信噪比为何值，放大转发总是优于解码转发。这是由于解码转发协议在多址时隙中要受到和速率的约束。另一方面，中继放大转发和解码转发的中断概率性能的比较结果取决于信道条件。此外，本文通过具体的例子讨论了中继节点的位置、时隙分配、速率分配对中断概率和有限信噪比下分集－复用折衷性能的影响。　　其次，在低信噪比条件下，本文分析了单天线两时隙双向中继信道的中断概率和∈-中断容量，考虑中继放大转发、解码转发和突发放大转发（Bursty amplify-and-forward，BAF）三种协议。在低信噪比条件下，本文推导得出中继放大转发和突发放大转发中断概率的下界和解码转发中断概率的闭合表达式。数值结果说明，在低信噪比范围内，本文推导出的放大转发协议的中断概率下界要比在有限信噪比条件下的中断概率下界更接近于实际蒙特卡洛结果。另一方面，考虑低信噪比和低中断概率条件，本文分析了中继放大转发、解码转发和突发放大转发的可达∈-中断速率的极限性能。　　最后，本文改进了多天线双向中继信道的中继压缩转发（Compress-and-forward，CF）技术。中继压缩转发虽然是中继通信的基本协议之一，但是在多天线双向中继信道中，关于改进中继压缩转发的研究报道较少。在多天线双向中继信道中，一种简单的压缩转发方式是，中继节点在多址时隙中将每根天线上接收到的信号都加上独立同分布（Independent identical distribution，i.i.d.）的加性高斯白噪声（Additive White Gaussian Noise，AWGN）。本文提出的改进协议关键在于利用数学上的近似联合对角化方法（Approximate joint diagonalization，AJD），将多址时隙中的两个信道矩阵同时进行特征值分解。这种将两个矩阵同时进行特征值分解的方法实际上是一种近似方法。在此基础上，本文以最大化和速率为目标函数，设计出改进的中继压缩噪声矢量的协方差矩阵。数值结果证明了这种改进的中继压缩转发协议可以有效地提高系统速率，而且在非对称信道中改进效果更加明显。