双向中继(Two-Way Relay)技术作为4G系统的核心技术之一可以扩大系统通信覆盖面积、降低系统能耗并保障用户间通信的可靠性。双向中继系统与多输入多输出(Multiple-Input Multiple-Output,MIMO)和网络编码(Network Coding,NC)技术的结合能够同时支持多个用户的数据传输与交互,提高系统的通信效率及容量。此外,全双工通信是5G核心技术之一,双向中继系统在全双工(Full-Duplex,FD)模式下同时同频的收发信号可以进一步提高系统频谱效率。然而,由于信道衰落及自干扰(Self-Interference,SI)信号的影响,若中继节点无法获得各个数据流的精确信息,会严重影响整个系统的性能。因此,研究具有较好误码性能的接收算法和具有较强抑制能力的自干扰抑制算法对半双工(Half-Duplex,HD)及全双工多天线双向中继系统具有重要的意义。证据理论(Demspter-Shafer Evidence Theory,DS)作为一种不确定性推理决策理论被广泛应用于模式识别、数据融合及协作通信等领域。由于证据理论能够更加精确地描述信道衰落、噪声及自干扰产生的不确定性并且融合多个证据源的信息,因此能够得到更可靠的判决。本文从独特的思维角度出发,把双向中继的接收及自干扰抑制问题建立为对不确定性知识的推理模型,采用证据理论作为分析工具对半双工多天线双向中继的接收及全双工多天线双向中继的自干扰抑制问题进行了研究,主要内容如下:(1)针对半双工多天线双向中继系统的多址阶段(Multiple Access Phase,MAP),提出了基于解码转发网络编码的证据理论接收算法(MIMO-DS NC)。利用证据理论代替传统的线性检测算法分别对两个用户节点的发送信号进行估计,并通过异或运算得到网络编码符号。由于异或运算的网络编码是次优的且需要分别获得各个用户的数据流,鉴于此,提出了基于证据理论与物理层网络编码(Physical-layer Network Coding,PNC)融合的接收算法(MIMO-DS PNC)。该算法从向量空间的角度将物理层网络编码映射准则与证据理论的基本信度分配融合直接获得所需的网络编码符号,无需分别估计各用户节点发送的数据流。同时,还研究了广播阶段(Broadcast Phase,BCP)采用空时编码(Space Time Coding,STC)及天线选择(Antenna Selection,AS)传输方案下双向中继系统端到端平均误码性能及归一化吞吐量问题。仿真结果表明,MIMO-DS NC和MIMO-DS PNC算法相比于传统接收算法在复杂度略增的情况下获得了较好的性能且MIMO-DS PNC算法可以获得与基于解码转发网络编码的最大似然接收算法(MIMO-ML NC)一致的满分集增益。(2)针对全双工多天线双向中继系统,首先提出了基于证据理论与解码转发网络编码的自干扰抑制算法(DS-NC)。该算法在基本信度分配的计算中考虑自干扰抑制并分别估计每个用户发送的信号,最后通过异或运算得到网络编码符号。其次,提出了基于和差分信号处理的证据理论与物理层网络编码融合的自干扰抑制算法(DS-SAD-PNC)。该算法首先通过和差分矩阵将两个用户的信号流转化为和差分信号,并基于证据理论估计和差分信号,最后通过和差分信号判决准则直接获得网络编码符号。为了进一步降低算法复杂度,本文又提出了一种基于证据理论与物理层网络编码融合的自干扰抑制算法(DS-PNC)。该算法从向量空间的角度考虑自干扰抑制问题并通过物理层网络编码准则与证据理论的结合直接获得网络编码符号。最后,考虑了功率放大器(Power Amplifier,PA)非线性失真(Nonlinear Distortion)、I/Q不平衡及射频(Radio Frequency,RF)删除等因素的影响,给出了一种简单的自干扰信号模型并研究了DS-PNC算法在这种非线性自干扰信号模型下的自干扰抑制性能。通过仿真结果可知,所提算法相比于空域抑制算法在复杂度略增的情况下能够有效地抑制自干扰且具有较好的鲁棒性,同时DS-PNC算法还获得了与理想删除一致的满分集增益。另外,在考虑非线性失真和射频删除的情况下,DS-PNC算法误码性能同样优于空域抑制算法。