全双工无线中继站能够为移动通信系统提供性价比较高的地域覆盖面积和频谱利用率。尤其是在3G和4G移动通信系统中，为提高通信数据速率，全双工无线中继站以及中继网络受到学者的广泛关注。3GPPTS36.216(Release11)中亦规定了中继站的相关技术指标。但在全双工无线中继站中发送天线与接收天线隔离度不够高时将导致中继站的自反馈干扰，这将影响通信系统稳定性和信道容量。本文将从典型的两跳中继系统出发，建立中继站系统模型并研究自反馈干扰产生原因及其影响。在此存在自反馈干扰的中继系统模型基础上，研究SISO以及MIMO全双工无线中继站分别在时域、空域以及时域和空域相结合的自反馈干扰抑制技术。对经典的自反馈干扰抵消和抑制技术做出仿真和总结，并对现有算法进行改进和提出新算法以适应更复杂的信道环境。具体内容包括：介绍中继站的分类。特别提到和用到两种不同协议下的中继站：将接收信号直接放大发送类型(Amplify-and-forward，AF)和将接收信号做解调译码后再编码调制发送类型(Decode-and-forward, DF)。建立由基站、全双工无线中继站和用户构成的典型SISO和MIMO两跳中继通信系统模型。阐述自反馈干扰在全双工SISO中继站中引起干扰甚至系统自激的条件；分析自反馈干扰对MIMO中继站系统信道容量和中继站接收信号误码率的影响。并从结构和原理上，验证当前主要的自反馈干扰抵消和抑制技术的有效性。研究全双工SISO中继站自反馈干扰时域抵消技术：LMS、NLMS和RLS算法。上述三种算法皆为利用自反馈信道估计值从中继站接收信号中减去自反馈干扰信号。LMS算法基于时间统计量和信号相关性对反馈信道进行估计。其收敛速度较慢且跟踪性能较差，但实现复杂度低。NMLS为归一化LMS算法，能获得更好的收敛速率。当基站到中继站信号存在多径干扰时，针对LMS、NLMS算法对自反馈信道估计的归一化误差较高的情况，提出该进的LMS算法。利用线性拟合对自反馈信道估计的RLS算法，能有较快的收敛速率和收敛精度。着重关注三种时域抵消技术对自反馈信道估计的收敛性、收敛速度和收敛精度。比较了LMS算法和RLS算法的性能以及适用场景。仿真中，时域抵消技术初始化参数设置对算法的性能影响也被呈现。研究MIMO全双工无线中继站自反馈干扰抵消的时域多通道LMS算法(Multi-Channel LMS，MC-LMS)和基于空间投影的抑制技术。MC-LMS算法是将SISO LMS算法扩展到MIMO条件下，提出并分析在典型两种典型MIMO信道：瑞利信道和莱斯信道，下MC-LMS的性能差异。最终得到LMS算法的跟踪性能。在空域抑制技术上，基于迫零算法提出零空间投影和子空间投影技术实现中继站发送滤波器和接收滤波器的设计来实现自反馈干扰的尽可能多甚至完全的抑制。空间投影的自反馈干扰技术，考虑自反馈干扰存在信号符号间干扰的情况并对自反馈干扰矩阵满秩的场景有效。最后比较全双工MIMO中继站中的自反馈干扰时域抵消技术和空域抑制技术，并分析时域抵消和空域抑制结合实现自反馈干扰抑制的四种可选方案。最后，总结全文有关全双工无线中继站自反馈干扰时域抵消和空域抑制的研究内容，并提出了下一步关于全双工无线中继站方向的工作建议和未来的研究趋势。