无线移动通信应用领域的不断扩展和用户要求的不断提升,使得增加无线传输速率的需求在急剧增长,但是人们所能利用的频谱资源越来越稀缺,所以5G网络需要依靠新的技术来提升频谱效率。早在1975年,Bell实验室的学者Mazo就已经在理论上证明了:在时域上只要选用合理的信号,当码元传输速率不越过Nyquist速率25%的情况下,信号的最小欧几里德距离不会发生改变,即误码性能不会受到影响。该研究理论描述了非正交传输的可能性,从而产生了超奈奎斯特(Faster-Than-Nyquist,FTN)的信号传输技术。FTN技术允许符号以FTN速率进行传输,与传统的正交传输技术对比,FTN传输系统有更大的系统容量和频带利用率,但是也人为的引入了无限长的码间串扰,为了有效地对抗码间串扰,需要在接收机部分加入相关的干扰消除等接收技术,导致接收机的实现难度加大。本文针对FTN传输系统接收机部分的复杂性较大的问题展开研究。首先给出了FTN技术的研究背景和意义,以及国内外的研究现状。接着,研究了FTN传输技术的基础理论,介绍了正交传输系统下的Nyquist准则,并根据该准则引出了FTN传输的基本概念。然后研究了FTN系统中Mazo界的推导、FTN系统的系统容量,以及FTN系统的频带利用率。接着,研究了三种FTN系统基于干扰消除的检测技术——串行干扰消除算法、维特比序列解调算法和BCJR解调算法。通过分析可知串行干扰消除算法的复杂性较小,但是BER性能不如维特比序列解调算法和BCJR解调算法。接着,研究了FTN系统基于均衡的检测技术,包括时域均衡的算法和频域均衡的算法。通过分析可知时域均衡的算法复杂度低于频域均衡的算法,但是误码性能不如频域均衡的算法。最后,研究了FTN系统的信道编译码技术,包括LDPC码、Turbo码和TPC码,并详细分析比较了不同编译码的FTN系统的误码性能。