正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术作为第四代移动通信系统(4G)的关键技术之一,具有很多优越的性能,广泛应用于现今的各类通信系统中。但是OFDM技术也存在很多缺点,矩形滤波器的使用带来了很高的带外泄漏,循环前缀(Cyclic Prefix,CP)的引入导致了频谱效率的降低,而且OFDM系统接收端解调要求子载波保持正交性。因此,在第五代移动通信系统(5G)中,新型多载波技术的研究成了很多研究关注的重点。滤波器组多载波(Filter Bank Multicarrier.FBMC)技术由于采用了新的原型滤波器,具有良好的时频域聚焦性,被认为是一种可能取代OFDM技术成为5G传输多载波的合适方案。通过采用性能优良的原型滤波器,FBMC系统具有很低的带外辐射,同时不再需要循环前缀作为保护间隔,提高了系统的频谱效率。此外,FBMC系统具有很强的抗载波间干扰(Inter Carrier Interference,ICI)和符号间干扰(Inter Symbol Interference,ISI)有能力。在FBMC技术的研究中,本文首先研究了以OFDM系统为代表的多载波调制系统的基本原理和技术特点,论述了当前5G新型多载波技术的研究工作。针对滤波器组多载波调制系统,详细分析了 FBMC技术的基本原理和特点,并介绍了常用的三种FBMC实现方法。针对FBMC系统的原型滤波器设计问题,本文研究了原型滤波器的设计方法,包括频率取样技术、时域加窗技术和直接优化滤波器系数技术,研究了常见的原型滤波器的原理和性能。本文采用直接优化滤波器系数技术,设计了一种新的原型滤波器。根据最小阻带能量准则,最小化原型滤波器的阻带能量,将载波间和符号间的干扰限制在一定范围内,同时满足滤波器设计的对称和奈奎斯特条件,构造数学优化问题。通过非线性优化方法解出原型滤波器系数,得到设计的原型滤波器。模拟仿真证明了本文设计的原型滤波器相比于参考滤波器的性能提升。针对FBMC系统的高峰均功率比(Peak-to-Average Power Ratio,PAPR)问题,本文研究了多载波系统的峰均功率比和常用的峰均功率比降低方法,分析了各种方法的实现过程和技术特点。为了降低FBMC系统中的峰均功率比,提出了一种改进双层部分传输序列(Improved Bilayer Partial Transmit Sequence,IBPTS)算法。该算法基于传统部分传输序列PTS的思想,考虑了 FBMC信号的重叠特性,降低了系统的PAPR。通过引入双层结构,将加权相位因子限制在一定的范围内,减小了 IBPTS算法的搜索复杂度,具有优于传统PTS算法的系统性能。