随着人们对移动通信传输质量和需求的日益提升，第四代移动通信系统(the4th Generation mobile communication system，4G)已经无法满足许多实际应用需求，研究下一代移动通信系统具有重要的意义。正交频分复用(Orthogonal Frequency Division Multiplexing，OFDM)作为4G的关键技术，预计将成为5G中的主要调制方式，也会在下一代移动通信系统中发挥重要的作用。在实际应用中，OFDM系统往往处于移动环境中，伴随着高速移动而产生的高多普勒频移、子载波间干扰(Inter Carrier Interference，ICI)、多径效应和信道的稀疏特性等因素会严重影响信道估计的精度，子载波间干扰和较低的信道估计精度都会大幅降低通信系统的性能。因此保证高速移动环境下良好的通信质量将是下一代移动通信中的一个关注点，研究OFDM系统中的子载波间干扰消除算法和信道估计技术也具有重要的意义。除了保证高速移动环境下的通信质量，下一代移动通信系统同样关注系统的能量效率和频谱效率等指标。大规模多输入多输出(Massive Multiple-Input and Multiple-Output，Massive MIMO)系统通过在基站装备成百上千根天线，大幅度提高了通信系统的能量效率和频谱效率，并且具备小区内的抗干扰性、高传输速率和较低的传输功率。但是由于受到信道相干时间的限制，系统内会不可避免的出现不同小区内的用户复用相同导频的情况，造成小区间干扰，这种干扰也被称为导频污染(Pilot Contamination，PC)，导频污染已成为约束Massive MIMO系统发挥性能的一大瓶颈，如何有效消除小区间干扰，抑制导频污染也是当今移动通信领域的研究热点之一。　　为了解决上述问题，本文的研究内容主要从OFDM系统的ICI消除算法、快时变信道估计以及Massive MIMO导频污染消除算法三个方面展开，具体的研究内容如下:　　1.针对OFDM系统中的ICI消除问题，本文研究了ICI自消除算法和基于LTV模型的ICI单重消除算法和ICI双重消除算法，并在此基础上提出了ICI三重消除算法。首先通过在发送端进行ICI自消除编码，再将信道建模为LTV模型进行ICI双重消除，最后在接收端进行ICI自消除解码。根据ICI自消除算法的不同，本文使用了两种ICI三重消除算法，分别可在不同环境下发挥出较好的性能。　　2.针对快时变环境下的信道估计问题，本文主要研究了基于基扩展模型(Basis Expansion Model，BEM)的信道估计技术。本文首先研究了最小二乘(Least Square，LS)算法、线性最小均方误差(Linear Minimum Mean Square Error,LMMSE)算法和卡尔曼滤波(Kalman Filter,KF)算法在估计BEM系数中的应用，其中KF算法可以达到最好的估计效果。随后本文对BEM中的基函数展开研究，考虑到现有基函数存在的缺陷，本文将小波理论应用在基函数的构造中，提出了利用小波尺度函数构造的新基函数，新的基函数克服了传统基函数所存在的缺陷。本文同时也研究了在特殊环境下的信道估计技术，在主径数较多时，将传统BEM中梳状导频替换为块状导频，可达到更好的估计效果和更高的频谱利用率;在信道是稀疏时，先采用正交匹配追踪(Orthogonal Matching Pursuit，OMP)算法或稀疏度自适应匹配追踪(Sparsity Adaptive Matching Pursuit，SAMP)算法对主径时延进行估计，再对信道参数进行估计，在稀疏情形下可以获得较好的估计效果，其中SAMP算法不需要获取信道稀疏度，更具备实际应用价值。　　3.针对Massive MIMO系统的导频污染消除问题，本文首先研究了基于图着色的导频污染消除算法、基于加权图着色的导频污染消除算法和基于软导频复用的导频污染消除算法，在综合分析以上三种算法的思想后，提出了基于软导频-加权图着色的导频污染消除算法，首先使用软导频复用机制对小区中的用户进行划分，随后使用基于加权图着色的导频分配机制对中心用户进行导频分配，进一步的消除了导频污染，通过仿真实验证明了本文提出的基于软导频-加权图着色的导频污染消除算法能够达到较好的消除效果。