随着无线通信的不断发展，人们对信息传输的速度和质量的要求不断提高。由于频谱资源的有限性，提高通信中频谱利用率是提高通信速率的有效方法。高阶正交幅度调制（QAM）作为提高频谱利用率的一种方法已被广泛使用。然而，随着调制阶数的增加，星座图中的点将会变得更为密集，这时除了加性白噪声之外，相位噪声也将明显影响系统的性能。本文主要对高阶QAM调制下相位噪声的抑制算法进行了研究。本文首先介绍了相位噪声的来源，给出了相位噪声的时域和频域表示，介绍了已有的相位噪声模型，并分析了相位噪声对系统的影响；然后重点介绍了相位噪声的三种类型抑制算法，其中基于星座图的算法是对星座图进行优化或设计，来提高对相位噪声的抗性，基于接收端载波环路的算法是在接收端对相位噪声进行估计和补偿，以降低相位噪声的影响，基于信道编码的算法是根据相位噪声的统计特性，来更为准确地计算软信息，从而使性能提高。又分别详细列举和描述了各类型中的常用算法，给出了算法处理框图，对算法性能的进行了理论分析，并且分析和对比了各算法的优缺点。最后，基于对相位噪声模型和已有算法的分析，本文提出了两种新的相位噪声抑制算法，分别为结合判决反馈的多步线性插值相位噪声估计和补偿算法与新的对数似然比计算方法，分别给出这两种算法的理论推导以及结构框图，然后通过计算机仿真验证得到，这两种方法在有明显相位噪声的系统中，可以减小相位噪声的影响，明显提高系统的性能。