由于最近几年互联网技术的发展,使得人们对带宽的需求越来越高。原有的通信网络不能满足日益增长的带宽需求,因此很多学者们把注意力放到高阶QAM调制格式上。高阶QAM调制格式充分利用振幅和相位携带信息,使得传输容量得到很大的提高。但是由于高阶QAM调制格式具有浓密的星座点,容易受到非线性和相位噪声的影响。为此,本文重点研究高阶QAM调制格式非线性补偿和载波相位恢复技术。本文先对光通信的发展以及存在的问题进行回顾。介绍光通信系统的基本原理、基本结构。从光通信基本原理出发用公式推导出发射端光信号调制和接收端相干检测解调出光信号。描述了8QAM和16QAM这两种调制信号的生成以及信号的特点。对差分编解码技术做了具体的论述,利用仿真结果对比直接相位探测和差分解码技术的优缺点。本文对光纤链路中导致光信号损耗和畸变因素进行讨论,并相应给出补偿机制。在仿真链路中,采用反向传输算法对光纤非线性和色散进行补偿,针对不同链路仿真结果进行比较,得出系统的最佳链路配置。同时论述不同算法参数对补偿结果的影响,得出最佳补偿效果的算法参数。本论文采用盲相位搜索算法对激光线宽造成的相位噪声进行恢复。研究不同激光线宽下,盲相位搜索算法恢复结果。计算接收机的线宽灵敏度。针对链路不同的OSNR值、线宽,对比采用盲相位搜索算法计算出的系统误码率,得出系统最佳的参数设置。为了在原有商用系统上增加传输容量,本论文提出了不同调制格式混合传输的思想。理论分析不同信道间隔、发射功率对混合传输系统的影响。研究了不同信道间隔、发射功率下,OOK-16QAM,QPSK-16QAM混合系统中16QAM信道的传输性能。对比OOK-16QAM,QPSK-16QAM混合系统的传输性能。得出了在相同条件下,QPSK-16QAM混合系统的传输性能优于OOK-16QAM混合系统的结论。