与使用强度调制直接检测的传统光通信系统相比,相干光通信系统具有高灵敏度、出色的频率选择性、多种调制码型应用等特点。作为相干光通信系统中的关键技术,调制码型技术和偏振控制技术与系统的性能密切相关。本文主要对调幅信号的相位分集接收,正交幅度调制（QAM）信号在相干光通信系统中的应用,以及相干光系统中的自动偏振控制技术进行了研究。论文主要工作如下:1.论文提出了一种可用于解调调幅信号的零差相位分集接收技术,即零差异步解调技术。理论分析表明该技术可用于相位噪声消除,并具有良好的接收灵敏度。基于该方案,成功实现了速率为2.5Gbit/s的信号接收,测试结果表明误码率在10^-9时的灵敏度为-24.9dBm。2.论文研究了方型QAM调制信号的相干外差传输技术,实现了10GHz中频,单路2.5Gbit/s信号的传输,灵敏度在误码率10^-8时为-21.4dBm。以此为基础,论文还提出了一种相干QAM副载波系统,对其频谱利用率和相位噪声容忍度进行了详细的理论分析,分析结果表明该系统具有良好的频谱利用率,对于4-QAM信号,即QPSK信号可达到0.8bit/s/Hz以上。3.论文实现了一种用于相干光通信系统的自动偏振控制技术。该技术能在10秒内将接收到的任意偏振态信号改变为固定的线偏光输出,并保持稳定。对偏振算法进行优化后,可在4秒内恢复。稳定后偏振态将被持续进行跟踪,微小波动的恢复时间在毫秒量级。