为了对流量迅速增加的通信网络提供可靠支撑,目前,相干光通信系统正朝着高速率、大容量、高频谱效率及长距离传输的方向迅猛发展。实现灵活栅格的太比特及超太比特传输系统已经成为下一代光网络的必然发展趋势,在这一过程中如何最大化地提升系统频谱效率(SE),减少复杂度和能量损耗,同时克服电器件带宽的瓶颈,是研究者所面对的重要挑战。相干光正交频分复用(CO-OFDM)和奈奎斯特波分复用(Nyquist-WDM)及其与高阶QAM调制格式结合的高频谱效率调制技术,被认为是未来太比特相干光通信系统的首选方案。光信号在光纤链路的传输过程中会受到多种信号损伤,严重影响了系统的通信质量。相干检测的引入,使得对信号损伤的恢复可以在电域采用数字信号处理(DSP)技术实现,大大提升了光纤通信系统的传输容量。而对于未来太比特以及超太比特传输系统,由于信号频谱更窄、信道排列更为紧凑、调制格式星座点分布更加紧密,导致系统对部分损伤的容忍度下降,对各种信号损伤恢复算法提出了更为苛刻的要求。同时光网络朝着智能收发机、软件定义(SDN)控制、灵活栅格等方向发展,也要求相应的DSP算法能灵活地适用于各种调制格式的光纤通信系统。本文围绕着高速相干光通信系统中的高频谱效率调制技术和信号损伤恢复算法两部分内容进行讨论,对Nyquist-WDM等高频谱效率调制系统中基于导频辅助(Pilot-aided, PA)的各类信号损伤恢复算法进行了深入的研究。主要完成的工作和创新之处如下：(1)研究了CO-OFDM和Nyquist-WDM两种高频谱效率调制技术。其中对Nyquist-WDM系统进行了较为深入的分析,包括系统基本原理和信号产生方式等。分别讨论与分析了基于光域滤波、电域滤波、DSP滤波实现Nquist频谱压缩的技术方案,并对利用DSP技术进行的Nyquist脉冲成型方案进行了深入探讨。(2)研究了高速相干光通信系统中的DSP算法。简单阐述了系统中的信号损伤及其对应的恢复算法。重点对基于PA的信号损伤恢复算法进行了深入研究。分析了基于PA的信号损伤恢复算法在CO-OFDM、Nyquist-WDM及单载波系统中的应用方案。并对几种添加导频信号实现载波相位恢复(CPR)的技术方案进行了详细介绍。此外,作为对比,介绍了相位恢复的各种传统算法。(3)首次提出一组在Nyquist单载波、双子载波及Nyquist-WDM系统中利用光域添加导频完成载波相位恢复的技术方案。在Nyquist PDM-mQAM单载波和双子载波系统中,对所提出的PA-CPR算法进行了仿真验证,并给出了系统关键影响参数的理论分析与优化结果。实现了利用一路导频同时补偿双信道信号的相位噪声,使得系统频谱冗余下降一半,提高了系统的频谱效率。此外,探讨了基于PA的Nyquist-WDM系统方案,并分析了PA算法在其中的应用前景。(4)进一步提出了将PA-CPR与最大似然(ML)、星座转移(CT)算法结合形成了两级PA-CPR算法,并在Nyquist单载波及双子载波仿真系统中将本文所提方案与其他传统CPR算法进行了比较验证。结果表明,本文所提出的PA+ML/CT两级CPR算法具有比经典的盲相位估计算法(BPS)更好的激光器线宽容忍度和极低的计算复杂度。