近年来,随着互联网及其他新兴业务的不断涌现,骨干网中数据传输流量的平均年增幅已超过50%,充分利用现有光纤资源,进一步提升光纤网络的传输容量已经成为当前的迫切需求。通过对数字相干光传输系统的深入研究,进一步实现长距离、大容量传输网络的研制工作,正获得越来越多的关注。本文主要着眼于高速数字相干光传输系统中的DSP技术以及高速OTDM系统中的解复用和时钟恢复方案设计。在DSP方面,文章主要围绕时钟恢复算法在Nyquist系统中的应用问题,考虑极小滚降系数的情况下,算法的性能改进；OTDM系统中解复用和时钟恢复方案设计部分,主要通过分析OEO环路的特征,从解复用窗口的实现和OEO环路的结构设计两方面出发,提出适合于高速系统的同步解复用时钟恢复方案。本论文的具体工作如下所示：第一部分：Nyquist相干传输系统中时钟恢复算法的研究和实现1)对Nyquist-WDM系统中,单信道时钟恢复算法的原理与实现部分,首先对常见的前馈及基于反馈时钟恢复方案进行了简单介绍和对比。接着,通过仿真,分析了传统Gardner算法中TED检测输出与滚降系数的关系,证明了在小滚降情况下该算法的不适用性,并提出了适合小滚降情况的改进算法。进而通过系统仿真,验证了改进算法在Nyquist系统中的TED性能。2)考虑到Nyquist数字滤波方案的速率制约因素,利用全光滤波方式实现Nyquist脉冲已成为一项研究热点。本文同样介绍了相干检测全光Nyquist OTDM传输实验中的算法应用性能,并通过相应星座图对接收机中使用的DSP算法性能进行了详细说明。同时,还给出了整个系统的BER曲线图,表明实验的成功实现(BER小于10-9)。第二部分：OTDM系统中基于DPMZM-OEO的时钟恢复和解复用模块的设计1)高速OTDM传输系统中时钟恢复和解复用方案的设计,将围绕OEO展开。通过综合考虑已有研究基础,本文提出了基于DPMZM-OEO环路的反馈时钟恢复和解复用方案,并通过详尽的公式推导及数值仿真过程,说明了方案的理论依据。通过计算四路复用的OTDM信号中基频时钟分量强度,发现仅当信号以基频为重复频率时,可以获得最强的时钟分量,这也恰与反馈方案相合。2)为进一步验证方案的实际性能,文中介绍了4×40Gbaud PDM-QPSK OTDM传输实验系统,并在接收端分别使用前馈结构和反馈结构的DPMZM-OEO环路进行时钟恢复和解复用操作。本文还说明了背靠背(B2B)和400km传输两种情况下,两种方案的时钟恢复结果。数据表明,在背靠背条件下,反馈式结构相较于前馈式结构能实现时钟抖动性能由58fs到31fs的明显提升；在400km传输后,也能实现59fs到34fs的明显改善。通过计算系统BER,证明了采用反馈时钟恢复方案,能够零误码传输结果,这也为高速串行数据传输系统的性能提升提出了新的可能。