近年来,随着人类科学技术的不断发展和社会信息化程度的不断加深,采用强度调制/直接探测光通信技术的传统光纤骨干传输网已经不能满足人们日益增长的需求。相干探测光正交频分复用(CO-OFDM)技术是一种新兴的光通信技术,其融合了相干探测、无线OFDM技术和光通信技术的优点,不但具有超高的频谱效率,能实现单通道超高速传输,还能有效抵抗光纤传输链路中的色散、偏振模色散等效应,因此,CO-OFDM技术在超高速率、超远距离、超大容量光纤骨干传输系统中受到了极大的关注。恒包络调制技术以其包络恒定的优势已在传统的无线通信系统中得到了广泛的应用,同时其在光通信中对抑制光纤非线性效应、载波频偏和相位噪声具有良好的效果。因此,本文将两者相结合,进行了深入的研究并获得了一定的成果：1. CO-OFDM系统的基本原理和关键技术的研究。对CO-OFDM系统中的马赫-曾德尔调制器调制原理和相干探测原理进行了详细的分析,并基于上述原理搭建了相应的CO-OFDM系统,同时对该系统的发射机、光纤链路和接收机三部分进行分析,得到以下结论：在CO-OFDM系统传输信号的时候,为了避免MZ调制器调制深度过深,从而引入较大的交调失真,调制信号应该有较低的PAPR;其次,为了减小在进行光调制、光解调和光纤传输的过程中产生的相位噪声和载波频偏对系统的影响,所传输的信号应当具有较好的相位噪声抗性和载波频偏抗性。2.恒包络调制技术的研究。该部分由恒包络调制技术的基本原理入手,介绍了二进制移相键控(2PSK或BPSK)、差分移相键控(DPS)、四相移相键控(QPS)、差分四相移相键控(DQPS)、偏移四相移相键控(OQPSK)等五种相位不连续恒包络调制方式和相位连续二进制频移键控(CPBFS)、最小频移键控(MSK)、高斯滤波最小频移键控(GMSK)等三种相位连续恒包络调制方式,并比较了两类恒包络调制方式的优缺点。同时,对多种恒包络调制技术进行了仿真,并对其星座图、星座轨迹图、眼图和功率谱密度图进行了比较和分析,获得以下结论：相位连续恒包络调制方式调制信号的功率谱能量集中,旁瓣衰减快,能有效对抗相位噪声和频率偏移。3.恒包络调制技术应用于CO-OFDM传输系统的研究。利用仿真软件搭建了基于恒包络调制技术的CO-OFDM传输系统,并通过对仿真系统的误码率值和理论误码率值进行比较,验证了所搭建系统的正确性；从理论上分析了非线性损伤对CO-OFDM系统的影响,并通过对不同入纤功率下采用不同调制方式的CO-OFDM系统的误码率进行比较,发现基于MSK的CO-OFDM系统受非线性损伤影响很小；从理论上分析了载波频率偏移对CO-OFDM系统的影响,并通过对不同频率偏移和不同循环前缀长度下采用不同调制方式的CO-OFDM系统的误码率进行比较,发现基于MSK的CO-OFDM系统对载波频偏表现出良好的抗性；从理论上分析了相位噪声对CO-OFDM系统的影响,并通过对不同的激光器线宽下采用不同调制方式的CO-OFDM系统的误码率进行比较,发现基于MSK的CO-OFDM系统对相位噪声的敏感程度远小于基于相位调制的CO-OFDM系统。