业务速率与带宽需求的快速增长推动了宽带网络基础设施的建设和发展。因此，骨干光纤网络在系统容量、传输能力等上面临新的挑战。融合了相干检测和正交频分复用技术的CO-OFDM系统具有频谱效率高、抗色散性能强等特点，在未来大容量、长距离、高速率的光纤通信系统中有着广泛的应用前景，受到国内外众多学者的高度关注。　　由于CO-OFDM对相位噪声非常敏感，因此光纤中交叉相位调制(XPM)和激光器相位噪声的影响成为制约其性能进一步提升的关键因素。论文重点研究基于RFP算法的CO-OFDM系统XPM效应和相位噪声损伤补偿机理，并搭建CO-OFDM仿真系统验证所提出的优化方案，分析不同参数设置下的性能比较结果，完成的主要工作和创新成果如下:　　(1)给出了RFP算法补偿XPM过程的参数优化方式，分析了Pilot信号形式、Pilot功率、传输链路色散分布等参数对CO-OFDM系统性能的影响。　　(2)提出了一种基于RFP算法补偿XPM效应的改进方案，通过优化RFP算法中Pilot在信号频谱内的相对位置，实现了XPM补偿效果的提升。仿真结果表明，在30GB/s CO-OFDM系统中设置最佳位置的Pilot信号，系统Q值可提高1-2dB。　　(3)分析比较了CO-OFDM系统中基于RFP算法的相位噪声性能补偿方案，完成了在16QAM调制的CO-OFDM系统中采用RFP算法补偿相位噪声的仿真与实现。