近年来,大数据时代的到来带动了通信数据爆发式地增长,为承担传输全球国际间通信97%以上数据流量的海底光缆通信系统提供了广阔的发展空间。随着相干光学检测和高速数字信号处理技术的出现及发展,为适应国际通信数据流量的爆炸式增长,海底光缆系统中应用到的光纤传输技术也在不断升级,而且海缆系统的链路终端设备的技术周期越来越短。为了在价格,性能和功能等方面达到更优的效果,系统运营商以及建造厂家越来越倾向于使用海底开放光缆系统,即岸站设备与海底链路部分解耦和的系统设计方案。与传统集成式的海底光缆系统相比,海底开放光缆系统中岸站设备可由不同厂商接入,此时海底链路的利用率大大提高,但是共用同一光纤对进行传输的光波,存在调制格式、功率等参数配置不同的情况。因此,对调制格式和功率各异信道的海底开放光缆系统共纤传输性能进行关联式建模和精确评估显得尤为重要。本论文针对当前海底开放光缆系统中岸站与海底链路解耦和条件下的传输建模和性能评估问题,建立出相干海底开放光缆系统中调制格式关联式传输性能评估方法;然后提出面向海底观测网络等新型应用场景下的非相干单端色散补偿传输方案。围绕上述两点,论文的主要工作包括:一、分析了海底开放光缆系统的传输场景和建模需求,建立了海底开放光缆系统的传输模型及系统架构。二、针对海底开放光缆系统中调制格式、功率各异下的传输性能评估问题,建立了调制格式关联的非线性噪声评估模型。与调制格式非关联的非线性噪声高斯模型进行对比,结果表明开放海缆系统性能评估过程中考虑调制格式的影响时,系统的预测容量会明显提升。对于输入功率为0dBm,长度为10000km,SLTE采用的调制格式分别为QPSK和16QAM时,调制格式关联式模型预测得到的链路OSNR比GN模型得到的大1.1dB。三、针对水下信息组网等高可靠、低功耗、小业务量非相干传输需求,提出了仅在干端进行色散补偿的长距海底传输方式,拟合出基于脉冲展宽因子的适用于干端色散补偿的非线性传输性能评估方法并进行了仿真验证。仿真结果表明:评估模型与仿真结果差异小于0.5dB,在不同链路参数条件下具有较好的一致性。对海底无色散管理链路的非相干传输设计提供了可行方案。