目前光纤传输系统正朝着大容量长距离演进,需要以更高的传输速率承载更多的业务,这时如何在提升系统容量的同时保证系统的传输性能是目前最热点的问题。在光纤通信系统中,如何将基带信号加载到光波上,采用哪种参量调制信号,对产生的光信号有本质的区别。不同调制格式不同码型的光信号都各有优缺点。另外,在光纤传输系统中最重要的部分是光纤信道,由于光纤中存在许多效应,如色散,非线性效应等,这些不确定因素会使光纤信道对信号产生复杂的影响,往往这些影响不仅与传输距离有关,调制格式也起着决定性的作用。如何设计适用于光纤传输系统的新型调制格式,以及如何有效减小光纤信道对信号的影响是下一代光通信技术的研究重点。本文从多种光调制格式,以及光纤非线性效应出发,主要研究如下几个问题：1.研究光调制的产生和解调机理,通过对光学调制器件原理的分析,研究了基于不同调制参数的产生原理,以及多种码型的实现方案,并研究了基于不同码型不同调制格式的光纤传输系统的抗色散与抗非线性性能2.在几种光调制格式的实现方法与解调方式的基础上,研究可以用于光标记变换系统的多种正交调制的调制与解调方式。提出一种新型的DPSK与FSK联合调制方法,利用马增调制器的多种参数并巧妙地将他们组合,研究这种正交调制和解调过程。3.研究光信号在光纤中的传输过程。从信号在光纤中传输的基本方程出发,研究光纤信道对信号产生的非线性效应——衰减和色散,以及非线性效应——自相位调制、交叉相位调制以及四波混频效应。从理论分析各类效应对光信号传输过程中脉冲和频谱造成的改变以及他们随传输距离增加的演变过程。并通过mat lab仿真证明了光纤几种效应对信号的影响。4.通过非线性效应的形成理论,设计了一种对非线性效应进行补偿的预补偿模块,通过理论分析和建模仿真,从信号星座图与系统接收性能图对比验证了这科预补偿模块效果,结果证明其对系统性能有着很好的提升。5.研究一种新型的结合强度、相位、频率三种调制的超正交调制方法,并设计了解调框图。通过对超正交调制信号进行仿真,分析了各支路信号的性能以及与其他调制格式相比的优劣势。之后,又研究了一种基于超正交调制的波分复用传输系统,并在前面理论分析的基础上,通过对其不同信道数量以及不同信道间隔进行仿真,仿真结果与前面的理论研究一致,并且提出了一些对提升这种波分系统性能的新想法。