自由空间光通信(FSO)又称大气光通信,自20世纪90年代以来已经成为光通信领域的一个研究热点。相比于传统的光纤通信,自由空间光通信最大的特点是使光信号脱离了光纤的束缚,可以应用在一些环境特殊的场合。总的来说,自由空间光通信的优点在于：信号频率极高,不易受周围电磁波的干扰；容量极大,可达到每秒千兆级单位的传输速度；独立的通信频带,不挤占现有信号的频带资源。但是,对于自由空间光通信系统,虽然有其独特的优势,但也有明显的缺陷：光信号暴露在大气信道中,极易受到大气活动的影响。大气信道的活动状态往往是随机的、不规律的,而由于大气信道的不规律活动,常常对通信系统的性能造成极大的损害,甚至通信中断。而采用新型的、适合于自由空间光通信系统的调制解调方式,可以在最大程度上降低大气信道活动对通信系统性能的影响,对整个FSO技术的推进和发展都有着积极的意义。本文对自由空间光通信系统调制与解调技术展开研究,研究大气湍流活动对通信系统性能造成的影响,提出了几种新型的调制方法,并进行了理论分析和仿真研究。本文主要的研究工作及创新点如下(1)针对相位随机扰动影响光信号的偏振态的问题,提出了一种新型的PolSK调制方法。该调制方法采用了两个AM调制器取代了传统PolSK调制的单一相位调制器,很好的避免了光信号相位变化对偏振态的巨大影响,并在理论分析和实验上证明了该系统的可行性；(2)针对传统的PolSK调制平均发射功率过高,而低平均发射功率的PPM调制抗湍流性能较差的问题,提出了一种新型的结合两种调制优势的调制方法：PPM-PolSK调制。该调制方式在极大的减少了发射端的平均发射功率的同时,提高了系统的抗湍流性能。论文在分析了该调制系统的性能后,在仿真平台上进行了仿真,同时验证了理论分析的结果。(3)针对多进制偏振调制系统接收端过于复杂的问题,提出了一种在接收端无须使用斯托克斯参量接收机的新型4-PolSK调制系统,并在理论分析和仿真平台上验证了该系统的性能。对于多进制偏振位移键控技术,虽然能够极大的提升系统的传输效率,但接收端使用斯托克斯参量接收机,极大的增加了系统的复杂度和不稳定性。本文提出了一种新型的4-PolSK通信系统,最大的优点在于仅使用普通的无源光器件就可以解调4-PolSK调制,极大的简化了系统接收端的复杂度,同时仿真平台上的结果证明,该系统能够在弱湍流环境下实现稳定的传输。(4)针对在无线通信下MIMO系统可以极大提升通信系统性能的特点,结合了MIMO系统与CPolSK调制技术,提出了一种新型的MIMO-CPolSK通信系统。在弱湍流信道下的对数高斯分布模型和中强湍流信道下的Gamma-Gamma模型下分析了MIMO-CPolSK系统的误码性能,并在MATLAB平台上进行了仿真。理论分析及仿真结果均表明,新型的MIMO-CPolSK系统能够很好的抵抗大气湍流对系统本身性能和可靠性的影响,是一种具有实现价值的调制技术。