相干光通信系统外差探测灵敏度高、通信容量大、调制方方式灵活,研究相干光通信系统中光束的传输特性对提高混频效率具有重要的意义。在实际中,由于热效应、谐振腔尺寸和光学元件等因素的影响,激光器输出的光束不可能是理想的完全相干光,一般情况下为部分相干光,所以本文以部分相干高斯-谢尔(Gaussian-Schell model,GSM)模型为研究对象,研究了相干光通信系统中光束经过大气湍流的模式变化,并在接收端分析了光束通过像散光学系统的偏振特性。主要工作如下:1.根据广义惠更斯-菲涅耳原理和非相干模分解理论,推导了部分相干GSM光束经过大气湍流后的光束模式权重因子表达式,数值仿真了光学参数、湍流参数和传输距离对权重因子和M2因子的影响,并用相位屏理论,数值仿真了传输不同距离后光束模式的权重因子分布,最后在外场搭建1km的相干光通信系统,测量了不同天气下二维光强的高斯吻合度。2.根据柯林斯公式推导了GSM光束通过像散光学系统的偏振度、椭圆方位角和椭圆度的表达式,数值仿真分析了分数阶数和像散系数对轴上点和输出面上的偏振度、椭圆方位角和椭圆度的影响,并用实验验证了不同像散系数对光束偏振特性的影响。结果表明:部分相干GSM光束在湍流中传输基模占主要成份,基模的含量随束腰半径的变化存在最大值:在斜程传输的.下行链路中,光束模式受湍流的影响最小:像散系数越大,轴上点的偏振特性变化越快:像散使非焦平面上的偏振特性由圆对称分布变为椭圆对称分布,不改变焦平面的分布形状。