近些年随着我国高通量卫星技术的高速发展,以卫星为通信基础的深空探测、空地气象监测、海洋环境监测、卫星组网定位等业务应用越来越广泛,大量的卫星图像、监测数据需要及时的回传到地面监控站,因此人们对星地间通信有了更高的要求。星地间通信技术正朝着大容量、高速率的自由空间光通信（Free Space Optical,FSO）方向发展,但是大气湍流带来的光强闪烁效应严重影响了 FSO系统的接收机灵敏度,而先进的编码调制技术是抑制光强闪烁效应的关键技术之一。概率整型技术作为编码调制技术的一个分支,能够一定程度上缓解光强闪烁效应。论文主要进行了 FSO编码调制系统中的低复杂度概率整形方案设计;并优化了对数似然比（Log Likelihood Ratio,LLR）的计算方法,论文的主要工作如下。第一,本文基于Optilux光通信组件包和Matlab编程建立了40Gbps 比特交织偏振复用16星座正交幅度调制（Bit Interleaved Coded Modulation-Polarization Multiplexing-16 Quadrature Amplitude Modulation,BICM-PM-16QAM）编码调制FSO仿真系统。由于该系统包括比特交织、低密度奇偶校验码编译码、相干接收数字信号处理等大量运算模块,因此选用复杂度较低的Gamma-Gamma统计信道模型模拟大气湍流的影响。本文仿真了不同大气条件下自由空间光通信系统的链路损耗,以及系统误码率,仿真结果表明论文所建立的仿真系统能够反映真实大气信道下的40Gbps BICM-PM-16QAM编码调制通信系统性能。第二,针对高阶调制系统恒定成分分布匹配器（Constant Composition Distribution Matching,CCDM）概率整形（Probabilistic Shaping,PS）方案在高阶编码调制系统复杂度过高的问题,论文根据Gallager星座映射的特点,将二维均匀分布比特流按照非均匀映射表映射到Gallager星座点以实现复杂度低的概率整形。由所设计的两种不同映射表可得到冗余为18.8%和37.5%概率整形星座图,复杂度只有 CCDM 的 1 9.3%和 20.2%。本文采用 40Gbps PS-BICM-PM-16QAM-FSO仿真系统和室内离线实验系统对所设计方案进行了验证。在弱湍流环境下（@Cn2=10-15）,相对于均匀分布方案,两种概率整形方案的接收机灵敏度增益分别为0.35dB,1.05dB（@BER=10-6）。第三,针对强湍流下FSO系统接收机灵敏度恶化问题,设计并仿真分析了分集接收PS-BICM-PM-16QAM-FSO系统方案。系统采用了选择合并算法来提高系统性能,并基于浅神经网络设计了对数似然比（Log Likelihood Ratio,LLR）计算方法,相比于传统的LLR近似计算,可以进一步提升接收机灵敏度。所采用的LLRNet由2个神经单元输入层、16个神经单元隐藏层和4个神经单元输出层构成,并使用16QAM平面上生成±3σ标准差的随机信源进行训练得到LLR Net模型。本文仿真分析了不同分集数对该系统性能的影响。仿真结果表明,相对于单发单收系统,2分集系统能够获得5.6dB（@BER=10-4）的接收机灵敏度增益;4分集系统能够获得15.3dB（@BER=10-4）的接收机灵敏度增益。同时相对于传统的LLR近似计算,LLR Net能进一步带来0.08dB接收机灵敏度增益。