随着社会信息化进程的加快,人们对通信系统的传输容量和可靠性都提出了更高的要求。就现有光通信技术而言,光的频谱、幅度和相位等都已经得到了充分的研究与应用,因此现有的光通信系统容量已经接近香农极限。轨道角动量(Orbital Angular Momentum,OAM)的发现,为光通信提供了一个新的方向,众多学者认为这是突破传统光通信极限的一个契机。因此,OAM结合多输入多输出(Multiple Input Multiple Output,MIMO)通信技术在自由空间大气信道的传输受到了国内外众多学者的关注。如何寻求有效的方案将OAM与MIMO中的复用和分集两大关键技术相结合,并克服大气中存在的湍流效应对通信质量的影响,实现通信系统容量质的提升,是有待我们解决的问题。本论文首先对OAM的自由空间光通信进行了研究,然后重点研究了将OAM与MIMO中复用和分集技术相结合,最后研究了消除复用OAM光束经过大气湍流信道产生模式串扰的均衡算法。在MATLAB仿真平台搭建了基于OAM的MIMO通信系统,并对其结果进行分析,主要工作和成果如下。1.对大气信道的特点进行了分析,介绍了湍流的本质,湍流效应作用于涡旋光束原理,以及涡旋光束产生相位的畸变带来的影响。利用MATLAB软件基于修正的冯卡门湍流谱模型与蒙特卡洛相位屏法建立了大气湍流信道仿真模型,为接下来的工作打下基础。2.对OAM复用与偏振复用进行了理论研究,设计了一种OAM偏振复用系统方案。利用数值仿真的方法,通过误码率和信道容量分析了基于OAM的偏振复用系统的通信性能。3.对MIMO均衡算法进行了理论研究,提出了适用于基于OAM的MIMO通信系统的一种变步长恒模算法。算法通过均方根误差自适应调整迭代的步长,从而实现动态地补偿信道串扰。仿真结果表明,变步长的恒模算法能够有效地消除信道串扰,而且比原始的恒模算法收敛速度快、收敛误差小。