随着高速率大容量的通信需求不断增长,高吞吐量卫星通信系统正在成为未来研究的重点。在这种发展趋势下,存在两种可以提升系统吞吐量的卫星通信系统:第一种是可以提供高卫星资源利用率和高等效全向辐射功率的多波束卫星通信系统;第二种是由多个卫星组建可以提升系统吞吐量的卫星分集-虚拟MIMO通信系统。除此之外,融合上述两种通信系统的多个多波束卫星通信系统可以进一步提升系统性能。然而,多个多波束卫星通信系统的应用存在三个问题:第一个问题是该系统中存在严重的卫星内的波束间干扰和卫星间的波束间干扰;第二个问题是线性预编码算法作为常用的干扰抑制技术不适用于多波束卫星系统,其原因为线性预编码使得功率分配不稳定或者使得终端复杂度较高;第三个问题是该系统目前缺乏有效缓解波束间干扰的以非线性预编码算法为核心的波束间干扰抑制技术。针对上述问题,本文的主要工作和创新如下:1.多个多波束卫星通信系统中存在严重的卫星内的波束间干扰和卫星间的波束间干扰。为了量化该波束间干扰情况,第二章根据多波束天线和终端天线的天线模式,卫星位置和终端位置计算波束间干扰,构建多卫星波束间干扰信道矩阵和基于不同频率复用方案仿真了波束间干扰对于系统性能的恶化程度。结果表明波束间干扰将严重恶化系统性能并,确定了波束间干扰抑制技术的研究必要性。2.由于在多个多波束卫星通信系统中应用非线性预编码算法抑制波束间干扰时需要避免终端间高度信道相关性的不利情况,并且现有的终端分组算法的计算复杂度很高且性能较差。第三章提出了基于相邻波束间增益相关性的终端分组算法,不需要计算终端的信道向量模值即可确认分组内初始终端,利用相邻波束间增益相关函数具备唯一极值点的特性将不同点波束内相对位置接近的终端分组,组内使用非线性预编码实现空分复用,组间使用频分复用。该算法降低复杂度的同时降低了终端间信道相关性,结果表明,该算法具有极低的计算复杂度和2dB的性能增益。3.Tomlinson-Harashima预编码（THP）作为一种非线性预编码由于其优秀的功率稳定性以及均衡的复杂度和性能成为本文的研究目标。然而,由于数据流的顺序将影响THP的性能,并且终端配备天线数量的制约使得现有的数据流排序算法应用于卫星通信系统中时具有很差的性能。因此,第四章提出了应用于多个多波束卫星通信系统的迭代优化TH预编码算法,设计了多种发射模式,利用迭代结构和选择策略获取最佳发射模式,优化数据流顺序并进行TH预编码。该算法以牺牲复杂度为代价提升了系统性能,结果表明,该算法具有4dB的性能增益。4.为了综合评估本文提出的以非线性预编码算法为核心的波束间干扰抑制技术的系统性能,第五章搭建了算法联合仿真平台并对提出算法进行了联合仿真。结果表明,联合算法具有6dB的性能增益。