装备相控阵雷达的飞机可以灵活、快速地部署,实现对战场中各种目标的检测、跟踪,感知敌方态势,为己方力量的指挥和控制提供情报支撑。但是在机载雷达工作当中,必须解决干扰抑制和杂波抑制问题。在信号处理的环节,可以利用自适应波束形成技术来抑制旁瓣区域的干扰。但是当阵列流型与实际情况不一致（如存在位置误差、幅相误差或接收机通道响应误差）,自适应处理往往导致期望信号的输出信干噪比下降。因此设计稳健的波束形成器来减少或降低误差带来的影响是非常重要的。另一方面,由于机载雷达的平台是运动的,地杂波表现出空时耦合特性,需要利用空时自适应处理（Space Time Adaptive Processing,STAP）技术去抑制机载雷达接收到的地杂波。但是由于雷达天线的非理想构型、地形和地物随距离的变化,接收到的回波信号通常是非均匀的,不能提供足够的独立同分布的样本数据。如何提高非均匀环境下STAP的性能,也是需要研究的重要问题。本文围绕以上问题开展研究,具体包括以下几个方面。一、针对不同因素引起的波束形成器性能下降,研究了稳健的自适应波束形成算法。针对样本不足引起的性能下降,研究提出了一种基于稀疏的稳健自适应波束形成算法。当干扰和噪声的采样协方差矩阵偏离理想的协方差矩阵时,传统的对角加载方法和最差情况最优性能方法对这种误差情况具有一定的稳健性。但是当样本数目较少或样本数据中包含目标信号时,这两种方法的性能严重下降。针对这一问题,提了一种基于无网格稀疏迭代协方差估计的稳健自适应波束形成方法。相比于其他方法,该方法在样本数目较少（或单快拍）的情况下,性能最接近最优处理器,并且对期望信号角度失配和相干局部散射引起的误差具有稳健性。针对存在导向矢量失配的自适应波束形成,研究提出了一种基于交替方向乘子法的稳健自适应波束形成方法。对于自适应波束形成来说,模型误差（幅相误差或阵元位置误差）带来的影响不可忽视,采用假设阵列构型已知的稳健自适应波束形成技术并不能取得好的结果。本文提出了一种基于交替方向乘子法的稳健自适应波束形成技术。仿真结果表明该方法对信号角度误差、幅相误差、阵元间距误差以及相干局部散射均具有稳健性。二、针对非均匀环境下的杂波抑制,结合先验的地形数据、地理高程数据等,研究提出了一种基于先验知识的协方差矩阵估计STAP方法。文中以采样协方差和先验协方差矩阵的凸组合为基础,提出了一种基于先验知识的协方差矩阵估计方法。首先利用地表分类数据和地理高程信息,并通过坐标变换、遮挡判断、数据仿真的预处理,计算得到先验协方差矩阵。然后,利用了正则化Tyler估计器更精确地估计最终的杂波协方差矩阵。最后,通过实测数据处理证明该方法在非均匀环境下具有良好的性能。三、针对非均匀环境中的样本挑选问题,研究提出了一种基于先验知识的训练样本挑选方法。在非均匀环境中,训练样本和待检单元可能具有不同分布特性,这会使估计的杂波协方差矩阵不准确,从而导致杂波抑制的性能下降。本文提出了一种基于先验知识的训练样本挑选方法。本方法首先使用先验的协方差矩阵检测含有目标信号的训练样本。然后将污染的样本投影到由先验协方差矩阵构造的子空间中以保留该训练样本。最后,利用迭代方法对训练样本重加权获得最终的杂波加噪声协方差矩阵。数据处理结果验证了所提方法的性能。四、针对稀疏条件下的STAP方法,研究提出了一种基于无网格总变差最小化的稀疏STAP方法。由雷达天线构型或外部环境因素的影响,杂波谱在距离上是非均匀的,导致训练样本数目不能满足独立同分布条件,进而影响最终的杂波抑制性能。针对这一问题,提出了一种无网格总变差最小化的STAP方法。所提方法利用了杂波在空时平面上的稀疏特性,建立了一个基于l1原子范数的优化问题。利用导向矢量的极坐标表示形式以及贝塞尔函数近似,将二维的导向矢量优化问题转化为一维的形式。最后利用Toeplitz矩阵的性质,使用CVX工具包求解优化问题。该方法相比于传统的稀疏处理方法,在正侧视和非正侧视条件下均表现出了较好的性能。