天波超视距雷达的作用距离为1000到4000公里,对于国防、军事方面具有重要的战略价值。而天波雷达在使用过程中,由于受到电离层污染,强海杂波等影响,常常会面对多目标、低快拍、低信噪比所带来的问题。而天波雷达大多使用大规模的天线阵列,天线间的互感耦合不可避免。本文将在天波雷达存在互耦与干扰条件下对目标个数估计方法进行研究,提高天波雷达对目标个数估计精度。首先,本文对阵列的互耦校正方法进行研究,介绍了一种互耦系数矩阵的估计方法,然后利用其优化阵列存在互耦时的最大似然信号到达方向(Direction-Of-Arrival,DOA)估计与交替投影DOA估计,在此基础上,为了进一步减小计算量,提出了基于互耦系数矩阵重构的离网稀疏贝叶斯估计,有效的提升了在阵列存在互耦条件下的DOA估计精度。然后,研究了个数估计前的干扰抑制方法。针对标准MVDR波束形成算法所存在的问题,利用支持向量回归(Support Vector Regression,SVR)原理,提出了一种基于SVR和特征投影法的优化MVDR算法。可以有效地抑制因到达方向有一定差异而引起的干扰。最后,研究了天波雷达目标个数估计方法,针对距离相同、速度相近时目标个数在速度维难以准确估计的问题,利用目标空间信息的差异,提出了一种基于稀疏迭代协方差重构(Sparse Iterative Covariance-based Estimation,SPICE)的最小描述长度(Minimum Description Length,MDL)准则目标个数估计方法,该算法能够在较低快拍较低信噪比的条件下仍能够准确估计目标个数。