随着信息技术的持续高速发展,人们对于通信系统容量的需求也在逐步增长,由此促进了通信技术研究的快速发展。无线通信作为通信技术的重要组成部分,长期以来都是通信技术研究的热点之一。一方面,无线通信技术具有组网灵活、可移动性、通信容量大等诸多优点;另一方面,由于无线通信借助自由空间传输无线信号,导致通信系统运行于严重的干扰环境之中,同时由于系统用户对通信系统容量的需求不断增长,导致无线频谱资源紧张和干扰的日益严重化。多输入多输出(MIMO)技术的发展给无线通信技术的研究带来了新的契机,是未来无线通信技术的重要研究方向。MIMO技术可以带来更高的系统复用增益和分集增益,在提高系统的频谱效率、有效抑制干扰和系统容量的提升等方面具有明显的优势。收发机设计问题是MIMO技术研究的热点问题之一,在MIMO无线通信系统中,许多提升系统性能的技术问题最终都可以归结为收发机设计问题。本论文以MIMO干扰信道网络作为研究场景,以MIMO收发机的优化设计作为核心问题,采用凸优化的数学工具将干扰泄漏作为优化的目标函数,在优化约束条件的选择上,主要从有用信号满秩约束,干扰信号的低秩约束和干扰信号的低功率约束三个层面进行。优化算法设计的重点在于:用户内数据流间干扰扰(ISI)对系统性能的影响,以及干扰泄漏最小化和最小化最大干扰泄漏这两种不同的目标函数设计方法对算法性能产生的不同影响。在此基础上设计了秩约束干扰泄漏最小化算法,作为与其它算法进行性能比较的基准,为了获得更好的系统平均和速率性能,综合考虑了用户间干扰(IUI)和用户内数据流间干扰(ISI),设计出了考虑数据流间干扰的秩约束干扰泄漏最小化算法;同时,为了提高系统的公平性和稳定性,使用最小化最大干扰泄漏作为优化问题的目标函数,设计出了秩约束最小化最大干扰泄漏算法和考虑数据流间干扰的秩约束最小化最大干扰泄漏算法。使用MATLAB编程语言和CVX优化工具包对上述收发机优化算法进行了仿真,并且从MIMO干扰信道网络的系统有效性、公平性和稳定性三个层面进行了比较。通过仿真分析,我们发现采用不同的收发机设计思想对系统的性能会产生不同的影响,考虑用户内数据流间干扰可以有效提高MIMO干扰信道网络的系统平均和速率性能,即系统的有效性;使用最小化最大干扰泄漏的方法可以提高系统的公平性和稳定性。另外,就系统设计的整体性能而言,系统的有效性与公平性和稳定性之间存在折中(tradeoff),在系统设计的过程中,要获得有效性的显著提升,势必会造成系统公平性和稳定性的下降;反之,要保证系统的公平性和稳定性,也会给系统的有效性带来一定的损失。本论文还对未来的研究方向和研究内容进行了展望。