随着无线通信系统的不断发展,频谱资源稀缺与频谱利用率低的矛盾成为制约系统性能的关键问题之一。多输入多输出(Multiple-Input Multiple-Output,MIMO)技术作为缓解这一矛盾的重要手段,近年来得到了极大的重视和广泛的研究,该技术通过空间复用,能够显著改善频谱利用效率。此外,认知无线电(Cognitive Radio,CR)和混合蜂窝技术可以提高频谱使用的灵活性和增加频率复用,也成为改善频谱效率的有效手段。MIMO技术与认知系统以及混合蜂窝系统的结合,可以进一步提高系统容量和频谱利用率。本文的主要工作如下:论文首先在授权基站和认知基站共同覆盖的区域内认知MIMO多用户上行通信场景中研究增加频谱效率的传输机制。利用授权基站与认知基站间的协作,设计基于干扰对齐与消除(Interference Alignment and Cancellation,IAC)的信号处理算法,不仅保证了授权通信的高优先级,还使认知用户获得了宝贵的通信机会。并利用不同信道矩阵的空间传输性能差异进行用户调度。该机制实现了授权系统和认知系统的无干扰共存,相对于传统的基于干扰对齐(Interference Alignment,IA)的传输机制,空间信道资源得到了有效利用。仿真结果表明,通过基站侧的协作信号处理,授权用户的数据速率得到提升,同时,由于获得多用户分集增益,认知系统的传输速率随着认知用户数的增加而提高。接下来,论文针对采用MIMO技术的宏蜂窝(Macrocell)与微微蜂窝(Picocell)共存的混合蜂窝上行通信系统,在考虑路径损耗、蜂窝的相对位置关系、用户发射功率差异等实际因素的情况下,提出了一种基于干扰适变选择的自适应传输机制,根据蜂窝位置关系对上行相互干扰的影响,建立对称干扰和非对称干扰模型,利用基站侧协作,分别设计基于IAC的信号处理算法,并在非对称干扰模型中对接收滤波方式进行自适应选择,实现宏用户与微微蜂窝用户的并发通信。仿真结果表明,在对称干扰场景中,所提机制通过对强干扰信号携带的数据进行协作接收,能够使宏用户的传输速率得到显著改善;而在非对称干扰模型中,微微蜂窝用户采用适合自身信道传输的信号处理算法,可以在保证宏用户数据传输质量的同时使自身的数据速率得到提升。