多输入多输出(Multiple-Input Multiple-Output, MIMO)技术是未来无线通信系统的关键技术之一。MIMO技术通过在无线通信系统的收发两端同时配置多个天线,充分利用了无线信道的多径传播特性,从而大大提高通信系统的频谱效率。MIMO理论与技术的研究主要涉及MIMO信道测量和建模、信息理论、传输技术等几个方面。其中,MIMO传输技术研究实现MIMO传输的空时信号处理技术,是MIMO技术的核心问题。本文所研究的信号检测与预编码技术是MIMO传输技术中有着紧密联系的关键技术问题,这两项技术分别应用于MIMO系统中接收机和发射机的空时信号处理。MIMO信号检测解决了接收机分离和估计发射信号的问题,而预编码则将接收机侧的信号处理算法部分或全部搬移到发射机端上实现,从而简化接收机的设计,提高系统性能。本文首先基于垂直贝尔实验室分层空时系统,介绍了线性检测、判决反馈检测、球形译码(Sphere Decoding,SD)等算法的原理和相互关系,比较和分析了各种算法的性能和复杂度。其次,本文讨论了三种结合SD算法与判决反馈算法的部分SD检测算法,分析了三种算法在相关信道下的性能。在部分SD检测算法的基础上,本文提出一种能够根据衰落信道的空间相关程度和接收信号信噪比,进行自适应调整的部分SD检测算法,该算法能在不同信道状况和信噪比水平下,达到较低的计算复杂度和接近最大似然的检测性能。随后,本文对分组空时块码系统,给出一个新的等效实数模型,提出这个等效实数模型的特殊代数性质,并加以严格证明。利用新等效模型的性质,本文还提出一种优化的二维平面球形译码算法,降低了SD算法的复杂度并提高了算法的执行并行度。在预编码技术方面,本文总结了MIMO多用户系统下行链路的预编码方法,介绍了各算法的原理及其与对应检测算法的联系,比较和分析了各种算法的性能。最后,本文研究了MIMO多用户系统下行链路预编码与信号检测的联合设计问题,提出结合矢量预编和分块对角化预编码的传输方案。并提出一种扩展的球形译码算法,解决了矢量预编码系统最大似然检测所遇到的困难。