多入多出(Multi-Input and Multi-Output, MIMO)技术和中继技术是未来无线通信领域两大关键技术。中继MIMO系统则是将两种技术优势有效融合起来的无线通信系统。中继MIMO系统中广泛使用预编码技术。对中继MIMO系统预编码技术的研究是近几年的热点之一。预编码技术一般根据预处理方式分为两类：线性预编码、非线性预编码。线性预编码的优点是结构原理简单,系统复杂度低,但是线性预编码对噪声的控制较差,会影响到系统的性能。非线性预编码技术,特别是TH预编码(Tomlinson-Harashima Precoding)则在系统容量上进一步逼近了MIMO信道的容量上限,而且THP是一种综合考虑系统复杂度和性能的折中方案。使用预编码技术,可以通过利用信道状态信息(Channel State Information, CSI)来有效提高通信系统的频谱效率,充分开发系统所蕴含的容量潜力。但是在实际无线通信系统中,发送端很难及时准确地获得完整的CSI,所以基于有限反馈的预编码技术更具有现实研究性。现有对中继MIMO系统预编码技术的研究,都是在中继节点采用线性预编码方案的结构模式。但考虑在实际通信系统中,基站和中继的安放位置相对固定,二者之间可以构建视距传播信道,CSI变化相对较小。而中继和用户之间的通信信道,由于用户端的移动性和接收环境的差异性,CSI复杂多变,在中继端采用非线性预编码能够实现比线性预编码更大的有效信道功率。本文针对这一现状,首先提出了一种采用线性基站和非线性中继(Linear Source and Tomlinson-Harashima Relay)的系统结构。然后进一步提出了适用于该系统的基于Lloyd算法的恒幅Lloyd码本设计方案。