Turbo码是1993年由Berrou等提出的，它具有逼近容量限的性能，目前被广泛应用在很多场合。但是Turbo码存在“error floor”现象。串行级联卷积码使用迭代译码，其“error floor”很低。本论文第一部分重点研究在低码率短帧长下的串行级联码，首先给出它的编译码算法，然后根据串行级联码设计准则进行码设计，并针对不同结构的编码方案给出编译码算法。最后通过计算机仿真研究其误码性能与卷积码的选择，跟Turbo码的性能进行比较，考察它们对低码率短帧长应用的适用性。另一方面，现代通信系统往往带宽比较紧张，所以不但要考虑到误码率性能，也要考虑到频谱效率。目前已经有一些带宽有效的编码方案，如TCM码，BICM等，本文的第二部分重点研究在Rayleigh衰落信道下带宽有效编码调制方案，包括IQ-TCM码，Turbo-IQ编码调制，TTCM码。在这部分首先给出IQ-TCM码的编译码算法，通过软件仿真，画出瑞利衰落信道下IQ-TCM码的误码率曲线，跟TCM码进行比较，证明IQ调制可以提升性能。接下来针对Turbo-IQ编码调制给出编译码算法，并提出改进的几种结构，仿真出性能曲线进行对比。最后给出TTCM码的编译码算法，选择一种最通用的TTCM结构进行软件仿真，与我们提出的Turbo-IQ编码调制进行性能对比。证明在低信噪比情况下，Turbo-IQ编码调制性能比TTCM码更优越。