随着通信网络的不断演进,多输入多输出（Multiple Input Multiple Output,MIMO）技术与正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）技术成为了第五代移动通信网络（5th Generation,5G）上下行链路的基本传输机制,并起着关键支撑作用。MIMO-OFDM技术不仅具有很高的频谱利用率和传输速率,并且抵抗噪声、干扰以及多径效应的能力较强。然而,由于多天线、多载波结构存在的高昂射频开销、复杂信号处理以及较高信号峰均比（Peak-to-Average Power,PAPR）等固有缺陷,为MIMO-OFDM技术进一步推广和应用带来了重要挑战。索引调制（Index Modulation,IM）技术作为一种新型调制技术,通过利用天线、子载波、时隙等通信资源来承载信息,从而在多个维度上构建稀疏信号,有望提供更高效的MIMO-OFDM解决方案。本文以现有索引调制MIMO-OFDM系统为研究对象进行了优化设计和性能分析,进一步探索降低射频链数量及峰均比波动的索引调制MIMO-OFDM传输方案。为了降低多载波空间调制（Spatial Modulation OFDM,SM-OFDM）系统的射频开销,论文第二章提出了基于偏移空间调制（Offset Spatial Modulation,OSM）的改进SM-OFDM方案,并基于不同天线选择方式给出单射频结构和多射频结构两种系统模型,通过预编码调整待发射调制数据的映射天线维度,从而达到有效控制射频链数量的要求。此外,论文理论推导了所提系统的可达容量以及误码率上界,并理论分析了频偏干扰和限幅噪声对系统误码率性能的影响。为了更好的权衡空-频联合索引调制系统中射频开销、频谱效率以及系统性能指标,论文第三章将OSM技术扩展到了空-频联合索引调制系统中,分别从降低射频开销和提升频谱效率两个角度出发,提出单射频结构和双层频谱复用两种改进方案。针对频谱效率较高的广义空-频联合索引调制系统,提出了可灵活缩减射频链数量的改进方案,并给出两种天线集合选择方式,在射频成本和系统误码率性能之间提供了一个折中方案。为了进一步降低索引调制MIMO-OFDM系统的峰均比,提高放大器的工作效率,论文第四章研究了恒包络索引调制MIMO-OFDM传输技术。论文首先仿真分析了恒包络MIMO-OFDM的参数选择以及误码率性能。在此基础上,本文提出融合了恒包络相位调制和索引调制技术的恒包络索引调制MIMO-OFDM系统模型,针对空域、频域和空-频域多域调制方法,研究了各系统的收发端设计和参数选择,探索恒包络索引调制MIMO-OFDM系统的应用潜力。