随着智能终端的普及,移动互联网和物联网业务迅猛发展,无线用户请求呈现出高密度、时延敏感、高移动性以及多样化等特点,推动了移动网络向第五代移动通信系统（5th generation mobile communication systems,5G）的革命性演进。相比于第四代移动通信系统,5G能够同时大幅改善网络的用户体验速率、峰值速率、连接密度、传输可靠性和时延等性能,全面满足多样化的场景和业务需求。作为实现5G性能飞跃的关键技术之一,大规模多输入多输出（Multiple-input multiple-output,MIMO）技术通过装配数量众多的天线以充分发掘并利用无线信道的空域资源,从而显著提升系统的频谱效率及能量效率。本论文着眼于大规模MIMO技术中亟待解决的理论与实际应用问题,在低成本低功耗大规模MIMO系统的分析与设计、大规模MIMO中继系统的部署、大规模MIMO系统中直传用户和中继用户的时频资源共享、毫米波大规模MIMO系统信道估计和数模混合处理的低开销鲁棒设计等具体问题上展开深入研究。论文的研究内容和主要创新性成果简述如下:·对于使用低精度模数转换器（Analog-to-digital converter,ADC）的大规模MIMO系统,针对已有性能分析方面的工作基于独立同分布信道而不能恰当反映实际性能的问题,首次在实际的空间相关信道下对系统可达速率性能进行了深入分析,并揭示了低精度ADC对可达速率造成的损失随空间相关性的变化规律。首先,利用加性量化噪声模型将非线性的ADC量化过程近似为线性过程,推导了线性最小均方误差（Linear minimum mean-squared error,LMMSE）信道估计。然后,综合考虑空间相关性、量化误差和信道估计误差,推导了基于最大比合并（Maximal ratio combining,MRC）检测的可达速率闭式近似表达式。最后,利用控制不等式理论,分析得出低精度ADC引起的可达速率损失随信道空间相关性增强而减小的结论。仿真结果验证了理论分析的准确性,并证明了低精度ADC在实际存在空间相关性的大规模MIMO系统有更好的适用性。·针对如何以较高的能量效率和成本效率同时给多个边缘用户提供高速率传输的问题,设计并全面研究了多种信道条件下使用低精度ADC的大规模MIMO中继系统。首先,考虑丰富散射环境,在中继使用低精度ADC以降低大规模天线造成的过高成本和功耗,分别推导了基于完美和不完美信道状态信息（Channel state information,CSI）的MRC上行可达速率闭式近似表达式,归纳出了一般化的功率缩放规律,并在理论上揭示了2到3比特的低精度ADC不会造成明显的性能损失。然后,基于完美CSI,论文将上述理论分析结果扩展到中继和基站之间存在视距传播的场景。最后,针对更具一般性的空间相关信道下中继和基站均采用低精度ADC的大规模MIMO系统,论文给出了中继信道的LMMSE估计并将其转换为便于后续分析的等效形式,进而推导了基于MRC检测的系统可达速率闭式近似表达式,进一步分析揭示了空间相关性对功率缩放规律不造成本质影响,并给出了实际部署低精度ADC大规模MIMO中继系统的理论指导。仿真结果证明了上述理论分析的正确性。·针对大规模MIMO系统中直传用户和中继用户的时频资源共享问题,从简单且节能的功率缩放角度提出了有效的解决方案。考虑到不同设备发出的导频和数据信号混叠的情况,论文首先建立了两类用户共存的复杂多小区环境下的LMMSE信道估计完整过程。然后,基于估计的CSI,推导了MRC和迫零检测方案下的直传用户和中继用户的可达速率的下界和近似表达式。其次,利用可达速率的近似表达式,提出了一种简单节能的功率缩放规律,能够有效地实现这两类用户的和谐共存。最后,通过求解一系列的几何规划问题,进一步提出了一种兼顾多小区容量最大化和两类用户公平性的功率分配方案。仿真结果证实了理论推导的准确性和功率控制的有效性。·针对毫米波大规模MIMO系统的信道估计和收发机算法在性能、开销和鲁棒性等方面存在的问题,提出了基于智能信号处理的信道估计和数模混合处理设计方案。论文首先利用深度卷积神经网络（Convolutional neural network,CNN）在提取相关性上的独特优势,提出了基于空频和空频时CNN的毫米波信道估计方案,具有准确性高和运算快的优点,对不同的信道场景有很好的鲁棒性。其次,通过将多个信道相干时间划分为一个信道估计单元,利用频率和时间相关性提出了基于CNN的低导频开销信道估计方案,以有限的性能损失和略微增加的运算复杂度为代价,显著降低所需的导频开销。最后,提出了基于深度神经网络的端到端优化框架,可实现对收发机的数字域处理和模拟域处理的联合优化,并能够灵活地应用于窄带系统和宽带正交频分复用系统,具有可靠性高、运算快和鲁棒性强的优点。仿真结果表明了所提出的基于智能信号处理的方案在性能、鲁棒性、导频开销和运算时间等方面的优势。