大规模多输入多输出(MIMO)系统因其具有的高空间分辨力、高频谱效率和能量效率、简单的收发机结构等优势已经成为第五代移动通信系统(5G)的潜在关键技术之一。然而大规模MIMO系统潜在优势的发挥依赖于基站与用户之间信道状态信息(CSI)的精确获取。大规模MIMO基站部署的成百上千的天线阵元以及同时服务的大量用户使得大规模MIMO信道估计问题面临众多挑战，包括上行导频污染、下行高训练开销、高计算复杂度等。面对这些问题，本文通过将阵列信号处理与无线通信相结合，着重研究了角度域内大规模MIMO系统的信道降维表征、低复杂度低开销的信道估计和用户调度等无线传输理论方法。基于大规模天线阵列的结构特性和传播环境的窄角特征，本文提出了基于信号中心角和角度扩展等参数的空间信道正交基展开模型以及能够有效抑制功率泄漏、增强信道稀疏性的空间相位旋转机制，并结合无线信道的角度互易性，提出了一种同时适用于大规模MIMO时分双工(TDD)和频分双工(FDD)系统的上下行统一的信道估计策略。考虑大规模MIMO高速移动场景，发掘时变信道的空间域和时间域相关特性，本文设计了一种空时联合正交基展开模型，并将高维度的时变信道估计和跟踪问题简化为对角度和增益等少量参数的估计和跟踪问题，从而降低了系统复杂度、大大减小了高维时变信道估计所需的训练资源开销。针对大规模MIMO系统信道协防差矩阵的估计难题，本文创新性地提出了一种基于单次上行瞬时信道估计值的角度域信道协方差矩阵重构和预测机制，即由上行瞬时信道估计值直接估计用户信道瞬时角度和功率谱信息，并据此重构上行信道协方差矩阵，同时根据角度互易性和功率谱互易性，直接由上行角度和功率谱等参数预测下行信道协方差矩阵；相比于传统方法，该机制具有更高的估计精度、更少的资源开销和更低的复杂度，具有明显的性能优势。此外，本文提出了一种大规模MIMO双(多)基站协作的系统架构，并设计了完整的大规模MIMO系统角度域内用户调度和频谱共享机制，即角分多址机制，在有效避免信号阻挡效应、提高用户调度成功率和系统频谱效率的同时，巧妙地统一了信道估计和数据传输阶段的用户调度算法，从而有效降低了大规模MIMO的系统复杂度。本文成功地实现了阵列信号处理与无线通信领域的交叉融合，提供了一个完整新颖的大规模MIMO理论分析框架，并率先提出利用角度互易性实现了大规模MIMOTDD/FDD系统上下行信道估计和传输机制的统一。数值仿真表明，本文所述基于阵列信号处理的大规模MIMO信道估计和用户调度等机制具有显著的性能优势，为大规模MIMO系统的研究提供了新的思路和方向。