本文研究采用轨道角动量相位模式进行信道复用的菲涅尔辐射近场无线通信系统,着重研究用于该系统的天线设计。根据本课题组已有的研究结果,说明了携带多阶轨道角动量的波束不同相位模式之间的正交性用于信道复用的原理,以环形阵列天线为例,阐述了系统信道矩阵及复用/解复用的过程。文章中设计了一种环形槽反射面天线用于产生不同阶的轨道角动量模式,该天线对比传统的抛物面天线和无反射面的偶极子天线阵列,对于电磁波数的能量聚焦具有较好的性能,所有的轨道角动量模式下,主波束的增益有明显提高。针对阵列天线系统,设计并制作了一种移相器。结合近年来新兴的超表面人工电磁材料,本文设计了不同的次波长单元结构,该结构构成的二维周期平面对入射的电磁波的反射波的相位可以进行超过360°范围的调控,并且保证幅度、极化的一致。将该结构用于一种线极化的反射阵列天线,给出了用于产生不同阶轨道角动量的控制相位表达式,设计出反射阵天线,采用全波电磁仿真软件对设计的天线进行了分析。针对上述反射阵天线的不足,文章中提出了采用超表面设计的表面波—OAM模式转换圆形阵列天线。推导了该阵列产生轨道角动量的原理及表达式,给出了采用上述超表面单元用于产生不同阶的轨道角动量波束应调控的相位的表达式,设计并制作了可以产生多个不同阶轨道角动量的阵列天线,通过理论推导、数值仿真和实验测试,给出了该天线的参数,仿真和实验结果表现出较好的一致性,达到了设计的预期。