随着微电子技术和制作工艺的不断提高，无线通信设备正在向着小型化、宽带化和多功能化的方向发展。而天线作为无线通信系统中不可或缺的组成部分，其性能的优劣直接影响到整个系统的通信质量。因此，对当代无线通信系统中天线进行优化与设计是一个具有实际意义的课题。目前，移动通信系统中的天线可大致分为终端天线、室外基站天线和室内覆盖天线三种形式。此外，伴随短距离无线通信技术的日益兴起，UWB系统受到了越来越多的关注。由于UWB通信系统的工作频带为3.1-10.6GHz，与现有的无线通信系统如WLAN、WiMAX的频段相互重叠。因此，为了使UWB系统与各个通信系统间实现良好的兼容性，抑制潜在干扰，需要设计出具有陷波特性的超宽带天线。本文紧密结合以上所述情况，重点围绕手机天线、室内覆盖宽带天线、高性能室外基站天线波束赋形以及具有陷波特性的超宽带天线等方面展开研究。作者的主要工作和成果可以概括为：1.适用于当代移动通信终端——手机的小型化、多频化平面天线研究。提出了一种将环形天线与单极天线相结合的平面天线，通过对天线的适当弯折和改变辐射体宽度，使天线可以同时覆盖GSM/DCS/PCS/Bluetooth/Wi-Fi等频段；研究并设计了两种低SAR值的平面倒F天线，这两种天线均利用L形耦合馈电来实现小型化和多频化，并通过将两个天线放置于手机底部的方法，有效地降低了SAR值。2.研究并设计了一种新型的具有复合结构的低剖面超宽带盘锥天线。采用有限元法对天线各组成部分的作用作了详细分析。1）采用锥形结构实现天线的宽带特性；2）引入接地耦合环以此拓宽低频实现低剖面；3）利用一个优化后的套筒结构改善天线的高频性能。最终，天线实现了747MHz~5900MHz（VSWR<2.5）的频率覆盖。3.研究了一种将HFSS仿真软件作为解算器与遗传算法相结合的方法，成功的实现了电磁仿真软件与最优化思想的无缝链接。并以此方法自动优化设计了两款宽带、多频平面天线：一款是尺寸为90×120mm~2，覆盖CDMA/GSM/DCS/PCS/UMTS频段，由锥形结构和套筒构成的平面单极天线；一款是尺寸为110×110mm~2，覆盖CDMA/GSM/DCS/PCS/UMTS/Bluetooth/WLAN的多枝节平面单极天线。这两款天线均为平面结构，可以很好地满足室内美化或伪装要求，适用于室内移动通信覆盖系统。4.针对标准遗传算法早熟和局部寻优能力差的缺点，通过对遗传算法的深入研究，给出了一种改进的混合遗传算法。该方法将自适应思想和一个局部搜索算子——步长加速法有机地融入其中，并通过对3个标准函数的测试，证明了该算法的有效性。5.研究了一种更为精确的阵列天线方向图波束赋形综合方法。针对传统阵列综合方法中忽略阵元互耦导致优化结果不精确的问题，借助HFSS仿真软件，对阵列环境及阵元耦合对每个阵元辐射性能造成的不同影响进行了研究，并将其计入优化过程中，提高了优化结果的可靠性。最后，应用该方法结合上述混合遗传算法，对基站天线的垂直面进行了波束赋形设计。通过对天线优化结果和实测结果的比较，有效地验证了该方法的精确性。6.适用于超宽带无线通信系统的天线研究。针对超宽带无线通信系统频段与现有无线通信系统（WiMAX, WLAN）频段重合的问题，设计了三种具有陷波特性的超宽带天线。利用调整椭圆轴比、底边切角等手段实现了天线的超宽带特性，通过在天线正面、背面添加寄生条带以及在天线缝隙中添加谐振枝节等形式实现了天线在特定频段的陷波特性。