采用调制掺杂氮化镓（GaN）异质结结构的高电子迁移率晶体管（HEMT）在过去的十年中得到了迅速的发展,GaN被认为是高频和大功率相结合的最有前途的半导体技术之一,准确的GaN器件的模型是计算机辅助电路设计,特别是高效率功率放大器（PAs）和单片微波集成电路（MMIC）设计的关键组件,在众多建模方法中,行为模型因其高精度和低复杂度的特点脱颖而出成为了研究热点。近些年来,以机器学习为代表的人工智能技术逐渐变得普及,强大的机器学习算法在工程设计领域取得了广泛的成功,应用该技术来建立器件行为模型受到了高度重视,本文也立足于此展开了相关研究。在器件行为模型研究中,首先开展的是小信号建模,本文选取了1W的GaN HEMT,分析器件的特性,建立了一个18元器件的小信号等效电路模型,然后在此基础上提出了一种基于支持向量回归（SVR）技术的小信号行为建模方法。与经典的等效小信号电路模型相比,该模型增加了基于SVR技术的误差校正技术,所提出的模型在从1GHz到10GHz的较宽频率范围内保持了很高的精度。验证是通过与在栅极特征尺寸为0.25μm的8×125μm GaN HEMT器件上测量的多偏置S参数数据进行比较验证,所提出的模型在多种偏置条件下的四种S参数预测精度误差均减少了50%以上。接着,本文研究了两种不同类别的机器学习算法,包括建立线性模型的支持向量回归和处理长序列问题的长短期记忆神经网络。本文利用黑盒模型的思想,结合两种建模技术,分别建立了基于SVR和长短期记忆神经网络（LSTM）的小信号行为模型。在同样的器件上完成验证,两种模型都提供了高精度的预测结果,其误差也均控制在1%以下,在面对强非线性的S12、S21参数行为时,模型仍然给出了高精度预测。相较于SVR技术,LSTM网络技术建模性能更佳,模型提取时间更短。针对GaN器件非线性行为特性,首次将LSTM神经网络应用于GaN HEMT器件的大信号行为建模,在介绍了网络基本原理和建模过程基础上,筛选出了最适合本模型的优化算法,Adam算法。以10W的GaN HEMT器件为例,给出了仿真和实验验证结果,在输入功率从-20d Bm到+30d Bm的范围上均具有较强的外推和内插能力。仿真验证中,当输入功率间隔达到3d B时,平均相对误差（ARE）低于1%;实际测验中,当输入功率间隔达到10d B时,仍能将ARE控制在2%以下;模型还验证了频率的外推与插值能力,在输入频率达到5GHz时,ARE可控制在4%以下。验证了该模型强大的泛化能力,也证明了建立GaN HEMT器件行为模型的有效性。