21世纪是光子的时代,高功率光纤激光器作为新一代激光器,相比气体、化学、固体等激光器,具有高光电转换效率、良好散热性、优异光束质量、紧凑性等优点,广泛应用于工业加工、国防军工、科学研究等领域。横模不稳定的横空出现,成为了制约单纤单模激光器功率水平进一步提升的主要非线性效应,限制了对高亮度激光器要求苛刻的领域应用。横模不稳定效应作为目前高功率光纤激光器发展的主要限制,对其理论分析及抑制方法的研究具有重大意义。本论文对于高功率光纤激光器中横模不稳定的理论研究及抑制方法,取得的研究成果如下:从速率方程、热传导方程和波动方程出发,建立了一个高维度多物理场耦合的横模不稳定耦合模模型。进一步验证模型的可靠性,和讨论耦合系数的影响要素。为了适用于数千瓦的光纤激光系统,横模不稳定模型中加入了增益饱和效应作用时,既考虑信号光饱和也考虑泵浦光饱和。理论模型中分别引入受激拉曼散射效应和光子暗化效应的作用,二者均伴随热效应产生,加剧横模不稳定效应,理论结果表明横模不稳定阈值显著下降。提出评判横模不稳定阈值的新标准-横模不稳定泵浦阈值,可以有效评判不同类型大模场光纤的横模不稳定抑制能力。从激光器参数、非线性效应和光纤设计等三个方面出发,探索横模不稳定的抑制方法。激光器参数方面,通过减小量子亏损加热,增强增益饱和效应以及增加高阶模损耗,可以提高横模不稳定阈值。非线性效应方面,抑制受激拉曼散射效应和光子暗化效应可以有效抑制横模不稳定效应。光纤设计方面,设计四种类型光纤:分区掺杂光纤,变芯包比光纤,低数值孔径光纤和低热光系数光纤,理论上验证了这四种光纤对横模不稳定效应均有抑制作用。实验中观察了横模不稳定现象的两大特性:阈值特性和模式劣化。通过改变振荡器功率,泵浦波长和泵浦结构以及弯曲选模,实现横模不稳定抑制。实验结果表明采用反向泵浦结构的抑制效果更佳,提高阈值大于50%,同时可以显著提高拉曼抑制比和实现窄线宽激光输出,是工程化中抑制横模不稳定效应皮实有效的方法。实验中观察到受激拉曼散射效应诱发横模不稳定效应,通过控制受激拉曼散射效应的非线性增长,可有效减小拉曼转换引起的热效应,进而减弱横模不稳定的诱发。进一步实验验证发生横模不稳定效应的激光为信号光而非拉曼光。从微波波导的迭代设计方法出发,构建基于耦合模理论的多模光波导迭代设计方法。此迭代设计方法具有可靠性、普适性等特点,在锥形波导中可实现多模式,多波段,高效率,大带宽,转换可逆等特点的LP_0m模式转换器。参照耦合模理论的迭代设计方法,构建基于光束传输算法的多模光波导迭代设计方法,在轴线弯曲波导结构实现LP₁₁-LP₀₁模式转换器,最高可实现75.54%的转换效率,采用该方法进行器件优化最高可以提升17.57%的模式转换效率,此类器件有望在高功率光纤激光器中应用实现横模不稳定抑制。