纳米光子器件的逆设计问题一直是纳米光子学重要的研究内容之一。典型的逆设计问题通过电磁仿真和逆设计方法实现预期的性能。然而,随着时代的发展,纳米器件的结构越来越复杂。面对更复杂的结构和更高维的优化空间,一个快速的前向仿真和逆设计方法将有效的加速器件设计过程。因此,本文提出了基于多层感知器模型的逆设计方法。通过多层感知器模型代替大计算量的电磁仿真计算。而对于逆设计方法,本文主要开展以下三部分的研究:第一部分,针对梯度优化算法依赖于初始值和基于种群优化算法收敛速度慢等问题。本文提出了一种结合差分进化算法和梯度优化算法的混合优化算法,以下简称为自动寻优梯度优化算法。该算法采用差分迭代的思想首先在全局参数空间进行搜索以找到一个有利于梯度优化算法进行更新的初始设计点,然后使用梯度优化算法进行局部搜索。结果表明,该算法有效的加速了整个逆设计的收敛过程。第二部分,针对在实际的纳米光子逆设计中,可优化的参数往往不止结构参数信息一种,为了使得基于多层感知器模型的梯度优化算法能够同时优化离散的和连续的光学参数,提出了一种新的梯度优化策略。该方法通过使用一个无监督逆设计网络和一个新的约束函数用于优化光子晶体的材料和周期数等离散的参数,而对于连续的介质层厚度参数则直接使用梯度优化算法进行更新。最后一部分内容是在前两部分内容的基础上,为了使得算法既能同时优化离散和连续的光学参数,也能克服梯度优化算法依赖于初始值问题,提出了一种结合遗传算法和梯度优化算法的全局混合优化算法,并利用迁移学习在两种不同的光学场景下,实现小数据集的优化设计。该全局混合优化方法首先采用遗传算法在二进制参数空间中搜索一个合适的初始解决方案,然后用梯度优化算法搜索其周围连续参数空间中可能存在的最优解决方案,算法同时考虑了全局搜索和局部搜索,可以加快算法的收敛速度。我们将该方法应用于多层纳米粒子和多层纳米薄膜这两种不同的光学场景设计,设计结果表明算法具有良好的鲁棒性。