结构拓扑优化在工程结构设计的初始阶段为设计者提供一个概念性设计，是当今结构优化设计领域的一个研究热点。板壳结构被广泛应用于航空、航天、土木、机械等工程领域，但是板壳结构在压力作用下却极易发生屈曲失稳破坏。板壳结构的屈曲拓扑优化研究是以满足结构稳定性而进行的拓扑优化方法研究。与静力学、动力学拓扑优化问题相比，屈曲拓扑优化在模型的建立求解及数值问题的处理上难度较大，但结构屈曲拓扑优化结果直接影响工程结构的稳定性设计，因此研究板壳结构的屈曲拓扑优化具有重要的理论意义和工程应用价值。　　本文基于隋允康教授提出的ICM（独立、连续、映射）方法，对板壳结构进行了以结构重量最小为目标，以屈曲载荷为约束的拓扑优化研究，并利用MSC.Patran&Nastran软件作为平台，开发了相应的软件。本文主要研究内容如下:　　(1)从ICM拓扑优化方法的概念入手，通过描述阶跃函数与磨光函数阐述了ICM方法“独立”、“连续”的本质含义。研究了过滤函数在建模及求解过程中的作用，并引入指数函数作为本文的过滤函数，以研究比较它们对板壳结构屈曲拓扑优化结果的影响。　　(2)基于ICM拓扑优化方法，引入指数过滤函数建立了以屈曲载荷为约束的轻量化拓扑优化数学模型。采用线性泰勒展式将约束方程近似为显式线性方程，并用二阶泰勒展式将目标函数转化为二次方程，降低了其非线性程度。最后采用对偶序列二次规划算法对建立的模型进行求解，提高了求解效率。数值算例结果的比较分析得出指数过滤函数比幂函数过滤函数的过滤效果更好。　　(3)引入全局收敛移动渐近线算法(GCMMA)对板壳结构屈曲拓扑优模型进行求解，并与对偶序列二次规划算法(DSQP)进行比较研究。将采用幂函数和指数函数两种过滤函数建立的屈曲拓扑优化二次规划模型转换为可以用GCMMA算法求解的形式，并分别采用两种算法求解了板壳结构的屈曲拓扑优化问题。　　(4)研究了各向异性材料板壳结构的屈曲拓扑优化问题，从各向异性材料的本构方程出发，推导了正交各向异性材料过滤函数识别式。以各向异性材料板壳结构为优化对象，采用幂函数和指数函数两种过滤函数建立了屈曲载荷约束下重量最小为目标的拓扑优化模型，并采用DSQP和GCMMA两种算法进行了求解。数值算例结果说明了模型及求解方法的有效性。　　(5)研究了拓扑优化中常见的棋盘格和网格依赖现象，通过引入敏度过滤的方法来解决。分析了屈曲问题的特征值方程及Sigmund提出的避免屈曲拓扑优化中出现局部模态现象的处理方法，给出了采用合适的过滤函数来避免局部模态的方法。　　(6)在上述理论推导和优化算法的基础上，基于MSC.Patran&Nastran软件平台，利用其二次开发工具PCL语言完成板壳结构屈曲拓扑优化程序的编制与调试。另外，将封装后的GCMMA算法集成到MSC.Patran软件中，实现了MSC.Patran软件与MATLAB的接口。在MSC.Patran的界面上增加新的优化菜单和窗口，方便了用户的使用。