随着计算机技术的快速发展,结构优化理论也在不断地完善,且由于工业制造手段的不断创新(如增材制造方法等),结构拓扑优化技术得到了越来越广泛的应用。在实际问题中,结构可能发生大变形的情况,但在连续体结构拓扑优化中考虑几何非线性效应的研究尚处于发展阶段,还有一些基本问题有待解决。针对这一情况,本文对连续体结构的几何非线性拓扑优化的理论和算法开展了研究,主要工作内容如下:首先,针对体积约束下考虑几何非线性效应的连续体结构拓扑优化展开研究工作。本文介绍了连续体结构考虑几何非线性效应的拓扑优化设计基本理论和计算模型,讨论了由于考虑几何非线性效应导致连续体结构拓扑优化设计会出现的数值不稳定现象。通过若干数值算例讨论了结构中低密度区域出现的局部大变形为拓扑优化设计带来的负面影响。其次,研究了连续体结构几何非线性拓扑优化中对不稳定单元现象的改进方法。本文介绍了单元势能插值方法在改进不稳定单元问题中的应用,讨论单元势能插值方法对不稳定单元的改进效果,并通过经典的连续体结构拓扑优化问题讨论其适用范围与关键参数的选取范围。第三,提出了基于节点变量,结合杂交应力元进行有限元分析的优化模型实现连续体结构几何非线性拓扑优化设计,有效地克服了其它针对数值不稳定现象进行处理的方法(如过滤技术等)存在的不足。数值算例证明了本文方法对改进数值不稳定现象的有效性,与传统的SIMP模型比较也证明了其优越性。最后,对全部工作进行总结,并对未来工作提出了展望。