本论文依据Von Karman非线性理论，提出了新的压痕实验薄膜/基体系统中脱层薄膜的屈曲分析力学模型。提出用耦合的线性弹簧模型来表示基体变形对脱层薄膜屈曲行为的影响，用量纲分析和有限元方法计算给出线弹簧的柔度系数。基于界面断裂力学理论，提出了借助于通用有限元程序计算界面应力强度因子的方法，计算得出脱层屈曲薄膜裂纹尖端的应力强度因子计算公式。 用打靶法求解薄膜的非线性屈曲问题，并计算出薄膜发生屈曲变形时的临界应力。对于薄膜与基体之间的不同弹性错配系数，给出应力强度因子、能量释放率以及相位角。结果表明，在薄膜的脱层屈曲分析中必须考虑基体变形的影响。 在脱层薄膜屈曲分析的基础上，提出新的压痕试验方法力学模型，并对模型进行数值计算，得到临界塑性区尺寸，裂纹尖端的应力强度因子，能量释放率以相位角。得到的结果与目前通用方法给出的结果进行对比，发现有几倍的差别。结果表明，塑性区的尺寸，以及压痕应力对脱层薄膜的后屈曲行为有很大的影响。