由于非线性现象具有无限的复杂性，线性反馈控制已很难进行恰当的补偿，因而随着对工程领域中各种非光滑、时变等非线性因素研究的深入，也需要在非线性控制理论和应用方面取得突破。通过理论分析和数值计算相结合的方法进一步揭示非光滑系统的动力学特性，并在此基础上探索应用非线性控制律的设计，主要采用基于微分几何法的二次型最优控制、滑模变结构控制以及自适应控制，有效地调节实际系统在临界工作状态附近的动力学特性，避免工程隐患的发生，提高工作效率，并且结合一些实验工作和有限元计算，为推动非线性控制器的设计和动力学理论分析提供依据。本文主要研究工作和成果包含以下几个部分：1、较全面地综述了几类非光滑系统动力学的最新研究进展，包括制动干摩擦系统、结构非线性弹翼系统和可变体飞行器时变边界系统。也对非线性控制中的几种重要方法进行了阐述，包括反馈线性化、滑模变结构控制和自适应控制。2、采用LuGre摩擦力模型，建立两自由度制动系统的动力学方程。应用Hopf分岔定理、增量谐波平衡法和数值方法分析自激振动周期解。基于微分几何法和线性二次型最优控制相结合的方法，设计单输入单输出非线性系统控制器，推迟制动系统出现自激振动的临界速度并有效降低颤振幅值，结合干摩擦实验和有限元分析，得到不同摩擦噪声的产生机理。3、基于三阶活塞理论建立了含间隙弹翼非线性气动弹性动力学方程。应用谐波平衡法研究了颤振系统的分岔特性；基于微分几何法和二次型最优控制相结合的方法，设计非线性系统控制器，提高系统的分岔临界速度；应用滑模变结构控制方法设计控制器，有效抑制非线性颤振，提高系统的气动弹性稳定性。考虑来自弹体的扰动时，得到不同类型的响应，包括单周期运动、多周期运动、概周期运动以及混沌运动。4、考虑一阶活塞理论，建立在气动力作用下伸缩悬臂梁的动力学模型。应用平均法研究伸展变形下一阶模态、二阶模态广义变量的动力学响应，提出基于独立模态空间的自适应滑模变结构控制方法，通过截断前两阶模态施加的控制有效地抑制伸缩运动过程中的振动，并比较两种运动的控制效果，得到伸展运动下对振动的控制更好。