转子系统是旋转机械最主要的组成部分，一旦发生故障，将带来巨大的经济损失。由于转子故障的振动信号大部分是非平稳信号，因此研究先进的非平稳信号处理方法，对于保证大型旋转机械设备的安全可靠运行有重要意义。　　文中详细研究了一种新的时频分析方法：Hilbert-Huang变换(HHT)，HHT是分析非线性、非稳定振动信号的有效方法，能够将振动信号分解为有限的本征模函数(IMF)，再对所得的IMF分量进行Hilbert变换，从而赋予瞬时频率合理的物理意义。从仿真和实验两个方面说明了HHT在信号时频分析中的优越性，对Hilbert-Huang时频谱(HHT谱)与边际谱的物理意义也进行了分析。针对噪声的干扰对分解过程和分解结果影响很大这一不足，本文提出了先利用小波变换技术对含噪故障信号进行消噪处理，再作HHT分析的方法，并利用此方法对实测的振动信号进行了故障特征提取和分析。结果表明，该方法克服了直接运用HHT分解方法由噪声带来的不必要的干扰，提高了参数提取的准确性，并由此提高了转子故障诊断率。　　为了量化故障特征，进行定量的故障诊断，文中用到了分形理论。首先介绍了分形的原理及特征以及分形用于设备故障诊断的原理，同时用分形理论对试验采集的数据进行计算研究。采用G-P算法分别计算了故障信号和正常信号的关联维数，并采用自相关函数法确定延迟时间。应用结果表明：不同工作状态下的关联维数有着明显的不同，可以利用关联维数有效地判断转子系统的常见故障，包括转子不平衡、碰磨和不对中。