人体目标跟踪及其行为识别已成为计算机视觉领域的新热点,在智能监控、虚拟现实、智能家居和人机交互等领域有着重要作用。为此,研究者们提出了很多解决办法。然而,人体自身存在非刚体性、非对称性和多态性的特点,以及复杂环境下人体目标易受遮挡、光照改变、尺度变化等干扰,致使此项研究在人体目标跟踪、人体特征提取和行为识别等环节上出现诸多鲁棒性难点。因此,本文提出一种鲁棒跟踪下RGB-D多模态人体行为识别研究。以解决人体目标的精准定位和跟踪为前提,融合RGB-D的可见光视频数据、深度信息和人体骨架模型等多模态数据,实现人体行为识别。本文的主要贡献如下:（1）本文提出了一种基于自适应选择机制的联合模型目标跟踪算法。利用特征选择机制从正负模板集中挑选更具判别力的特征,并结合置信值度量策略构建稀疏判别模型。结合₁正则化和子空间表示构建稀疏生成模型,在处理离群子的同时保留了充足的表征能力。为了克服传统的乘性融合机制的不足,本文提出了一种基于欧式距离的自适应选择机制,旨在动态的跟踪过程中及时发现恶化的模型,并采取相应的策略构建更为合理的似然函数。基于贝叶斯引理框架,利用自适应选择机制联合稀疏判别模型和稀疏生成模型。此外,针对模板集和PCA子空间采取不同的在线更新策略,在缓解漂移问题的同时保证算法能够适应动态跟踪环境中目标外观的变化。通过对实验结果的定量和定性评估,验证了与其他经典算法相比本文提出的算法具有更强的鲁棒性。（2）本文提出了一种基于多模态关联表示学习模型的RGB-D人体行为识别方法。在特征提取阶段,面向RGB数据和深度图数据,提出一种鲁棒的时空金字塔特征,用以提取每个骨骼关节点周围的局部动态模式,兼顾局部特征的空间排列信息和时序结构。为了学习出更加紧凑且具有区分性的共享语义特征,提出一种多模态关联表示学习模型。针对每种模态数据引入相应的线性映射矩阵,来压缩原始的特征空间得到低维的子空间,然后使用量化矩阵对共享成分进行编码。通过制定一个有监督的多任务学习框架,联合学习低维子空间和共享特征。并提出一种迭代优化算法来求解模型,获取最优模型参数。最终,使用一种基于权重正则化矩阵的改进的协作表示分类器完成快速的行为分类。在四个RGB-D行为数据集上的实验结果验证了本文所提算法的有效性。（3）本文提出了一种基于协作的多模态特征学习模型的RGB-D人体行为识别方法。协作的多模态特征学习模型使用有监督的矩阵分解方式对三种模态的数据（RGB模态,深度模态,人体骨架模态）进行分解,一方面学习共享特征来挖掘不同模态间的潜在联系,另一方面学习模态-特有特征来捕捉各模态本质且独有的特性。共享特征与模态-特有特征二者互为补充,提供更具判别力的语义特征。通过制定一个统一的最大间隔学习框架,联合学习共享特征、模态-特有特征以及动作分类器,使得学习到的高层特征表示可以更好地用于分类。为了求解所提出的模型,提出一种迭代的优化算法来获取最优模型参数。在四个RGB-D行为数据集上的大量实验结果验证了与现有的前沿算法相比,本文所提算法能够取得较好的识别性能。另外,实验结果表明所提模型可以将从训练样本中学习到的有用信息迁移至测试样本,从而有效应对测试阶段有部分模态数据缺失的情形。