随着社会老龄化问题的日益严重,家庭服务机器人逐步走进人类的生活,在照顾老人和残障人士中发挥着举足轻重的作用。智能化机器人在其日常工作中需要广泛进行人机交互与智能监控,故而人体行为的识别成为共融式家庭服务机器人的基础。由于深度传感器的发展,采集深度视频并从其中提取人体骨架序列变得越来越容易,同时考虑到机器人机载传感器视角受限以及生产成本等问题,该文分别对基于多视角深度视频的人体行为识别、基于人体骨架序列的行为识别展开研究,具体内容如下:首先,服务机器人执行任务过程中,机载传感器难以保证时刻捕捉人体正面信息,针对视角变化造成的行为识别误差,提出一种与视角无关的深度视频时空联合行为识别模型。该模型采用多视角人体姿态图像训练深度卷积神经网络,利用其全连接层将不同视角的特征映射到与视角无关的高维空间,形成空间特征,继而联合时间等级池化及傅里叶时间金字塔进行视频的时间信息建模,最后融合时空信息进行行为识别。实验表明,所提出的时空联合行为识别模型在提高多视角行为识别精度的同时,具有鲁棒的泛化能力。其次,基于人体骨架序列数据,针对骨架不同关节的关系,提出一种基于关节子组的时空特征提取方式,并利用K-means聚类以及局部聚合描述符(Vector of Locally Aggregated Descriptors,VLAD)算法对局部时空特征进行聚合,进而形成全局时空特征,最后联合最优边界分配机实现具体行为的分类识别。实验表明,所提模型在保证人体行为识别精度的同时,拥有良好的实时性。