论文部分内容阅读
随着物联网技术的不断成熟,以及数字化技术在日常家居生活中的应用越来越广泛,智能家居产业也得到了快速发展。但家电多样化功能与人的互动方式的割裂,大大增加了人机交互的复杂度。如何建立一种智能的、自然的家居设备交互管控能力,是智能家居未来发展过程中厄待解决的问题。通过对人机交互中语音识别、语义理解、人脸识别、人体动作分析四个方面进行研究,提出了一种基于多模态深度学习技术的非接触式人机交互应用方法。首先利用家电场景中的图像和语音数据,建立一种多模态深度神经网络结构提取语音、人脸、手势和人体动作特征,并分别生成用于人机交互的表述模型,并进一步融合到智能家电应用流程中,通过不断优化和学习,实现了人与家电的非接触式交互,促进了自然便捷的智慧家居人机交互模式。