论文部分内容阅读
在复杂动态的家庭环境下,服务机器人对任务的理解能力是其能否真正理解用户需求,从而提供智能化服务的重要保障。目前服务任务理解大多采用对任务文本关键信息提取的方法,但是用户任务通常包含信息较少,机器人只能理解到浅层语义,不能将任务中的关键信息与真实环境中物品相对应,导致其无法顺利完成服务任务。因此,为了使机器人对服务任务有更深层次的理解,本文以家庭环境为应用背景,提出一种基于环境认知的机器人服务任务深层语义获取机制。运用图像处理、本体技术以及自然语言理解等理论知识,对环境认知进行研究,得到关于场景和物品的语义知识,以此为先验知识对任务文本浅层语义进行补充,从而获取服务任务的深层语义信息,以提高机器人任务执行的智能化水平。主要完成如下工作:首先,基于视觉准确而全面地提取了家庭环境语义知识,作为任务理解的知识源,能够为任务理解提供物品所在场景、物品特征以及与其它物品的位置关系等深层语义信息。在已知物品所在家庭场景的基础上,能够有效缩小机器人搜寻物品的范围,提高服务效率,本文通过卷积神经网络与多尺度编码相结合的算法获取场景类别信息;物品的特征以及与其它物品的位置关系能够辅助机器人确定目标物品在环境中的具体位置,本文采用基于迁移学习的FCLN网络提取物品的种类、外观特征以及物品间的位置关系等语义信息。其次,构建服务环境语义本体知识库,将已提取的语义信息进行结构化的、关联式的表征,解决了机器人无法理解与使用从环境中直接提取的异构孤立语义信息的问题,实现了语义知识的高效存储、管理和使用。首先采用语义解析器将环境语义信息解析成结构化的形式,进而可以直接存入本体知识库,然后通过语义推理,挖掘隐藏知识,扩展知识库,同时实现对知识库的检索和修改,为机器人在任务理解阶段对数据的操作提供接口。再次,提出一种基于环境语义本体知识库获取服务任务深层语义的机制,解决了用户任务语义缺失问题,在准确解析任务文本中的目标物品、服务动作等表层信息的基础上,实现从本体知识库中匹配获取目标物品所在场景、物品特征等深层语义,从而为任务规划与执行提供必须的语义知识。首先基于改进DB-LSTM进行任务浅层语义解析,提高浅层语义解析的准确率,在此基础上,以环境认知结果作为知识源,通过查询匹配,从本体知识库中获取更多任务执行所需要的环境语义知识。最后,验证任务深层语义获取机制在机器人任务规划与执行中的有效性。将本文提出的方法加载到实验室已建立的3D实验平台上,结合平台任务规划与执行模块,对机器人典型任务进行规划与执行,证明本文方法能有效提高机器人任务执行的智能化水平。