基于手势理解的UR机器人视觉引导与控制方法研究

来源 :中国科学院长春光学精密机械与物理研究所 | 被引量 : 0次 | 上传用户:dingchao0907
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器人技术在工业制造、军事作战和医疗领域中的广泛应用,人与机器人的交互方式更多地向着“以人为主体”的方向发展。依赖鼠标、键盘、操作面板等硬件设备的传统交互方式已经越来越无法满足人们的需要,因此,基于手势理解的控制方式已逐步发展为实现自然人机交互的新趋势。本文的主要研究内容是基于手势理解的UR机器人视觉引导与控制方法,对手势识别方法、手势跟踪方法、UR机器人远程控制方法进行了详细的阐述和验证,并建立了基于手势识别与跟踪的人机交互系统,实现了对机械臂末端运动的视觉引导控制。在手势识别方面,提出了结合肤色分割和Viola-Jones算法的识别方法,先对输入图像应用肤色分割模块去除背景中大部分非肤色区域,再由Viola-Jones算法离线训练的手势目标检测器完成识别。在肤色分割模块,在YCb Cr色彩空间中建立肤色模型,实现待检测图像中肤色区域与背景的分割,然后通过形态学滤波操作去除噪声的干扰;应用Viola-Jones算法时,采用Haar特征、积分图策略以及级联结构来训练识别三种目标手势的检测器。通过本文的识别方法与传统检测器对于三种手势识别效果的对比试验,结果表明本文提出的方法对手势识别较为理想,满足人机交互系统的要求。在手势跟踪方面,结合改进的Shi-Tomasi特征点提取算法与融合KLT跟踪算法和Kalman滤波器所构造的双模块跟踪器完成手势跟踪。通过改进的ShiTomasi算法,剔除未分布在手势目标上以及对噪声敏感的特征点,将可靠稳定的特征点送入跟踪器,由跟踪器中的KLT模块匹配特征点进而实现对手势目标的定位。特征点丢失时,启动跟踪器中的Kalman滤波模块预测手势位置,缩小检测器的检测范围,从而实现高效检测与连续跟踪,解决了由于发生遮挡或重叠而导致的跟踪失败、跟踪引导信号不连续问题。在UR机器人远程控制方面,深入剖析了UR机器人的运动控制机制,设计了一种UR机器人的远程运动控制方法。通过MATLAB平台验证该方法,使UR机器人末端实现了正弦轨迹跟踪,并且完成了对机器人的状态监控,验证了本方法的正确性和有效性。最后在上述研究基础上,将手势检测、手势跟踪与机器人远程控制方法相结合,应用到机器人视觉控制引导系统中,建立了一个以用户手势为输入的人机交互系统,通过对手势的识别与跟踪来控制机械臂运动,从而实现了操作者与UR机械臂平台的实时、友好交互,实现了基于手势理解的UR机器人视觉引导控制。
其他文献
卫生监督执法单位加强职工思想政治工作,有助于推动执法规范化,形成高效、优质的执法体系。职工应做到转变理念、法治为本,积极探索、务实求新,重视群众、积极回应。卫生监督
目的:分析^13C-尿素呼气试验(^13C-UBT)在有上消化道症状患者的临床应用价值。方法:50名患者被纳入研究。每个患者都接受了^13C-UBT检测,随后行胃镜检查和黏膜活检,以快速尿
目的:探讨肉桂粉敷贴涌泉穴联合耳穴治疗老年性失眠的临床疗效。方法:收治老年失眠患者173例,随机分为耳穴组60例,敷贴组57例及联合组56例。耳穴组予以交替耳穴压豆治疗;敷贴
环状RNA是一类稳定且广泛存在于真核细胞生物中的闭合环状RNA。环状RNA与动脉粥样硬化、心肌病、心力衰竭、心脏衰老等有关。深入研究环状RNA的功能及作用机制可以为预防、诊
随着多源成像传感器技术的不断发展,单源的成像设备难以满足实际工程的要求。将多源传感器应用在无人机上,需要高质量的图像做保证。因此红外图像和可见光图像的配准和融合技术是近年来研究的热点,选用合适的配准和融合技术在无人机上,可以达到高效和高精度的图像数据传输,改善无人机在军事、民用领域的作用。本文针对以上问题,研究了红外图像和可见光图像的配准算法和融合算法。主要研究内容如下:(1)对国内外配准和融合技
针对聚酯技术国产化中的设备国产化问题,讨论了目前国内的技术和装备现状,分析了从规范(标准)建设、科研设计实力、制造厂的能力现状到检验安装的一系列问题。认为:国内设备设计、
针对短波突发通信中的频偏估计问题,结合信号传输的时限性以及低信噪比的信道特点,提出一种基于离散傅里叶变换( DFT)的频偏估计算法。该方法首先利用非补零的DFT获取粗估计结果;
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield