随着计算机技术的进步,人机交互技术也在快速的发展,部分人机交互逐渐由真实的键盘操控转变为虚拟按键触控,虚拟键盘的出现正是虚拟按键触控最好的应用案例。目前虚拟键盘多采用彩色摄像头配合激光器的硬件方案,但这种方案存在着触控方式受限、指尖检测率低、交互方式单一等问题。而深度信息能够解决背景干扰的问题,深度学习在图像检测方面的能力也十分的出众,能满足系统的需求。本文将深度信息和深度学习相结合,创新并实现了一种设备简单、抗干扰能力强、触控操作丰富的虚拟按键指尖交互技术解决方案。本文主要工作内容如下:（1）针对外部环境对虚拟键盘有较大影响的问题,本文利用深度相机搭建了虚拟键盘触控系统,该系统对比于传统的虚拟键盘方案减少了设备的复杂度。针对计算机视觉受光照影响导致指尖位置提取不精确的问题,本文在虚拟按键指尖触控中加入了深度信息,利用飞行时间法（Time Of Flight,TOF）得到指尖和桌面背景的距离,使用计算后得出的深度差值,最终提出了新的虚拟键盘触控方案,解决了传统判定方法所具有的局限性。本文在创新的触控方案中加入了隔空的无实物键盘输入,它简化了可视化键盘的复杂度,对可视化键盘的稳定性有一定的提升。（2）针对传统方式手势不易检测的问题,本文在虚拟键盘领域中利用YOLO v3（You Only Look Once v3）深度学习网络来对指尖的位置进行检测和跟踪。创建了基于本系统实验环境的手部图像数据集,并在送入网络前对数据集进行了数据增强。在网络结构上也进行了多尺度改变,增强了小物体的检测能力,使得检测小目标的能力有了一定的提升,在本文的数据集上进行测试,综合检测率提升了2.94%。在指尖检测的同时,本文同时对虚拟按键进行识别、跟踪。当虚拟键盘发生移动的情况下,可以及时的识别挪动后键盘的位置。（3）针对键盘操控的局限性,本文在系统中还融入了隔空手势控制的操作方式,隔空手势设置了四个基本功能,可以利用手势进行撤销、删除、清空、关闭摄像头的操作。该方法简化了操作方式同时也简化了键盘按键的数量,可以通过隔空的手势进行人机交互。相对于传统固定按键位置的方法,本文的系统更加的灵活。最终对虚拟键盘进行了按键点击触控实验和连续点击触控实验,识别正确率分别为97.13%和93.33%。对无实物隔空键盘进行了同样的测试,识别正确率分别为99.00%和96.25%。本文系统平均的每秒传输帧数（Frames Per Second,FPS）到了33,满足了使用的流畅性。最后对目前已有的方法进行了比较,并在不同的环境下进行了操作实验,验证了本文系统的有效性。