手语（手势）识别是人机交互研究的一个重要的子课题,该课题不仅能帮助聋人群体更好的交流,还能极大的促进人机交互领域的发展。结合sEMG传感器和惯性测量单元的便携可穿戴设备的手语识别方式,获得了众多学者的关注和研究。本文针对这种手语识别中存在的困难,提出定位-标记模型进行数据库的构建,并针对手语数据的多样性问题提出数据增强方案,以增加训练模型的鲁棒性,最后提出识别-验证机制改进在线手语识别过程。本文首先通过MYO手环构建由sEMG和惯性信号组成的手语数据库。在此过程中,需要解决定位和标注过程中的困难,本文构建了一种定位-标注模型,并采用迁移学习的方法,对模型进行训练,以优化模型的定位和标记性能。为了解决手语数据多样性对系统的不利影响,提出了一种基于时间不变性的随机核心提取法进行数据扩增,并通过改进GAN模型进行数据生成,以提高手语数据库中样本的时间和空间饱和度,保证手语识别系统的鲁棒性。在复杂的在线识别场景下,传统的分段-识别机制存在严重的低鲁棒性问题,本研究提出识别-验证机制对此进行改进,该机制主要由滑动窗、分类模型和验证模型组成。滑动窗将拉取的在线数据送入识别模型和验证模型,识别模型使用VGG架构的CNN对传入的数据进行分类,验证模型使用孪生神经网络验证识别结果的准确性。在本文的优化实验部分,首先对识别模型的网络层组成、有无自适应池化层、激活函数的选择以及是否使用批标准化进行优化,之后就验证模型的损失函数、模型初始化和批量大小进行优化实验,最后将优化的识别-验证机制和传统的分段-识别机制进行对比,实验表明,识别-验证机制在在线识别中的表现要远胜于分段-识别机制。本文针对基于sEMG和惯性信息融合的手语识别系统,对其中涉及的关键问题进行研究。首先通过MYO手环构建手语数据库,并针对此过程中的定位和标注问题,构建出一种高精确度定位-标注模型。之后为了增加数据库的时空饱和度和防止模型过拟合,提出了基于时间迁移不变性的随机核心提取法进行手语数据扩增,并改进GAN进行手语数据生成。最后针对在线识别问题,提出了识别-验证机制,并对其关键参数和成分进行优化,相对于分段-识别机制极大地提高了在线识别模型的准确度和鲁棒性。