智能设备的普及,让人们越来越感受到语音交互的便利。作为一种非常自然的人机交互方法,自动语音识别自二十世纪七十年代以来一直是机器学习领域的研究热点。近些年来,深度学习的快速发展使得语音识别任务取得了重大突破,端到端语音识别相比传统语音识别,由于其训练流程简洁、易于部署等优点而备受青睐,成为研究的热点。但是端到端语音识别仍面临众多挑战,一直在提升模型准确率和推理速度的道路上慢慢前行。本文主要围绕目前端到端语音识别中存在的问题进行研究。首先,目前大多数基于Transformer的端到端语音识别方法大多利用位置编码来获取序列之间的关系,没有考虑位置信息随着网络层数的加深而逐渐减弱,导致模型难以获得足够的序列间相关信息。其次,在语音识别领域,近几年的方法大多数通过堆叠模型的层数或者组合各种不同的模型结构来提升模型的识别准确率,会导致模型参数急剧增加以及推理速度下降等问题。最后,一些端到端语音识别方法存在在复杂的真实环境中表现较差以及难以进行模型迭代优化等问题。面对以上问题,本文围绕如何提升端到端语音识别模型的性能和鲁棒性展开研究,主要工作如下:（1）鉴于Transformer模型多头自注意力机制对输入序列的位置信息不敏感,以及注意力机制灵活的对齐方式在面对带噪语音时泛化性能较差,会出现长尾现象。首先提出TCN-Transformer模型,构建特定的时序卷积神经网络来加强神经网络模型对位置信息的捕捉。其次,利用连接性时序分类的强制对齐机制加快模型训练收敛速度以及提升模型鲁棒性,进一步提出TCN-Transformer-CTC模型。在不同数据集上的实验结果表明,所提出的TCN-Transformer-CTC模型相比基线模型有着相对10%到20%的字错率下降,具有一定的先进性和泛化能力。（2）鉴于通过大量模型层次的堆叠以及不同模型结构的组合会导致模型参数量急剧上升、有效参数占比低以及模型推理速度降低,自回归解码方式相比非自回归解码方式会降低解码速度,并且无法使用序列的全局信息等问题。本文提出使用中间层损失优化的端到端语音识别方法。首先在基于改进的Transformer以及Conformer模型训练框架的基础上增加中间层损失函数,这种中间层损失很好地规范了底层参数的训练,提高了模型性能。其次,采用n-best重打分非自回归解码方式,即使用CTC解码结果n-best输入到attention进行加权重打分,得到最后的解码结果,进一步提升了准确率,还加快了模型推理速度。在开源语料库上大量的消融实验和对比实验结果表明,所提出的方法可以进一步降低模型字错率和提高模型推理速度,在准确率上可以和最先进的语音识别系统相媲美。（3）鉴于一些端到端语音识别方法存在无法投入使用、在真实环境中表现较差以及难以进行模型迭代优化等问题,本文对所提出的方法进行验证和应用,设计并实现了一个端到端语音识别开放系统。该系统主要功能包括在线语音识别、离线语音识别、以及一系列相关任务,例如语音对话助手和语音合成等。并且,为了方便模型迭代优化,本文将系统设计成分布式应用,系统后台具有可视化数据存储和转写日志记录等功能。综上所述,本文提出两种可行的语音识别方法,有效的缓解了基于注意力模型“位置信息建模能力不足”、“语音识别长尾现象”、“提升性能伴随着模型参数量急剧上升”等问题。最后,基于本文所提出的方法,设计并实现了一个语音识别开放系统。