语言是人与人之间最自然,最直接的沟通方式,特别在思想疏通和情感交流方面,语言交流是最有效率的。然而,对于听力障碍者,尤其是先天性和儿童听力障碍者,听觉功能丧失导致他们无法与普通人进行语言交流,虽然有电子听力辅助设备和手语的存在,但是由于各自的局限性,无法广泛地应用,久而久之,这些听力障碍者会感到被社会所孤立。所以,本文以语音信号可视化技术为背景,设计一个面向所有听力障碍者,尤其是先天性和儿童听力障碍者的听力补偿系统,利用功能正常的视觉代替听觉,使他们通过训练后能够理解图像所代表的语音内容,让这些听力障碍者可以“看”见声音。论文针对先天性和儿童听力障碍者学习能力偏弱的情况,使用基于声母和韵母的语音识别技术,建立可视化的听觉补偿系统。传统语音识别技术以汉字为单位,而学习能力较弱的先天性和儿童听力障碍者无法学习数量庞大的汉字,所以本文创新性地使用数量少,简单易学的声母和韵母代替汉字作为听觉补偿系统中的识别和显示单元,并利用色彩编码技术为听力障碍者呈现更多的语音细节。本文主要工作包括以下四个部分:(1)研究声母和韵母的分割算法。汉语音节除少数单韵母音节外,全部由声母和韵母构成,在进行基于声母和韵母的语音识别前,必须先将音节中的声母和韵母分割开。本文采用主体-延伸基音检测法,实现声母和韵母的分割。(2)建立听力补偿系统的识别模块。本文引入声母预选机制,提高声母识别的准确率,然后改进DTW算法,使其能够在低信噪比环境下具有更好的适应性,对声母和韵母进行识别。经过验证,改进后的算法对韵母有较高的识别率,声母稍差,但是总体上能够达到实验要求。(3)引入色彩编码技术。语言交流不仅包含文字内容,还包括说话者的情绪,节奏快慢,音响等语音细节。利用色彩编码技术,使不同的声母和韵母呈现对应的颜色,让听力障碍者在看到颜色后,不仅能够通过辨识出的声母和韵母了解语音的内容,还可以通过色彩的形状获得语音的细节。(4)最后,基于MATLAB平台设计听力补偿系统,实现上述功能,经过实验,系统可以良好运行,能够达到听觉补偿的目的。