论文部分内容阅读
视觉在人际交流中的重要作用日益凸显。然而,在视觉缺失或者免视环境中,听觉则成为一个重要的交流途径。人类拥有独特、复杂并且相当强大的听觉系统。人类的听觉系统能够处理一些不寻常的识别任务,例如:检测声音源、说话内容、音乐、甚至能够在噪音中识别和区分出不同的声音。这些是人类的听觉系统可以很容易完成而现代计算机所无法企及的。在以往的研究和实践中不乏将声音应用到行人导航系统中以便在免视环境中为行人提供服务的尝试。为此,语音接口被引入到辅助系统中,以方便将用户周围的环境信息传递给用户。尽管基于语音的听觉反馈机制在这些系统中使用方便且被广泛应用,但是这种机制的反应速度慢、依赖于语言,并且即使表达简单的事情也很耗时。因此,近年来人们已认识到应将移动辅助系统的研究焦点从纯语音转向非语音的听觉反馈。非语音听觉反馈已经成功地应用在用户熟悉或者不熟悉的环境中的道路搜索系统中,以方便用户在免视环境中进行服务操作。它可以帮助用户感知当前的周围环境以便做出正确的选择(例如避免路障或者危险物等),指引用户到达目的地。另外,如果用户迷路了,在行人导航中的非语音听觉反馈可以帮助用户重新定向,确定其前往目的地的线路。 近年来,计算机以及移动技术发展迅速使得实时地生成和修改非语言的声音成为可能。因此,目前从技术上已有条件支持我们开发非言语声音的用户实时辅助系统,指引用户沿着既定路线到达目的地。然而,人类听力系统的局限性,以及有时候非言语声音的迅速变化,都可能会影响或者错失重要信息的传达而使用户感到烦躁或者困惑。为避免这种情况的出现,要注意以下三点。第一,确保需要提供给用户的声化数据的稳定性;第二,确保数据与非言语声音的一致性;第三,每一个非言语声音都需要一个训练期,使用户熟悉非言语声音,并且能够准确的将声音与其代表的数据或者事件联系起来。 按照行文顺序,本文的具体研究贡献如下: 1.本文提出了一种用于在免视环境下以非言语声音表示距离和方向进行户外行人导航的新方法。该方法可以帮助用户在道路寻找以及行人导航过程中确定兴趣点的方向和区域。该方法基于前进方向和距离的分类,其中前进方向是用基本方向(东、南、西、北)表示而不是以自我为中心的视觉方向(例如:右、左、前方)表示;在距离分类中,我们从用户的开始位置到目标位置引入了四个多重区域。前进方向和距离信息能够和非言语声音同时传送。 2.提出了一种新的可听化方法(例如:earcons,spearcons,short pulses)以便在免视环境中向用户提供听觉反馈。通过简单的训练,用户使用该可听化方法可以很容易并且完全理解户外行人导航系统提供的环境信息。利用组内设计方法,15个受试者参与了本研究并且评价了新开发的earcons,spearcons以及shortpulse方法在行人导航中表达距离和方向定位的效果。实验结果显示,这一通过非语言系统向用户传递距离和方向信息的新方法是有效的。本文提出的在行人导航中的可听化方法将有助于在未来的移动辅助系统和应用中创建新的听觉反馈机制。 3.尽管越来越多的人知晓视障人群可使用听觉接口来感知其周围的移动事物,但是设计者在为听觉界面创建声音时仍然面临一些挑战。在本文中,我们提出了一种基于用户行走频度和声音重复的新的混合听觉反馈方法,该方法将频繁使用的言语指令转换成非言语形式。利用组内设计方法,我们寻找了12位盲人参与者在室内环境中使用移动辅助系统来测试本文所提方法。实验结果显示,基于混合的听觉反馈方法比仅仅使用重复言语的方式更有效,并且参与者也感到比较愉快。另外,该系统可以提高用户的体验。同时,实验结果对于研究者在设计辅助产品和系统时,使用混合听觉反馈方法而不是仅仅使用言语反馈或者不使用言语反馈的机制或许会有些帮助。 4.我们为免视环境下的行人导航系统引入了新的非语音音频(例如,英文spearcons和中文spearcons)来表示距离、前进方向。采用组内设计的方式,邀请了10位实验者(均为中国人)进行实地测验来评估英文spearcons、中文spearcons和中文TTS。实验结果表明,只需很少的训练,用户就能很快接受中文spearcons,并且比使用中文TTS能够更加有效、用时更少地将用户导航至目的地。另外,我们也研究了spearcons语言(例如,英文和中文)的差异对于距离和方向信息对中国人在行人导航中的有效传达的影响。最后,本文的发现能够帮助研究人员和从业人员使用spearcons为中国人设计行人导航。总体上,我们发现实验结果非常令人鼓舞,并相信使用非语音的听觉反馈对于周边环境信息传达问题的解决迈出了重大的一步。另外,本文方法的概念验证实现初步表明:系统实际上具有在不给用户增加额外负担的前提下辅助用户的潜能。