虚拟现实是当今最流行的计算机技术之一,在军事、教育、娱乐等领域都有广泛的应用。虚拟现实的目标是在虚拟环境中还原人对现实环境的视觉、听觉、触觉等感知。在诸多感觉中,通过听觉获得的声音信息占了人从环境中感知的信息总量的15%,仅次于视觉。因此,在虚拟环境中真实地还原声音可以有效地提升场景的真实感和用户的沉浸感。然而,声音的产生机理复杂,数字化建模难度较大,传统应用通常使用单调的录制音构建声音环境。随着基于物理的声音合成技术的发展,在计算机中还原现实世界的声音逐渐流行。本文围绕基于物理的声音合成技术展开研究。主要内容如下:一、目前的声音合成工具仍以音频编辑为主要方法,对基于物理的声音合成技术应用极少,对使用者的经验要求高并且无法动态生成声音。本文针对现有声音合成工具过度依赖人工、真实感弱、效率低等问题,基于模态振动原理和声学气泡原理设计并实现了声音合成套件。套件具有预计算刚体的模态和声学传递函数,并根据碰撞位置和观察位置实时合成刚体声音的功能。套件也具有动态调节气泡的时间,空间以及半径分布并合成不同类型液体声音的功能。本文通过用例测试验证了系统的有效性,说明了套件能达到为虚拟场景增加真实,动态的音效的效果。本文也将套件应用于视听融合的材质识别。二、材质识别是构建虚拟物体模型的重要步骤。现有的材质识别方法大部分基于视觉特征,然而视觉特征往往具有局限性,例如同样的物体可通过对表面进行雕刻,镀层来产生截然不同的视觉效果。物体的听觉特征与材质的力学属性密切相关,这些属性一般不随物体的表面纹理外观的变化而变化,因此引入听觉信息对于材质识别是有益的。本文使用声音合成套件构建了一个新的包含视觉和听觉信息的数据集GLAudio,并在数据集中引入了局部几何数据和细粒度材质标签。基于GLAudio数据集,本文设计了一个融合视觉和听觉信息推断材质信息的深度神经网络GLAVNet。本文在网络中引入了局部几何输入分支,并为此设计了新的多模态融合模块。本文通过对比实验展示了融合物体的全局和局部几何信息可提高材质识别的准确率。本文也证实了GLAVNet可以完成对现有工作来说很困难的细粒度材质识别任务。