汉语言认知是认知神经科学领域中的重要分支。目前,针对多音字的研究还比较少,其认知机制还尚不清楚。因此,本研究的主要工作是采用具有高时间分辨率的事件相关电位(Event-Related Potential,ERP)和具有较高空间分辨率的功能近红外光谱成像(Functional Near Infrared Spectroscopy,NIRS)技术,在多模态连续语境下探索多音字语音和语义信息的认知机制。刺激材料以多音字作为句尾关键字,在正式实验时汉字和发音同时呈现出来。根据发音与汉字以及语境的匹配关系,将刺激材料分为四种,即发音正确且与语境匹配(P+M+),发音正确但与语境不匹配(P+M-),发音错误但与语境匹配(P-M+),发音错误且与语境不匹配(P-M-)。ERP实验结果发现,关键字诱发了P200、N400及晚期正成分,其中P200的振幅在P+M+条件下最大、在P+M-条件下最小,表明P200的振幅差异与早期阶段语音信息的处理相关;N400的振幅在四种条件(P+M+,P+M-,P-M+,P-M-)下依次增大,表明N400与语义信息的监测和处理相关;此外,晚期加工成分的出现可能反映了当视听觉信息不一致时,大脑对语音、语义等信息进行再分析的过程。从NIRS实验结果中发现,当出现与预期关键字不一致的多音字时,含氧血红蛋白浓度上升、去氧血红蛋白浓度下降,激活脑区主要集中在左侧额下回、颞中回以及右侧额下回,这与ERP地形图结果保持一致。综上所述,本研究通过ERP和NIRS两种方法,分别从时间和空间维度揭示了多音字在连续语境下语音和语义的认知机制,发现字音特征对汉字认知有着重要影响,且两种方法揭示的认知机制在时间与空间上基本一致。