20世纪60年代以来,虽然效度研究一直是语言测试与评估研究的热点之一,但围绕外语考试,尤其是德语考试中听力理解测试的效度分析却屈指可数,究其原因,离不开听力过程难于测量的特性及效度这一概念的复杂性。本研究从交际语言测试角度出发,立足于美国语言测试专家Cyril J.Weir的语言测试效度分析理论,运用Weir提出的社会-认知测试效度验证框架,对德语专业四级考试(PGG:Prufung fur Gerrmanistik Grundstudium)中听力理解部分进行效度验证分析。测试效度指测试结果所能代表考生能力的精确程度,在Weir的效度验证框架中,效度被划分为五个维度,即情景效度、认知效度、评分效度、后果效度和校标关联效度。本研究选取2013至2017年共计五年的PGG听力理解的试题和测试结果为研究对象,对其情景效度、认知效度和评分效度三个维度进行分析,主要探讨验证以下问题:(1)听力理解能力是怎样在PGG听力理解测试中被定义且被测试的?(2)PGG考试听力理解测试试题及测试成绩的效度如何?在多大程度上能代表被测试者的德语听力理解能力?情景效度验证分析了测试内容的覆盖度,综合《德语专业四级考试大纲》及《高等学校德语专业德语本科教学大纲》的要求,对测试的任务设计、任务要求与听力录音进行分析。分析结果显示:1.PGG听力理解测试基本达到了《考试大纲》中的测试目的及要求,较为全面的考查了考生对德语语言基本知识及技能的掌握和运用,并检测了其综合运用各项技能进行初步交际的能力;2.PGG试题选材与各项试题设计均符合《考试大纲》的要求,且较好的规避了可能造成测试偏差的不稳定因素,如文化因素或背景知识因素等。3.PGG听力材料的语速及篇幅长短不一,《考试大纲》并未对其进行明确的限定,此外,《考试大纲》中对考生应达到的听力理解能力也并未做出具体说明,这使得测试者在制定试题的过程中缺乏统一的标准。认知效度主要验证考生在答题过程中所经历的语言加工过程是否与其在真实语言环境中的过程相同。此部分的分析结合John Field提出的听力理解认知过程模型进行。通过对听力录音、测试方法及试题的分析,可以验证:1.PGG听力理解测试的听力录音具备较高的可靠性。虽然由于技术原因,无法实现测试语境与真实交际语境的百分百还原,但通过一些测试方法,如试题说明及小标题的运用,在很大程度上弥补了语言测试中这一普遍存在的缺陷;2.PGG听力测试设置了单项选择和正误判断两种题型,这种设置能够全面测试Field提出的听力理解认知过程的五个层面,使听力理解测试具有较高的认知效度。3.为了控制听力录音的清晰度及难易度,PGG考试听力录音虽选材于德语真实语境,但均对其进行重新录音处理,这造成了部分对话中背景音的缺失,对听力录音的真实性造成了一定影响。对评分效度的分析结合了统计学软件SPSS进行。首先,对每年测试的得分情况进行了统计学描述并计算各项参数,如平均数、标准差、及斜率和曲率等。结果显示,这五年的听力测试得分结果均符合正态分布规律。其次,通过计算科隆巴赫系数验证了每年听力试题的内部一致性,即信度分析。分析数据显示,除2014年外,其余四年试题的Cronbach’s α系数均在0.7以上,具有可接受的信度。最后对2013至2017年每道听力试题的难度、区分度进行验证,并对一些信度、区分度较差的试题进行具体分析。通过对听力测试得分的计算及各项参数的分析,可以看出,大部分PGG听力试题符合区分度要求且具备较高的信度系数,而对于信度较差的试题,问题主要在于其试题设定过于简单或考察面过于单一。综上所述,本文是对德语专业四级考试听力理解部分的定性、定量分析,验证了 PGG听力理解测试的情景效度、认知效度和评分效度,通过分析可以得出以下结论:首先,PGG听力理解测试具有较好的效度,即PGG听力成绩能够代表考生的听力理解能力;其次,PGG听力在听力录音、试题设计及《考试大纲》中仍存在问题,需加以修改;最后,通过本研究也表明,针对国内德语专业测试的研究尚存不足,仍有很大的研究空间。