A Study of Rater Reliability in Achievement Test

来源 :吉林大学 | 被引量 : 0次 | 上传用户:hc_z
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
测试信度也叫测试的可靠性,指的是测试结果是否稳定可靠。测试学中,信度是试卷的重要质量标准之一。信度理论在许多领域中都体现了它不可忽视的作用。一个具有良好信度的测验,使用在不同的主试者,评分者,时间,场合,其所得的分数应该一致或接近相同。一般而言,分数越一致,受误差的影响就越小,信度就越高。当参试者的能力需要被阅卷员根据主观性试题来评价时,如作文题,翻译题,误差可能会出现。阅卷员信度所关心的是测验分数的一致性和稳定性。阅卷员信度是信度的一部分,主要衡量的是阅卷员评分的内部一致性,包括阅卷员的内信度和阅卷员的间信度。阅卷员的内信度是指同一阅卷员在不同时间阅同一份试卷前后两次的相关,而阅卷员间信度是指不同阅卷员在相同或不同时间阅同一份卷子卷前后两次的相关。阅卷员内信度和间信度是阅卷员信度的两个方面,没有它们,试卷信度就不能保证,而没有了试卷信度,试卷的效度自然也无从谈起。没有效度的考试是无意义的。有效度的考试才会给教学带来积极的反拨作用,从而提高教学质量。从系统科学的角度看,测验是一个完整的系统,命题,施测,评分,分析与解释测验结果,都是测验的有机组成部分。一套试题不论在出题和考试组织这两方面做得如何完美,如果阅卷过程出现失误,就会前功尽弃。所以评卷员的信度问题在测试流程中是非常重要的,值得进行深入的探讨研究。  大多数信度的研究主要针对于大型标准化考试,如托福,英语的四六级,针对于学业成绩测试的比较少。而对学业测试中阅卷员信度的研究更少。学业成绩测试中的阅卷员信度为测试效度提供充分条件,从而有助于教师了解教与学的情况,有助于改进教与学。如果因阅卷信度低而使学生的真实水平不能得到真实的反映,学生便会失去积极性,也使教学无法改进,测试也就失去了它的意义。因此研究学业成绩测试中的阅卷员信度是十分必要的。  本文以阅卷员信度理论为基础,采用复评和访谈的试验方式,选择吉林大学大一新生的期末考试作为研究资料,针对期末考试中试卷的主观翻译题来做研究。9个老师参与到试验中。通过前后两次分数的比较,来分析阅卷员的内信度和间信度。通过实验和研究,老师们可能会意识到阅卷员信度的重要性,最终找到提高信度的适当的方法。  基于对信度理论的研究,笔者提出了一个实验假设:阅卷员信度在没有详细评分标准的评阅下,信度不会很理想。笔者用相关系数和克龙巴赫a作为衡量标准。相关系数及a系数越高,信度也自然越高。本文通过折线图的方式,将同一阅卷员阅两次相同试卷的情况和不同阅卷员阅相同试卷情况一一阐述和分析。折线图中两条折现的重合情况很不理想,在英译汉中最多相差竟达到3分(总分9分)。就内信度来讲,同一阅卷员在两次评分中标准有波动,不稳定。两次评阅的分数大多数都不重合,从间信度来讲,两个阅卷员对一份试卷给出的分数也大不相同。折线图通过对复评分数的分析,笔者得出最终结论,阅卷员信度的相关系数不高,不能准确反应学生的真实情况,亦不能为教学提供积极的反拨效应。通过分析样本得到阅卷员前后的不一致由几个方面导致,没有详细的评分标准是其中一个。  基于阅卷员信度在学业成绩测试中的重要作用,设计详细的评分标准以规约批阅主观试题的阅卷员的行为势在必行。
其他文献
播种是夺取棉花优质高效,实现一播全苗,壮苗早发,高产稳产的基础环节,下面为广大棉农科学植棉提出几项播种技术。一、种子处理1、选种。着种选择早熟品种,充实饱满的种子,是
迷信的说法,今年不适宜结婚,具体为什么,咱们不去深究,我想说的是虽然有各种说法说今年不宜结婚,但依然不能阻挡新人们办喜事的热情,这一点小编深有感触。不说别的,就今年小
期刊
《公共建筑节能设计标准》根据《中华人民共和国住房和城乡建设部公告》第739号,住房和城乡建设部批准《公共建筑节能设计标准》为国家标准,编号为GB50189-2015,自2015年10月
近年来,当代教学论一致认为英语教学的实质是交际,但是目前大学生交际能力的缺乏已成为普遍现象。如何培养学生的交际能力受到越来越多教师与学者的重视。在中国,英语课堂是学生
本文依据钱钟书的“化境”论剖析和研究了珍妮·凯丽和矛国权合译的《围城》英译本。《围城》被称为一部文体小说,修辞格繁富,文化韵味浓厚。“化境”说一直被誉为文学翻译的最
现如今的家用电器更新是一天比一天快,新技术层出不穷,这都有赖于科技的日新月异。面对令人眼花缭乱的电器产品,可难坏了消费者,要想走在科技发展的前头,踏在潮流的风口浪尖
期刊
作为语篇分析的方法之一,批评性语篇分析是语言研究界中一个较新的领域.它旨在研究意识形态对语篇的影响、语篇对意识形态的反作用、以及意识形态和语篇如何源于社会结构和权
不论在西方还是在中国归化异化间的争论由来已久,各翻译家各抒己见,这两个翻译策略似乎很难协调。功能主义认为任何翻译行为都由它的目的所决定,所以把目的论定位任何翻译的最高
学位
新飞客人眼眶湿润了党委郭宏书记说:“因为缺水,她家里没办法搞庭院经济,只能靠天吃饭,为了谋生她老汉和两个儿女靠常年在外边打工糊口,没有经济条件翻盖窑洞。一到刮风下雨