论文部分内容阅读
英语教师测评素养提升的内容与方式
林敦来:在讨论如何对教师的测评素养进行培訓之前,我们先探讨教师测评素养培养存在哪些困难。
就职前来说,我跟大家汇报一下我的一项调查。
2012年我通过网页和邮件调查国内师范大学语言测试与评价课程开设情况。调研到的69所学院均有师范类本科生,其中35所学院培养课程与教学论(英语)专业学位研究生,即教育硕士。本科开设语言测试课程的有48所,占调查总数的69.6%。其中7所为必修课,占开设课程的14.6%,占被调研学院的10.1%。教育硕士项目数为35个,占被调研学院的50.7%。开设语言测试课程的为23个,占65.7%。必修课16个,占开设学院的69.6%,占所有教育硕士项目的45.7%。从这个数据来看,师范院校对职前教师的语言测评素养培养重视不够。
龙祖元:测试结果一般都体现为数据,如何解读这些数字呢?作为一线教师,我有些困惑。
林敦来:语言教师对数据貌似有天生的恐惧感。上文Popham定义中也提到其实不需要教师去计算,但是对基本数据要有较好的理解。陈老师也提到了利用软件简单整理数据的能力(excel等)和解读数据的能力。确实数据解读应该成为测评素养培养内容中的一个模块。
朱晓燕:在职前教师的测评素养培养方面,目前越来越多的师范院校都为外语师范生开设了“语言测试”课程,通常2个学分,36学时,教材选用既有国内高等教育出版社出版的邹申著的《简明英语测试教程》(第三版),也有国外原版教材《英语测试》(Heaton)。可喜的是,它已经被越来越多的师范院校纳入外语教师教育的必修课程体系中,与其他教学法课程如“新教师专业发展概论”“外语教学法流派”“英语课标研读”“教材分析与教学设计”“英语教学技能”“二语习得理论”一样;但令人担忧的是,由于认识程度不同和师资水平的问题,造成这门课常常由不太熟悉中小学外语教学的老师授课,在教学方法上偏向学习套用公式的纯知识课,偏重对大规模考试如常模参照性试卷质量(如高考)分析偏多,而较少结合课程标准、教学理论和测试理论原则的能力课,严重忽视学校课堂小规模测试如单元测验、期中和期末考试命题等技能,因此该课程教学质量普遍不容乐观。
林敦来:朱老师谈到的也是我很纠结的问题。语言测评课程的教师也许不太了解一线教学而使得职前教师测试素养培养缺乏针对性和有效性。
朱晓燕:为了帮助老师个体和群体系统地提升测评素养,通过阅读相关专业书和刊物、增强测评理论知识和指导实践的能力尤其必要。在此我强烈推荐6本国内近十年出版的、特别为中小学外语老师撰写的专业书,其中1?3本英语浅显易懂,由国内专业人士撰写中文导读,4?6本是国内测试领域的著名专家撰写。书目清单请见本文附录。
平克虹:认同。我也推荐一些测评专著供大家参考,书目清单请见附录。
林敦来:感谢朱老师和平老师推荐的书单。教师职前语言测评培训先天不足。那么在职教师有没有一些培训呢?平老师能否谈一下在教研活动中语言测评素养的促进举措?
平克虹:建议以县区、学区或学校为单位建立评价测试学习型组织,联系教学和测试评价改革需要的实际学习国家相关文件、学科课程标准以及语言测评理论书籍,了解语言测评的历史发展脉络,关注外语考试改革发展方向。
教师需要简要了解一下语言测评发展的历史脉络:Pre-scientific movement, Psychometric movement, Integrativesociolinguistic movement, Communicative movement—James Dean Brown。
构建一体化的学校英语学业评价体系。各级各类学校可以根据自身基本属性、学制规模等特征,如小学、初级中学、九年一贯制义务教育学校、高级中学、完全中学、十二年一贯制学校等形态,研发一体化的序列性学科课程测试评价体系,以确保本学校在贯彻落实《英语课程标准》所提出的课程培养目标时能够做到终极目标明确、阶段目标清楚、衔接连贯有序、过程扎实有效。
改进传统的单一考试成绩报告单形式,研制学生学科学业评价报告,探索全面科学评价,促进英语学科核心素养发展:可以包括课堂参与表现、课后语言实践(如作业、活动、项目学习、档案袋等)、校本课程、听说考试、笔试等多个维度。
林敦来:大家可以一起来建言献策,就一线教师如何提高测评素养提出一些想法。内容方面和具体做法都可以提出来讨论。
朱晓燕:在职外语教师测评素养的培训方法,对在职教师培训各种课程中,如校本培训、区培、市培、省培和国培,应两条腿走路:
一方面是专家引领,结合实际案例进行反思和讨论,不仅要熟悉课程标准、语言能力等基本知识、二语习得理论、教学法理论,还要结合语言测试相关理论原则组织讨论和内化,比如熟悉英语课程标准的目标理念、分级目标和内容要求等,才能为开展相应的测评提供方向和依据。
另一方面要求老师们结合测评的相关知识,学习解读日常教学中各种测试的结果,并将之应用于课堂决策过程中提高教学效果。促学评价(assessment for learning)、对学习评价(assessment of learning)、以评价作为学习内容(assessment as learning)这些是当前测评模式中常见的三种,这些把评估、学习和教学融合在一起的方式,能促进学生有意义的学习,及时调整和改进教学,极大地拓展了评价的传统意义。
张春青:师范本科生所学的测试知识大多考完就忘了,没感觉。而且学得很少,比如,我们这里的师范生测试课是选修,课时很少。我感觉应该加强在职教师的培训,这时他们有一定的需求了,如果只是讲授,也不会有好的效果,要采用基于课题或项目的培训模式,与教学相结合,才能有的放矢,老师们才能有收获。 柳丽萍:非常赞同张老师的说法,课程讲授有利于师范生了解基本理论概括,更多地应在实践中体会才能有很好驾驭能力。
朱晓燕:还要注意以下三个事项:
(1)针对不同教龄教师的特点,安排培训有针对性的测评知识内容。根据学科教学专门知识(PCK)框架四个要素(语言内容、课程目标、学生困难和教学方法),新老师往往是不熟悉课程目标和不了解学生学习心理过程,对测试操作技能不熟练;而已有一些教龄的老师往往对语言学、教学法最新理论和测试相关理论知识不太熟悉,这些都需要在培训内容中结合实际案例,增强相关测评理论知识的输入、测评手段的多重练习。
(2)特别加强形成性评价的比例。因为基础教育课改的一项重要内容就是提倡形成性评价,加强诊断性评价,因为它可用于课程教学的不同阶段,依据教学大纲和课程教学目标的命题,能密切关注学生学业进步的过程。Bachman在1990年提出“实际上任何考试都有提供诊断信息的潜能,语言测试可以用来诊断学生学习的强项和不足,以便制定合适的教学方式和水平及学习活动。”帮助老师了解诊断性评价的意义方法,学习看懂统计数字,解读诊断信息,根据测试卷的每个题目的统计信息,制订教学计划改变一些教学行为。
(3)尤其要加强教师对考试反拨作用的认识。亓鲁霞(2011)提到,很多研究结果表明,虽然考试对教学的内容和方法有影响,但是教师本身的因素如学历、教学经验、教学理念对教学的影响更大。由于教师因素在教学中起着重要作用,而这其中老师对评价的理解和所使用的评估方法至关重要。考试的反拨作用体现在教学的各个环节和层面:如教学内容、方法、教材编写等。测试素养提供了有利于教育教学管理、课堂教学改进和教师发展的反馈信息,为教师实施高效教学、促进学生学习发挥不可低估作用。
林敦来:同意朱老师的看法。如何获得有益的测评后效也是设计测评项目的重要出发点。
平克虹:测评是实践性很强的专业领域,必须理论学习与实践相结合。重点加强对校本阶段性学业发展测评(progress achievement assessment)的研究。
林敦来:我的建议是采用小组协作学习的方式。如6名有不同教学经验的教师组成团队,共同设计测评计划、实施、讨论、反思、提升。平老师的校本测评计划也是提升教师测评素养的重要途径。
平克虹:要研究依据不同教学阶段、不同教学内容的需要,灵活采用不同测试类型和测试方式,采用不同的试卷结构与题型;重在发挥测评诊断教学、改进教学、激励学生发展的作用;避免形成新的应试模式。
侧重阶段性语言知识、技能要求、话题功能的覆盖面;体现考查内容与学习内容的一致性;选材语言及话题内容要与学生年龄与认知水平、语言能力基本吻合;根据学校测评实际,科学设计主客观题比例,适度增加主观性试题;按照学业测评的性质,规划合理的试题难度;学习借鉴国内外语言学习与考试的研究成果,丰富试卷结构与考试题型。
陈新忠:语言测评素养关键还是在老师的教育观、语言观、学生观。在教学中处理好教、学、评的关系,达到以评促教、以评促学的目的(assessment as learning)。语言测评素养最终还是要落脚到教学上。例如:语篇填空(阅读七选五)主要考查逻辑,老师往往用试题培养学生的逻辑理解能力。在教研工作中,建议教师在阅读教学中关注语篇中的逻辑,并进行相关练习。
朱晓燕:Mckay(2012)提出教师在评价方面的专业知识和技能,一方面固然是来自于职前教育的培训,另一方面来自于在职期间和同事的专业学习与合作。评价过程通常包含三个阶段:(1)设计阶段:教师需要确定评价的目的,明确评价的内容;(2)操作阶段:教师需要准备具体的评价任务,明确指令语和计分方法;(3)管理阶段:教师要关注评价实施的步骤是否运转正常。课堂上采用的一系列评价策略,包括随机性观察、计划性观察、即时评价、建档案袋、自我评价和同伴评价、课堂测验等。
林敦来:我推薦一个老师们可以直接采用的工具。www.assess.com网页上有psychometric这个栏目,其中有一个免费的经典测试理论计算工具,叫做CITAS,该表格可以处理50个学生50道题的数据分析。操作非常方便,适用于课堂测验。老师们可以尝试一下。
平克虹:在编制试卷/命题过程中,以及在考试后评价一份试题时,试题难度总是一个绕不开的问题,如何正确把握实体的难易程度值得每位老师关注。下面一段论述摘自《中国考试》(2017-03-09):
题目的难度(Item Difficulty)是指试题的难易程度,是评价考试非常重要的一个指标。难度值(用P表示)可以用得分率(或通过率)等技术指标来衡量。在实际分析过程中,对于客观题和主观题,难度的操作定义不同。客观题的难度,以正确回答该题的人数占参加测验的总人数的比率来表示,如40%的人答对了某个题目,该题目的难度就是0.4。主观题的难度,以考生在该题上的平均分占满分的比率来表示,如满分60分的作文,考生平均得分42分,则难度为42/60=0.7。当考生人数很多,统计全部考生很困难时,也可以采取一种简便的分组取样法:先把考生按考试得分的高低顺序排列,然后在两极按一定比例分别划出高分组和低分组,再分别计算两极端组考生答对某题的人数百分比或得分比率,最后求它们的平均值。
林敦来:太好了,关于题目难度的说明结合我前面提到的简易软件,老师们可以对自己编写的题目进行质量监控了。
平克虹:题目的难度值的取值范围在0?1之间,当题目难度值为1时,说明100%的考生都答对了该题或者在该题上取得了满分,题目非常容易;当题目难度值为0时,说明没有考生答对题目或得分,题目非常难。可见,难度值与题目的实际难度是一种反序的关系,即P值越大,难度越小。另外,题目难度是具有相对性的具体性的概念。任何一个题目的难度值都是以一定的被试为对象计算出来的,其数值的高低依赖于选取的被试。对于奥数班学生来说很容易的题目,可能对于普通学生来说很难。 柳丽萍:对于难度把握是从测试到教学中的主线之一,在选篇、命题、教学活动的组织中都是非常重要的概念。
平克虹:题目的难度水平多高合适,这主要取决于考试目的、题目形式以及考试的性质。例如,老师在某单元教学之后,要了解学生对所学内容的掌握情况所做的单元测验,几乎每道题都会有很高的通过率,不能因此说这些题目在难度上是不合适的。如果测验的目的是用于选拔,则建议将难度控制在接近录取率左右。例如,要从高中生中选拔15%的人参加奥数竞赛,那些通过率或得分率很高的题目是不合适的,必须提高题目的难度,并使测验总体难度接近0.15。
Andrew. D. Cohen在Assessing Language Ability in the Classroom一书中有一节关于试题难度的论述也很精辟,摘录于此供参考:
Item Difficulty/facility value: It refers to the ratio of correct responses for a given test item.
A norm-referenced assessment instrument, which aims to differentiate among respondents, should have items that approximately 60% to 80% of the respondents answer correctly.(If ten out of twenty respondents answer an item correctly, the item difficulty is 50%.)
A criterion-referenced assessment instrument, which aims to determine whether nearly all students have achieved the objectives of a course, should obtain item difficulties of 90% or better.
综上,我们在实施学校内的学业测评前,应该对下述问题进行回应和思考:目的/用途、性质、对象、内容、方法、结构、时间、题量、题型、分值、赋分、标准、阅卷等。
陈新忠:对于试题的编制,如果是大规模的考试,建议大家看看“项目反应理论”。
林敦来:J. D. Brown. (2013). New Ways of Classroom Assessment Revised. TESOL International Association.这本书也非常值得老师们参阅。其中列举了非常多课堂评价的例子,并建议了适用对象。
平克虹:特别要注意小学测评的特殊性。《义务教育英语课程标准(2011年版)》在评价建议部分,专门针对小学阶段的英语评价提出以下建议,老师们只要结合实际认真领会精神并加以贯彻落实就可以了。借此机会抄录于此与大家共勉:
“小学英语教学评价应以本标准和平时的教学内容为依据,以激励学生的学习兴趣和自信心为主要目的,采用符合学生认知水平、具有多样性和可选择性的评价形式。小学阶段的评价应以形成性为主,重点评价学生平时参与各种教学活动的表现。小学中、低年级的终结性评价应采取与平时教学相近的、生动活泼的活动形式。小学高年级的终结性评价也应主要采用与平时教学活动相近的方式进行,合理采用口试、听力和笔试相结合的方式,考查学生基本的理解和表达能力,重点考查学生用英语做事情的能力。终结性评价的成绩评定可采用等级制或达标的方法,不宜采用百分制。”
平克虹:简言之,小学阶段测评考查形式要与教学形式保持基本一致,可以根据不同年级情况随教学同步进行,重在语言运用;考评方式要简便易行,指示用语要简明易懂;要突出测评的激励作用,使学生获得成就感,促进学生英语学习。
柳丽萍:非常赞同专家们对于测评这些理念和培训方法的讨论和阐释,我感觉教师测评素样就像是一个长跑,需要在实践中不断地总结、体会。而教师们一开始很容易被这些排山倒海的概念吓到,因此参与项目是一个非常好的方式,能够让老师们在实践中逐步体会和提升,有不断学习、交流和提升的机会。
朱晓燕:刚才讨论开始田民老师提到“如何设计和命制促进学生发展,有助于提升学习能力和语言能力的试题”,这也是老师们日常教学中十分关注的问题,其实前面已提到了要根据不同的测试目标,确定考试内容,上面介绍的基本专业书里都有一线老师们希望看到的如何提升语言能力学习能力测评方面的具体操作。一线教师面对的各种测评,是在课程教学的不同阶段,依据教学大纲和课程教学目标命题,应是标准参照性质,也就是老师们喜欢说的达标性考試,不是选拔性考试。但是现实中一些老师由于对测评的理解误区,混淆了两种性质的测试。把单元测验、课堂练习和检查、期中期末考试这些基于对课程目标内容、教学目标进行的学业成绩测试,却选用中考、高考那些用于选拔功能的常模性考试的试题或者题型,这无疑会增加学生日常学习的难度和压力,影响他们继续学习外语的自信心。
陈新忠:常模参照测验:根据学生在群体中的相对位置,来解释个人学业表现的测验方法。命题的第一要务是开发能够对于考生能力作出最大程度区分的测量工具,为选拔升学提供依据。
标准参照测验:依据明确界定学习任务范围及标准来解释个人学业表现的测验方法。命题的第一要务是开发基于标准的测量工具,对于考生是否达到相应资格标准做出判断。
龙祖元:我比较关心教育主管部门(包括学校领导)如何对考试数据做定性分析。
平克虹:我们希望随着课程改革和评价测试改革的深入发展,有些教育主管部门和学校领导对教学质量的评价观念会发生变化。 朱晓燕:我只是教师教育培训者,也就是说一线老师平时组织的测试,要结合教学目标和课程内容,开展达标式的、诊断型的、反馈性的单元测验等,课堂小测、期中考试等。
平克虹:同意朱老师的观点。
诸才章: 阅卷后是否还应研究试卷分析和测试的反拨作用?应该关注哪些方面?
平克虹:应该研究。发现问题,反馈到学生本人,能够激发学生进一步学习的热情和积极性,获得成就感。
林敦来:另外我建议大家也进一步关注standards-based assessment 或者说criterion-referenced assessment。James Dean Brown & Thom Hudson. (2002). Criterion-referenced Language Testing. Cambridge:Cambridge University Press.这本书对这个问题有深入的探讨。
今天下午我们大体上共讨论了三个板块内容:语言测评素养的概念和内涵、外语测评的困惑与误区、测评素养提升办法。这些板块中的每一块均有丰富的内容。感谢嘉宾们和老师们积极发言。很明显限于时间与方式,我们还有很多想法没有来得及完全交流。在测评素养道路上我们还有非常漫长的路要走。职前培训先天不足,在职培训也面临很多困难。但是提升测评素养,最终的受益者是学生,为此,老师们一定会创造条件研修测评素养。同时也希望教育管理部门能够为一线教师提供更多的测评素养培训机会。今天嘉宾们介绍的材料都是他们精挑细选的,悉心学习必将终有所获。谢谢大家。
附錄:
朱晓燕老师推荐书目:
1) Cohen,A.D. 武尊民导读. 课堂语言能力评价. 外研社与圣智出版,2005.
2) Mckay, P. 朱晓燕导读. 儿童语言学习评价. 外研社与剑桥合作出版,2012.
3) Davies , A. et al. 韩宝成导读. 语言测试词典. 外研社与剑桥合作出版,2002.
4) 邹申. 简明英语测试教程.北京:高等教育出版社,2011.
5) 武尊民. 英语测试的理论与实践. 北京:外语教学与研究出版社,2008.
6) 刘润清、韩宝成.语言测试和它的方法.北京:外语教学与研究出版,2000.
7) 外语测试与教学,上海外国语大学出版.平克虹老师推荐书目:
1) Alderson, J., Clapham, C., Wall, D. Language Test Construction and Evaluation. 北京:外语教学与研究出版社,2000.
2) Heaton, J. B. Writing English Language Tests (New edition). 北京:外语教学与研究出版社,2000.
3) Henning, G. A Guide to Language Testing, Development, Evaluation and Research. 北京:外语教学与研究出版社, 2001.
4) Hughes, A. Testing for Language Teachers. 北京:外语教学与研究出版社,2000.
5) 邹申. 语言测试. 上海:上海外语教育出版社,2005.
林敦来:在讨论如何对教师的测评素养进行培訓之前,我们先探讨教师测评素养培养存在哪些困难。
就职前来说,我跟大家汇报一下我的一项调查。
2012年我通过网页和邮件调查国内师范大学语言测试与评价课程开设情况。调研到的69所学院均有师范类本科生,其中35所学院培养课程与教学论(英语)专业学位研究生,即教育硕士。本科开设语言测试课程的有48所,占调查总数的69.6%。其中7所为必修课,占开设课程的14.6%,占被调研学院的10.1%。教育硕士项目数为35个,占被调研学院的50.7%。开设语言测试课程的为23个,占65.7%。必修课16个,占开设学院的69.6%,占所有教育硕士项目的45.7%。从这个数据来看,师范院校对职前教师的语言测评素养培养重视不够。
龙祖元:测试结果一般都体现为数据,如何解读这些数字呢?作为一线教师,我有些困惑。
林敦来:语言教师对数据貌似有天生的恐惧感。上文Popham定义中也提到其实不需要教师去计算,但是对基本数据要有较好的理解。陈老师也提到了利用软件简单整理数据的能力(excel等)和解读数据的能力。确实数据解读应该成为测评素养培养内容中的一个模块。
朱晓燕:在职前教师的测评素养培养方面,目前越来越多的师范院校都为外语师范生开设了“语言测试”课程,通常2个学分,36学时,教材选用既有国内高等教育出版社出版的邹申著的《简明英语测试教程》(第三版),也有国外原版教材《英语测试》(Heaton)。可喜的是,它已经被越来越多的师范院校纳入外语教师教育的必修课程体系中,与其他教学法课程如“新教师专业发展概论”“外语教学法流派”“英语课标研读”“教材分析与教学设计”“英语教学技能”“二语习得理论”一样;但令人担忧的是,由于认识程度不同和师资水平的问题,造成这门课常常由不太熟悉中小学外语教学的老师授课,在教学方法上偏向学习套用公式的纯知识课,偏重对大规模考试如常模参照性试卷质量(如高考)分析偏多,而较少结合课程标准、教学理论和测试理论原则的能力课,严重忽视学校课堂小规模测试如单元测验、期中和期末考试命题等技能,因此该课程教学质量普遍不容乐观。
林敦来:朱老师谈到的也是我很纠结的问题。语言测评课程的教师也许不太了解一线教学而使得职前教师测试素养培养缺乏针对性和有效性。
朱晓燕:为了帮助老师个体和群体系统地提升测评素养,通过阅读相关专业书和刊物、增强测评理论知识和指导实践的能力尤其必要。在此我强烈推荐6本国内近十年出版的、特别为中小学外语老师撰写的专业书,其中1?3本英语浅显易懂,由国内专业人士撰写中文导读,4?6本是国内测试领域的著名专家撰写。书目清单请见本文附录。
平克虹:认同。我也推荐一些测评专著供大家参考,书目清单请见附录。
林敦来:感谢朱老师和平老师推荐的书单。教师职前语言测评培训先天不足。那么在职教师有没有一些培训呢?平老师能否谈一下在教研活动中语言测评素养的促进举措?
平克虹:建议以县区、学区或学校为单位建立评价测试学习型组织,联系教学和测试评价改革需要的实际学习国家相关文件、学科课程标准以及语言测评理论书籍,了解语言测评的历史发展脉络,关注外语考试改革发展方向。
教师需要简要了解一下语言测评发展的历史脉络:Pre-scientific movement, Psychometric movement, Integrativesociolinguistic movement, Communicative movement—James Dean Brown。
构建一体化的学校英语学业评价体系。各级各类学校可以根据自身基本属性、学制规模等特征,如小学、初级中学、九年一贯制义务教育学校、高级中学、完全中学、十二年一贯制学校等形态,研发一体化的序列性学科课程测试评价体系,以确保本学校在贯彻落实《英语课程标准》所提出的课程培养目标时能够做到终极目标明确、阶段目标清楚、衔接连贯有序、过程扎实有效。
改进传统的单一考试成绩报告单形式,研制学生学科学业评价报告,探索全面科学评价,促进英语学科核心素养发展:可以包括课堂参与表现、课后语言实践(如作业、活动、项目学习、档案袋等)、校本课程、听说考试、笔试等多个维度。
林敦来:大家可以一起来建言献策,就一线教师如何提高测评素养提出一些想法。内容方面和具体做法都可以提出来讨论。
朱晓燕:在职外语教师测评素养的培训方法,对在职教师培训各种课程中,如校本培训、区培、市培、省培和国培,应两条腿走路:
一方面是专家引领,结合实际案例进行反思和讨论,不仅要熟悉课程标准、语言能力等基本知识、二语习得理论、教学法理论,还要结合语言测试相关理论原则组织讨论和内化,比如熟悉英语课程标准的目标理念、分级目标和内容要求等,才能为开展相应的测评提供方向和依据。
另一方面要求老师们结合测评的相关知识,学习解读日常教学中各种测试的结果,并将之应用于课堂决策过程中提高教学效果。促学评价(assessment for learning)、对学习评价(assessment of learning)、以评价作为学习内容(assessment as learning)这些是当前测评模式中常见的三种,这些把评估、学习和教学融合在一起的方式,能促进学生有意义的学习,及时调整和改进教学,极大地拓展了评价的传统意义。
张春青:师范本科生所学的测试知识大多考完就忘了,没感觉。而且学得很少,比如,我们这里的师范生测试课是选修,课时很少。我感觉应该加强在职教师的培训,这时他们有一定的需求了,如果只是讲授,也不会有好的效果,要采用基于课题或项目的培训模式,与教学相结合,才能有的放矢,老师们才能有收获。 柳丽萍:非常赞同张老师的说法,课程讲授有利于师范生了解基本理论概括,更多地应在实践中体会才能有很好驾驭能力。
朱晓燕:还要注意以下三个事项:
(1)针对不同教龄教师的特点,安排培训有针对性的测评知识内容。根据学科教学专门知识(PCK)框架四个要素(语言内容、课程目标、学生困难和教学方法),新老师往往是不熟悉课程目标和不了解学生学习心理过程,对测试操作技能不熟练;而已有一些教龄的老师往往对语言学、教学法最新理论和测试相关理论知识不太熟悉,这些都需要在培训内容中结合实际案例,增强相关测评理论知识的输入、测评手段的多重练习。
(2)特别加强形成性评价的比例。因为基础教育课改的一项重要内容就是提倡形成性评价,加强诊断性评价,因为它可用于课程教学的不同阶段,依据教学大纲和课程教学目标的命题,能密切关注学生学业进步的过程。Bachman在1990年提出“实际上任何考试都有提供诊断信息的潜能,语言测试可以用来诊断学生学习的强项和不足,以便制定合适的教学方式和水平及学习活动。”帮助老师了解诊断性评价的意义方法,学习看懂统计数字,解读诊断信息,根据测试卷的每个题目的统计信息,制订教学计划改变一些教学行为。
(3)尤其要加强教师对考试反拨作用的认识。亓鲁霞(2011)提到,很多研究结果表明,虽然考试对教学的内容和方法有影响,但是教师本身的因素如学历、教学经验、教学理念对教学的影响更大。由于教师因素在教学中起着重要作用,而这其中老师对评价的理解和所使用的评估方法至关重要。考试的反拨作用体现在教学的各个环节和层面:如教学内容、方法、教材编写等。测试素养提供了有利于教育教学管理、课堂教学改进和教师发展的反馈信息,为教师实施高效教学、促进学生学习发挥不可低估作用。
林敦来:同意朱老师的看法。如何获得有益的测评后效也是设计测评项目的重要出发点。
平克虹:测评是实践性很强的专业领域,必须理论学习与实践相结合。重点加强对校本阶段性学业发展测评(progress achievement assessment)的研究。
林敦来:我的建议是采用小组协作学习的方式。如6名有不同教学经验的教师组成团队,共同设计测评计划、实施、讨论、反思、提升。平老师的校本测评计划也是提升教师测评素养的重要途径。
平克虹:要研究依据不同教学阶段、不同教学内容的需要,灵活采用不同测试类型和测试方式,采用不同的试卷结构与题型;重在发挥测评诊断教学、改进教学、激励学生发展的作用;避免形成新的应试模式。
侧重阶段性语言知识、技能要求、话题功能的覆盖面;体现考查内容与学习内容的一致性;选材语言及话题内容要与学生年龄与认知水平、语言能力基本吻合;根据学校测评实际,科学设计主客观题比例,适度增加主观性试题;按照学业测评的性质,规划合理的试题难度;学习借鉴国内外语言学习与考试的研究成果,丰富试卷结构与考试题型。
陈新忠:语言测评素养关键还是在老师的教育观、语言观、学生观。在教学中处理好教、学、评的关系,达到以评促教、以评促学的目的(assessment as learning)。语言测评素养最终还是要落脚到教学上。例如:语篇填空(阅读七选五)主要考查逻辑,老师往往用试题培养学生的逻辑理解能力。在教研工作中,建议教师在阅读教学中关注语篇中的逻辑,并进行相关练习。
朱晓燕:Mckay(2012)提出教师在评价方面的专业知识和技能,一方面固然是来自于职前教育的培训,另一方面来自于在职期间和同事的专业学习与合作。评价过程通常包含三个阶段:(1)设计阶段:教师需要确定评价的目的,明确评价的内容;(2)操作阶段:教师需要准备具体的评价任务,明确指令语和计分方法;(3)管理阶段:教师要关注评价实施的步骤是否运转正常。课堂上采用的一系列评价策略,包括随机性观察、计划性观察、即时评价、建档案袋、自我评价和同伴评价、课堂测验等。
林敦来:我推薦一个老师们可以直接采用的工具。www.assess.com网页上有psychometric这个栏目,其中有一个免费的经典测试理论计算工具,叫做CITAS,该表格可以处理50个学生50道题的数据分析。操作非常方便,适用于课堂测验。老师们可以尝试一下。
平克虹:在编制试卷/命题过程中,以及在考试后评价一份试题时,试题难度总是一个绕不开的问题,如何正确把握实体的难易程度值得每位老师关注。下面一段论述摘自《中国考试》(2017-03-09):
题目的难度(Item Difficulty)是指试题的难易程度,是评价考试非常重要的一个指标。难度值(用P表示)可以用得分率(或通过率)等技术指标来衡量。在实际分析过程中,对于客观题和主观题,难度的操作定义不同。客观题的难度,以正确回答该题的人数占参加测验的总人数的比率来表示,如40%的人答对了某个题目,该题目的难度就是0.4。主观题的难度,以考生在该题上的平均分占满分的比率来表示,如满分60分的作文,考生平均得分42分,则难度为42/60=0.7。当考生人数很多,统计全部考生很困难时,也可以采取一种简便的分组取样法:先把考生按考试得分的高低顺序排列,然后在两极按一定比例分别划出高分组和低分组,再分别计算两极端组考生答对某题的人数百分比或得分比率,最后求它们的平均值。
林敦来:太好了,关于题目难度的说明结合我前面提到的简易软件,老师们可以对自己编写的题目进行质量监控了。
平克虹:题目的难度值的取值范围在0?1之间,当题目难度值为1时,说明100%的考生都答对了该题或者在该题上取得了满分,题目非常容易;当题目难度值为0时,说明没有考生答对题目或得分,题目非常难。可见,难度值与题目的实际难度是一种反序的关系,即P值越大,难度越小。另外,题目难度是具有相对性的具体性的概念。任何一个题目的难度值都是以一定的被试为对象计算出来的,其数值的高低依赖于选取的被试。对于奥数班学生来说很容易的题目,可能对于普通学生来说很难。 柳丽萍:对于难度把握是从测试到教学中的主线之一,在选篇、命题、教学活动的组织中都是非常重要的概念。
平克虹:题目的难度水平多高合适,这主要取决于考试目的、题目形式以及考试的性质。例如,老师在某单元教学之后,要了解学生对所学内容的掌握情况所做的单元测验,几乎每道题都会有很高的通过率,不能因此说这些题目在难度上是不合适的。如果测验的目的是用于选拔,则建议将难度控制在接近录取率左右。例如,要从高中生中选拔15%的人参加奥数竞赛,那些通过率或得分率很高的题目是不合适的,必须提高题目的难度,并使测验总体难度接近0.15。
Andrew. D. Cohen在Assessing Language Ability in the Classroom一书中有一节关于试题难度的论述也很精辟,摘录于此供参考:
Item Difficulty/facility value: It refers to the ratio of correct responses for a given test item.
A norm-referenced assessment instrument, which aims to differentiate among respondents, should have items that approximately 60% to 80% of the respondents answer correctly.(If ten out of twenty respondents answer an item correctly, the item difficulty is 50%.)
A criterion-referenced assessment instrument, which aims to determine whether nearly all students have achieved the objectives of a course, should obtain item difficulties of 90% or better.
综上,我们在实施学校内的学业测评前,应该对下述问题进行回应和思考:目的/用途、性质、对象、内容、方法、结构、时间、题量、题型、分值、赋分、标准、阅卷等。
陈新忠:对于试题的编制,如果是大规模的考试,建议大家看看“项目反应理论”。
林敦来:J. D. Brown. (2013). New Ways of Classroom Assessment Revised. TESOL International Association.这本书也非常值得老师们参阅。其中列举了非常多课堂评价的例子,并建议了适用对象。
平克虹:特别要注意小学测评的特殊性。《义务教育英语课程标准(2011年版)》在评价建议部分,专门针对小学阶段的英语评价提出以下建议,老师们只要结合实际认真领会精神并加以贯彻落实就可以了。借此机会抄录于此与大家共勉:
“小学英语教学评价应以本标准和平时的教学内容为依据,以激励学生的学习兴趣和自信心为主要目的,采用符合学生认知水平、具有多样性和可选择性的评价形式。小学阶段的评价应以形成性为主,重点评价学生平时参与各种教学活动的表现。小学中、低年级的终结性评价应采取与平时教学相近的、生动活泼的活动形式。小学高年级的终结性评价也应主要采用与平时教学活动相近的方式进行,合理采用口试、听力和笔试相结合的方式,考查学生基本的理解和表达能力,重点考查学生用英语做事情的能力。终结性评价的成绩评定可采用等级制或达标的方法,不宜采用百分制。”
平克虹:简言之,小学阶段测评考查形式要与教学形式保持基本一致,可以根据不同年级情况随教学同步进行,重在语言运用;考评方式要简便易行,指示用语要简明易懂;要突出测评的激励作用,使学生获得成就感,促进学生英语学习。
柳丽萍:非常赞同专家们对于测评这些理念和培训方法的讨论和阐释,我感觉教师测评素样就像是一个长跑,需要在实践中不断地总结、体会。而教师们一开始很容易被这些排山倒海的概念吓到,因此参与项目是一个非常好的方式,能够让老师们在实践中逐步体会和提升,有不断学习、交流和提升的机会。
朱晓燕:刚才讨论开始田民老师提到“如何设计和命制促进学生发展,有助于提升学习能力和语言能力的试题”,这也是老师们日常教学中十分关注的问题,其实前面已提到了要根据不同的测试目标,确定考试内容,上面介绍的基本专业书里都有一线老师们希望看到的如何提升语言能力学习能力测评方面的具体操作。一线教师面对的各种测评,是在课程教学的不同阶段,依据教学大纲和课程教学目标命题,应是标准参照性质,也就是老师们喜欢说的达标性考試,不是选拔性考试。但是现实中一些老师由于对测评的理解误区,混淆了两种性质的测试。把单元测验、课堂练习和检查、期中期末考试这些基于对课程目标内容、教学目标进行的学业成绩测试,却选用中考、高考那些用于选拔功能的常模性考试的试题或者题型,这无疑会增加学生日常学习的难度和压力,影响他们继续学习外语的自信心。
陈新忠:常模参照测验:根据学生在群体中的相对位置,来解释个人学业表现的测验方法。命题的第一要务是开发能够对于考生能力作出最大程度区分的测量工具,为选拔升学提供依据。
标准参照测验:依据明确界定学习任务范围及标准来解释个人学业表现的测验方法。命题的第一要务是开发基于标准的测量工具,对于考生是否达到相应资格标准做出判断。
龙祖元:我比较关心教育主管部门(包括学校领导)如何对考试数据做定性分析。
平克虹:我们希望随着课程改革和评价测试改革的深入发展,有些教育主管部门和学校领导对教学质量的评价观念会发生变化。 朱晓燕:我只是教师教育培训者,也就是说一线老师平时组织的测试,要结合教学目标和课程内容,开展达标式的、诊断型的、反馈性的单元测验等,课堂小测、期中考试等。
平克虹:同意朱老师的观点。
诸才章: 阅卷后是否还应研究试卷分析和测试的反拨作用?应该关注哪些方面?
平克虹:应该研究。发现问题,反馈到学生本人,能够激发学生进一步学习的热情和积极性,获得成就感。
林敦来:另外我建议大家也进一步关注standards-based assessment 或者说criterion-referenced assessment。James Dean Brown & Thom Hudson. (2002). Criterion-referenced Language Testing. Cambridge:Cambridge University Press.这本书对这个问题有深入的探讨。
今天下午我们大体上共讨论了三个板块内容:语言测评素养的概念和内涵、外语测评的困惑与误区、测评素养提升办法。这些板块中的每一块均有丰富的内容。感谢嘉宾们和老师们积极发言。很明显限于时间与方式,我们还有很多想法没有来得及完全交流。在测评素养道路上我们还有非常漫长的路要走。职前培训先天不足,在职培训也面临很多困难。但是提升测评素养,最终的受益者是学生,为此,老师们一定会创造条件研修测评素养。同时也希望教育管理部门能够为一线教师提供更多的测评素养培训机会。今天嘉宾们介绍的材料都是他们精挑细选的,悉心学习必将终有所获。谢谢大家。
附錄:
朱晓燕老师推荐书目:
1) Cohen,A.D. 武尊民导读. 课堂语言能力评价. 外研社与圣智出版,2005.
2) Mckay, P. 朱晓燕导读. 儿童语言学习评价. 外研社与剑桥合作出版,2012.
3) Davies , A. et al. 韩宝成导读. 语言测试词典. 外研社与剑桥合作出版,2002.
4) 邹申. 简明英语测试教程.北京:高等教育出版社,2011.
5) 武尊民. 英语测试的理论与实践. 北京:外语教学与研究出版社,2008.
6) 刘润清、韩宝成.语言测试和它的方法.北京:外语教学与研究出版,2000.
7) 外语测试与教学,上海外国语大学出版.平克虹老师推荐书目:
1) Alderson, J., Clapham, C., Wall, D. Language Test Construction and Evaluation. 北京:外语教学与研究出版社,2000.
2) Heaton, J. B. Writing English Language Tests (New edition). 北京:外语教学与研究出版社,2000.
3) Henning, G. A Guide to Language Testing, Development, Evaluation and Research. 北京:外语教学与研究出版社, 2001.
4) Hughes, A. Testing for Language Teachers. 北京:外语教学与研究出版社,2000.
5) 邹申. 语言测试. 上海:上海外语教育出版社,2005.