论文部分内容阅读
摘 要 实施教育质量评价是促进教育质量管理规范化,切实提高教育质量的重要手段。利用对45所高职院校现行教育质量测评调查所获取的数据分析发现,现阶段高职教育质量测评体系存在测评工作形式主义、指标体系设计不尽合理、评价结果不够客观、评价反馈缺位等弊端。其未来改革方向是:强调利益相关者的广泛参与,实现评价指标多样化,寻求新的评价模式,实现多种评价方法的有效结合。
关键词 高职院校;教育质量;测评体系
中图分类号 G718.5 文献标识码 A 文章编号 1008—3219(2012)22—0033—06
教育质量评价是教育管理的重要环节,也是提高教育质量和办学效益的重要手段。科学地对高职院校开展能保障其教育质量的评价活动,有助于形成正确的改革导向和激励效应。本研究通过对10省1市共计45所高职院校教育质量测评工作进行考察,明确现行教育质量测评体系的评价对象及指标构成、评价方法和形式,以及评价结果等方面的现状,并通过综合分析指出现行体系的若干缺失,提出相应的改革设想。
一、对高职院校现行教育质量评价工作的实践考察
本研究利用分类与比较、分析与综合相结合等多种调查方法,旨在更好地了解高职院校教育质量评价工作的开展情况。
(一)对评价量表的方案比较法
1.比较数据的获取
数据资料的搜集是整个调研的基础环节,决定着调研过程及其结果的科学性。本研究针对北京财贸职业学院、北京工业职业技术学院、大连职业技术学院、山西财政税务专科学校、淄博职业学院、重庆工业职业技术学院等国内45所高职院校搜集的可用于推导出某项结论的一些事实或数据主要来自三个渠道:直接向调查对象收集的反映被调查单位特征的资料;借助他人调查得到的资料;已正式对外发布的资料。前者为未经加工整理的原始资料,后两项为已经过一定程度加工整理的次级资料。
2.研究方法
对上述比较数据的准确性进行审核,检查调查资料是否真实反映了被调查单位的客观情况;检查资料是否有误,计算是否正确;检查资料所属时间与调查要求的所属时间是否一致。在完成准确性审核的基础上,根据质量评价的内在特点与要素构成,围绕研究任务的要求,依据穷尽与互斥原则,选取一定标准将比较数据划分为若干性质不同的组成部分,实现对评价主体、测评对象、测评指标体系、测评方法、测评形式等元素的比较分析,并采用统计图表把一系列比较结果按照一定的次序和逻辑关系呈现出来。
(二)对评价工作反应的询证调查法
询证调查法是为达到调查目的和搜集调查对象对被调查单位教育质量评价工作实施情况和效果的真实感受,提出一些与调查主题相关的具有普遍意义的问题,通过口头询问由调查对象当面填答,或者运用计算机、网络等现代信息技术进行网络调查,根据调查对象的答复来完成资料搜集工作。由于受到调查对象的政治素质、文化水平和配合程度等社会和心理因素的影响,需要将询证调查法与方案比较法相结合,从不同角度说明高职院校教育质量评价工作体系现状。
二、对高职院校现行教育质量测评调查的统计分析
(一)对测评主体的调查
测评主体是进行测评活动的行为主体。针对所选取的45个被调查单位,将各院校教育质量测评主体归纳为两大来源:一是完全产生于本院校内部;二是立足于本院校内部,兼顾院校外部利益主体。前者又进一步划分为三种类型:以学生为单一评价者;以学生为主体,教师(或校内同行专家)参评;以教师(或校内同行专家)为主,部分学生参评。外部利益主体主要是指用人单位。按照上述划分将被调查院校进行归类与描述,得出结果如表1所示。
(二)对测评对象的调查
测评对象是进行测评活动的行为对象。各院校教育质量测评对象以出现频次为主要依据,由高到低排列次序分别为:课堂教学质量;教学质量;以课堂教学质量为主,兼顾综合性实践环节。结果如表2所示。
(三)对测评指标的调查
测评指标是指以指标形式体现的能反映评价客体特征的因素。调查发现,有1所院校以问卷方式代替测评指标,2所院校以报告方式代替测评指标,其余42所院校均采用了多指标法,将影响教育绩效的多方面因素综合起来建立了一套指标体系。
1.一级指标的项目定义
在课堂教学质量测评指标方面,就一级指标而言,在被调查的45所高职院校中,教学方法与教学手段指标的出现频次最高(34次①),而后依次为教学内容(31次)、教学态度(30次)、教学效果(30次)三个指标;出现频次排在第5~10位的测评指标分别是教书育人、教学基本功、教学过程(含教学组织、教学实施)、教学文件建设(含文档质量、课前准备、备课教案)、教师基本素质(含师德)、教学创新(含教学特色),出现频次均未超过10次。
在实践教学质量测评指标方面,在被调查的将课堂教学质量评价细分为实验(含实践课)的10所高职院校中,针对课堂实践活动或实验进行评价的一级指标出现频次最高的是课堂实验(实践)效果(7次),而后依次为实验(实践)过程(6次)、教学准备(5次)两个测评指标,出现频次排在第4~8位的测评指标分别是教学态度、教学方法、教学内容、成绩考核与实验报告。而被调查院校所设计的专门用于实训环节质量测评的一级指标基本只涉及实训规范、实训过程、实训效果三个项目。
2.二级指标及各指标的赋权技术
指标分级关系到各类指标在评价指标体系中的合理构成以及指标间的勾稽关系和逻辑关联度,是权衡指标体系精确性与简洁性的基本方法。而权重设计是如何将关键成功因素准确地体现在评价指标上的重要问题。指标体系中各评价指标权重的大小不仅直接影响到评价结果的真实性和可靠性,而且引导着高职院校的行为方向。调查发现,各院校教育质量测评主要存在10种指标分解及赋值类型,具体结果如表3所示。
(四)对计量方法及测评手段的调查
测评方法是在测评指标、评价标准等要素基础上形成的具体实施测评活动的程序和办法。调查发现,各院校教育质量测评指标计量方法主要存在5种类型,其中4种类型在不同程度上运用了定性与定量分析技术,具体如表4所示。 同时,根据测评主体的不同,产生了包括学生评价、督导评价、同行专家评价、领导评价、管理人员评价、单位评价等多种评价形式。在上述一系列评价形式中,所有院校都进行了在校学生评价,其次是督导评价、同行(含校内专家)评价,排在前5位的测评形式如表5所示,另有2所院校增加了“教评学”,1所院校增加了“教评管”。在被调查的45所院校中,有37所院校采用了上述2种或2种以上测评形式。其中,10所院校采用了2种评价形式,7所院校采用了4种评价形式,1所院校采用了6种评价形式。
三、对高职院校教育质量测评调查结果的现实思考
调查发现,大多数高职院校认为,教育质量测评有必要或很有必要,对调整专业布局及完善人才培养方案,对教学制度完善和质量保障体系建立,以及提高人才培养质量都具有重大意义。但是,现阶段高职教育质量测评体系还不能满足社会对专业技术人才的迫切需求以及国家提高职业教育质量的改革目标,测评工作形式主义、指标体系设计不尽合理、评价结果不够客观、评价反馈缺位等弊端仍客观存在。
(一)局限于院校内部的测评主体与“工学结合”模式下的利益相关者群体不相适应
调查显示,约95.56%② 高职院校的教育质量测评工作基本是由本院校内部人员开展的。这些内部人员包含在校学生、专职教师、兼职教师、教学管理人员等。普遍采用的“学评教”基本是由在校学生参与,只有2所院校增加了毕业生跟踪评价。而仅有的吸引院校外利益主体参与评价的2所院校(约占4.44%)也只局限于一定程度上把用人单位作为评价的参考。在工学结合模式下,学校、行业、企业等形成了利益相关者群体,外部要素的评价作用将越来越明显,更为广泛的外部评价主体对高职院校的态度和看法势必影响高职院校的生存和发展,而这种由内外部多方评价主体构成的评价格局目前尚未形成。
(二)过多强调课堂教学测评对象及指标设计,与“工学结合”强调的多种实践环节的重要性不相适应
调查显示,被调查院校中有27所院校(占60%)将测评对象锁定为课堂教学质量,其中15所院校(组内占比约55.56%)对所有专业、所有课程采用统一的课堂教学质量测评指标体系,12所院校(组内占比约44.44%)按照课程性质不同建立起课堂教学质量的分类测评指标体系。另有15所院校(约占33.33%)将测评对象确定为教学质量,且对教学质量的内涵解析笼统。对测评指标的进一步剖析发现,在上述15所笼统将教学质量作为测评对象的院校中,有8所院校(组内占比53.33%)还是侧重于课堂教学质量评价;5所院校在课堂教学质量评价基础上略有拓展;1所院校增加了课程设计评价项目;1所院校没有设立评价指标体系,而是采用提问方式。此外,只有1所院校(约占2.22%)将实训环节(包括安排在课程结束后、学期结束前的校内阶段性实训环节,毕业前的校内综合实训环节)纳入评价体系,并通过指标设计转化为独立于课堂测评对象且较为具体的评价内容。另有2所院校(约占4.44%)虽然考虑到顶岗实习在高职人才培养中的重要作用,将顶岗实习纳入评价体系,但是尚未建立评价指标,而是采用学生撰写报告、指导教师出具顶岗实习鉴定等方法考察学生在专业岗位上进行技能操作训练并履行其岗位职责的情况。由此得出的评价效果的客观性、全面性有所欠缺,以评促改的激励机制无法真正发挥作用。
(三)侧重结果评价和事后评价,与“工学结合”模式下强调过程管理不相适应
调查显示,以出现频次最高的“教学方法与教学手段”项目为例,测评指标主要集中于考察板书是否规范整齐、是否利用多媒体教学手段、是否使用普通话、是否采用启发式教法等内容,对于时间分配是否合理、能否针对课堂情景变化及时调整教学策略等鲜有涉及,也有院校只是概括性地将教学方法得当作为评价标准。虽然在测评体系中包含诸如教学过程、实验(实践)过程、实训过程等项目,但是相对于45所被调查高职院校计算所得的频次百分比较低,分别占15.56%、13.33%、2.22%,而且主要集中于考察课堂纪律、有无作业布置与批改、试卷命题质量、仪器与设备是否发生故障或突发情况、教师讲解与指导情况、实验报告的批阅情况等内容,过于强调教师“教”的部分,对学生如何“做与学”的测评指标明显不足。此外,针对顶岗实习的责任考核与管理,也仅仅从是否下达明确的实习任务、学生遵规守纪情况、顶岗实习报告撰写情况等方面进行考核,缺乏明确行业企业参与和提高顶岗实习教学效果的评价细目与质量标准。
(四)测评指标赋值技术未能充分体现信息化背景下多用量化数据描述和分析人才培养状态的特征
调查显示,根据评价指标观测点的重要程度进行明细指标划分,并设有分值,各级别均有权重系数的院校只占10.42%,而56.25%的院校没有细分指标或没有赋予权重系数。就量化还是质性的问题,方元春等在谈及高职人才培养质量保障体系构建时曾指出,即使一些具有模糊性的指标内容,也应该通过确定相应的权重系数,建立数学模型,使之相对量化[1]。而实际运用量化方法进行教育质量测评的院校只占4.44%,80%的院校完全采用定性指标。即便确定了权重系数,权重的大小往往由设定者凭经验决定,较为多见的是均衡赋权方法,即在指标体系中,同级指标(或观测点)的权重相等,上下级指标(或观测点)的权重等差变动,较少采用先进的评价模型及科学系统的指标权重测算方法,这种带有较大主观性的赋权方法在一定程度上背离了测评的本质。采用2种或2种以上形式进行测评的37所院校中只有10所院校(组内占比约27.03%)根据测评主体设计了不同的测评量表,其余院校均采用统一的测评量表。此外,处于不同发展阶段的高职院校所面临的外部环境具有动态性,然而院校普遍存在将一套教育质量测评指标沿用较长时间的现象,缺乏对指标体系的不断审核与修正。
四、高职院校教育质量测评工作改革设想
(一)评价主体方面,强调利益相关者群体的宽范畴和互动性
为适应工学结合的人才培养模式改革,高职质量评价需要将影响工学结合人才培养质量及受到工学结合人才培养活动影响的所有关键利益相关者都纳入监测范围。包括政府、中介评价机构(行业协会)、企业单位、院校、教师、学生在内的多元化评价主体,既能发挥利益相关者评价的导向作用,又能保证更多利益相关者的利益。在研究利益相关者需求的基础上,还要详细分析利益相关者的贡献,体现利益相关者在高职工学结合人才培养中的能动性和高职院校与利益相关者之间的互惠性。 (二)评价客体及指标方面,突出多角度分类研究
鉴于不同专业类别及不同课程属性的差异性,高职质量评价也应体现这种差异性。“工学结合、校企合作”只是适合高职教育人才培养模式的大框架,对于专业而言,需要区分能力本位“五阶段”、“订单式”、“工学并进式”、“工学交替式”、“2 1”等不同专业培养模式,研究如何配套相应的评价体系。对于课程而言,可以从多个角度进行类型划分。例如,通识课程与专业学习领域课程;专业通识课、专业核心能力课与综合实践训练;公共选修课与专业必修课;传统课程与课改课程(或基于工作过程的项目化课程)等。顶岗实习作为工学结合实施和运行的重要环节,也是实现校内教学活动与职业岗位对接的基本途径,也不能仅以实习报告进行效果评定与总结。在课程评价或者顶岗实习评价中,都需要进一步深入研究如何构建具有专业针对性的评价量表及其指标群,充分体现高职教育评价内容的多样化和相关性特点。
(三)评价模式方面,寻求实现有效评价的新模式
基于已有评价的经验,在综合分析院校自身内外环境和资源条件的基础上,一方面,高职院校可以借助平衡计分卡(BSC)③、ISO认证体系等多维关系框架构建或调整现有教育质量测评体系;另一方面,也可以在那些已经存在,并且在一直寻求弥补其不足的结构基础上,为洞察质量管理的真正难题和面对现实的挑战提供一种更为全面且易于理解的绩效管理新框架[2]。这可以促进高职教育质量评价模式的创新,加强评价的操作性和科学性。
(四)评价方法方面,强调四个结合
在采用定量与定性分析相结合方法的前提下,高职质量评价未来发展需注意如下方面:第一,借鉴与创新相结合。国外职业教育在绩效评价方面的经验,为我国提供了有意义的借鉴,同时也要切合高职院校所在地区实际,鼓励“本土化”特色的形成。第二,多元统计与分析相结合。由于影响高职工学结合人才培养质量的要素很多,指标的分层次设计、各级指标权重确定都要尽可能避免使用单一的研究方法,力图提高评价结果的准确性和可信度。第三,理论研究与实证分析相结合。理论与实证是对问题进行系统研究的两个方向,从深层次理论角度入手,再在实证研究的基础上形成完整的评价系统,两者相辅相成。第四,结果评价和过程评价相结合。不仅要对教育活动的结果进行衡量,更要强化对项目化课程的过程评价;强化对顶岗实习、毕业实习、校内综合实训等项目的过程评价。
(五)测评体系的再评价方面,探索发展性绩效评价研究
测评体系本身也存在质量问题,评价结果不尽如人意,不能排除测评体系固有缺陷的影响。根据权变管理理论,实践中不存在一成不变的、普遍适用的“最好”的绩效评价指标体系。应该考虑如何对现行测评指标及其权值变化进行复核;如何检验和比较不同评价体系的实施效果;如何调整具有说服力的质量标准;如何形成自我修正和持续改进的良性发展机制,增强评价体系的实效性和评价效果。
关键词 高职院校;教育质量;测评体系
中图分类号 G718.5 文献标识码 A 文章编号 1008—3219(2012)22—0033—06
教育质量评价是教育管理的重要环节,也是提高教育质量和办学效益的重要手段。科学地对高职院校开展能保障其教育质量的评价活动,有助于形成正确的改革导向和激励效应。本研究通过对10省1市共计45所高职院校教育质量测评工作进行考察,明确现行教育质量测评体系的评价对象及指标构成、评价方法和形式,以及评价结果等方面的现状,并通过综合分析指出现行体系的若干缺失,提出相应的改革设想。
一、对高职院校现行教育质量评价工作的实践考察
本研究利用分类与比较、分析与综合相结合等多种调查方法,旨在更好地了解高职院校教育质量评价工作的开展情况。
(一)对评价量表的方案比较法
1.比较数据的获取
数据资料的搜集是整个调研的基础环节,决定着调研过程及其结果的科学性。本研究针对北京财贸职业学院、北京工业职业技术学院、大连职业技术学院、山西财政税务专科学校、淄博职业学院、重庆工业职业技术学院等国内45所高职院校搜集的可用于推导出某项结论的一些事实或数据主要来自三个渠道:直接向调查对象收集的反映被调查单位特征的资料;借助他人调查得到的资料;已正式对外发布的资料。前者为未经加工整理的原始资料,后两项为已经过一定程度加工整理的次级资料。
2.研究方法
对上述比较数据的准确性进行审核,检查调查资料是否真实反映了被调查单位的客观情况;检查资料是否有误,计算是否正确;检查资料所属时间与调查要求的所属时间是否一致。在完成准确性审核的基础上,根据质量评价的内在特点与要素构成,围绕研究任务的要求,依据穷尽与互斥原则,选取一定标准将比较数据划分为若干性质不同的组成部分,实现对评价主体、测评对象、测评指标体系、测评方法、测评形式等元素的比较分析,并采用统计图表把一系列比较结果按照一定的次序和逻辑关系呈现出来。
(二)对评价工作反应的询证调查法
询证调查法是为达到调查目的和搜集调查对象对被调查单位教育质量评价工作实施情况和效果的真实感受,提出一些与调查主题相关的具有普遍意义的问题,通过口头询问由调查对象当面填答,或者运用计算机、网络等现代信息技术进行网络调查,根据调查对象的答复来完成资料搜集工作。由于受到调查对象的政治素质、文化水平和配合程度等社会和心理因素的影响,需要将询证调查法与方案比较法相结合,从不同角度说明高职院校教育质量评价工作体系现状。
二、对高职院校现行教育质量测评调查的统计分析
(一)对测评主体的调查
测评主体是进行测评活动的行为主体。针对所选取的45个被调查单位,将各院校教育质量测评主体归纳为两大来源:一是完全产生于本院校内部;二是立足于本院校内部,兼顾院校外部利益主体。前者又进一步划分为三种类型:以学生为单一评价者;以学生为主体,教师(或校内同行专家)参评;以教师(或校内同行专家)为主,部分学生参评。外部利益主体主要是指用人单位。按照上述划分将被调查院校进行归类与描述,得出结果如表1所示。
(二)对测评对象的调查
测评对象是进行测评活动的行为对象。各院校教育质量测评对象以出现频次为主要依据,由高到低排列次序分别为:课堂教学质量;教学质量;以课堂教学质量为主,兼顾综合性实践环节。结果如表2所示。
(三)对测评指标的调查
测评指标是指以指标形式体现的能反映评价客体特征的因素。调查发现,有1所院校以问卷方式代替测评指标,2所院校以报告方式代替测评指标,其余42所院校均采用了多指标法,将影响教育绩效的多方面因素综合起来建立了一套指标体系。
1.一级指标的项目定义
在课堂教学质量测评指标方面,就一级指标而言,在被调查的45所高职院校中,教学方法与教学手段指标的出现频次最高(34次①),而后依次为教学内容(31次)、教学态度(30次)、教学效果(30次)三个指标;出现频次排在第5~10位的测评指标分别是教书育人、教学基本功、教学过程(含教学组织、教学实施)、教学文件建设(含文档质量、课前准备、备课教案)、教师基本素质(含师德)、教学创新(含教学特色),出现频次均未超过10次。
在实践教学质量测评指标方面,在被调查的将课堂教学质量评价细分为实验(含实践课)的10所高职院校中,针对课堂实践活动或实验进行评价的一级指标出现频次最高的是课堂实验(实践)效果(7次),而后依次为实验(实践)过程(6次)、教学准备(5次)两个测评指标,出现频次排在第4~8位的测评指标分别是教学态度、教学方法、教学内容、成绩考核与实验报告。而被调查院校所设计的专门用于实训环节质量测评的一级指标基本只涉及实训规范、实训过程、实训效果三个项目。
2.二级指标及各指标的赋权技术
指标分级关系到各类指标在评价指标体系中的合理构成以及指标间的勾稽关系和逻辑关联度,是权衡指标体系精确性与简洁性的基本方法。而权重设计是如何将关键成功因素准确地体现在评价指标上的重要问题。指标体系中各评价指标权重的大小不仅直接影响到评价结果的真实性和可靠性,而且引导着高职院校的行为方向。调查发现,各院校教育质量测评主要存在10种指标分解及赋值类型,具体结果如表3所示。
(四)对计量方法及测评手段的调查
测评方法是在测评指标、评价标准等要素基础上形成的具体实施测评活动的程序和办法。调查发现,各院校教育质量测评指标计量方法主要存在5种类型,其中4种类型在不同程度上运用了定性与定量分析技术,具体如表4所示。 同时,根据测评主体的不同,产生了包括学生评价、督导评价、同行专家评价、领导评价、管理人员评价、单位评价等多种评价形式。在上述一系列评价形式中,所有院校都进行了在校学生评价,其次是督导评价、同行(含校内专家)评价,排在前5位的测评形式如表5所示,另有2所院校增加了“教评学”,1所院校增加了“教评管”。在被调查的45所院校中,有37所院校采用了上述2种或2种以上测评形式。其中,10所院校采用了2种评价形式,7所院校采用了4种评价形式,1所院校采用了6种评价形式。
三、对高职院校教育质量测评调查结果的现实思考
调查发现,大多数高职院校认为,教育质量测评有必要或很有必要,对调整专业布局及完善人才培养方案,对教学制度完善和质量保障体系建立,以及提高人才培养质量都具有重大意义。但是,现阶段高职教育质量测评体系还不能满足社会对专业技术人才的迫切需求以及国家提高职业教育质量的改革目标,测评工作形式主义、指标体系设计不尽合理、评价结果不够客观、评价反馈缺位等弊端仍客观存在。
(一)局限于院校内部的测评主体与“工学结合”模式下的利益相关者群体不相适应
调查显示,约95.56%② 高职院校的教育质量测评工作基本是由本院校内部人员开展的。这些内部人员包含在校学生、专职教师、兼职教师、教学管理人员等。普遍采用的“学评教”基本是由在校学生参与,只有2所院校增加了毕业生跟踪评价。而仅有的吸引院校外利益主体参与评价的2所院校(约占4.44%)也只局限于一定程度上把用人单位作为评价的参考。在工学结合模式下,学校、行业、企业等形成了利益相关者群体,外部要素的评价作用将越来越明显,更为广泛的外部评价主体对高职院校的态度和看法势必影响高职院校的生存和发展,而这种由内外部多方评价主体构成的评价格局目前尚未形成。
(二)过多强调课堂教学测评对象及指标设计,与“工学结合”强调的多种实践环节的重要性不相适应
调查显示,被调查院校中有27所院校(占60%)将测评对象锁定为课堂教学质量,其中15所院校(组内占比约55.56%)对所有专业、所有课程采用统一的课堂教学质量测评指标体系,12所院校(组内占比约44.44%)按照课程性质不同建立起课堂教学质量的分类测评指标体系。另有15所院校(约占33.33%)将测评对象确定为教学质量,且对教学质量的内涵解析笼统。对测评指标的进一步剖析发现,在上述15所笼统将教学质量作为测评对象的院校中,有8所院校(组内占比53.33%)还是侧重于课堂教学质量评价;5所院校在课堂教学质量评价基础上略有拓展;1所院校增加了课程设计评价项目;1所院校没有设立评价指标体系,而是采用提问方式。此外,只有1所院校(约占2.22%)将实训环节(包括安排在课程结束后、学期结束前的校内阶段性实训环节,毕业前的校内综合实训环节)纳入评价体系,并通过指标设计转化为独立于课堂测评对象且较为具体的评价内容。另有2所院校(约占4.44%)虽然考虑到顶岗实习在高职人才培养中的重要作用,将顶岗实习纳入评价体系,但是尚未建立评价指标,而是采用学生撰写报告、指导教师出具顶岗实习鉴定等方法考察学生在专业岗位上进行技能操作训练并履行其岗位职责的情况。由此得出的评价效果的客观性、全面性有所欠缺,以评促改的激励机制无法真正发挥作用。
(三)侧重结果评价和事后评价,与“工学结合”模式下强调过程管理不相适应
调查显示,以出现频次最高的“教学方法与教学手段”项目为例,测评指标主要集中于考察板书是否规范整齐、是否利用多媒体教学手段、是否使用普通话、是否采用启发式教法等内容,对于时间分配是否合理、能否针对课堂情景变化及时调整教学策略等鲜有涉及,也有院校只是概括性地将教学方法得当作为评价标准。虽然在测评体系中包含诸如教学过程、实验(实践)过程、实训过程等项目,但是相对于45所被调查高职院校计算所得的频次百分比较低,分别占15.56%、13.33%、2.22%,而且主要集中于考察课堂纪律、有无作业布置与批改、试卷命题质量、仪器与设备是否发生故障或突发情况、教师讲解与指导情况、实验报告的批阅情况等内容,过于强调教师“教”的部分,对学生如何“做与学”的测评指标明显不足。此外,针对顶岗实习的责任考核与管理,也仅仅从是否下达明确的实习任务、学生遵规守纪情况、顶岗实习报告撰写情况等方面进行考核,缺乏明确行业企业参与和提高顶岗实习教学效果的评价细目与质量标准。
(四)测评指标赋值技术未能充分体现信息化背景下多用量化数据描述和分析人才培养状态的特征
调查显示,根据评价指标观测点的重要程度进行明细指标划分,并设有分值,各级别均有权重系数的院校只占10.42%,而56.25%的院校没有细分指标或没有赋予权重系数。就量化还是质性的问题,方元春等在谈及高职人才培养质量保障体系构建时曾指出,即使一些具有模糊性的指标内容,也应该通过确定相应的权重系数,建立数学模型,使之相对量化[1]。而实际运用量化方法进行教育质量测评的院校只占4.44%,80%的院校完全采用定性指标。即便确定了权重系数,权重的大小往往由设定者凭经验决定,较为多见的是均衡赋权方法,即在指标体系中,同级指标(或观测点)的权重相等,上下级指标(或观测点)的权重等差变动,较少采用先进的评价模型及科学系统的指标权重测算方法,这种带有较大主观性的赋权方法在一定程度上背离了测评的本质。采用2种或2种以上形式进行测评的37所院校中只有10所院校(组内占比约27.03%)根据测评主体设计了不同的测评量表,其余院校均采用统一的测评量表。此外,处于不同发展阶段的高职院校所面临的外部环境具有动态性,然而院校普遍存在将一套教育质量测评指标沿用较长时间的现象,缺乏对指标体系的不断审核与修正。
四、高职院校教育质量测评工作改革设想
(一)评价主体方面,强调利益相关者群体的宽范畴和互动性
为适应工学结合的人才培养模式改革,高职质量评价需要将影响工学结合人才培养质量及受到工学结合人才培养活动影响的所有关键利益相关者都纳入监测范围。包括政府、中介评价机构(行业协会)、企业单位、院校、教师、学生在内的多元化评价主体,既能发挥利益相关者评价的导向作用,又能保证更多利益相关者的利益。在研究利益相关者需求的基础上,还要详细分析利益相关者的贡献,体现利益相关者在高职工学结合人才培养中的能动性和高职院校与利益相关者之间的互惠性。 (二)评价客体及指标方面,突出多角度分类研究
鉴于不同专业类别及不同课程属性的差异性,高职质量评价也应体现这种差异性。“工学结合、校企合作”只是适合高职教育人才培养模式的大框架,对于专业而言,需要区分能力本位“五阶段”、“订单式”、“工学并进式”、“工学交替式”、“2 1”等不同专业培养模式,研究如何配套相应的评价体系。对于课程而言,可以从多个角度进行类型划分。例如,通识课程与专业学习领域课程;专业通识课、专业核心能力课与综合实践训练;公共选修课与专业必修课;传统课程与课改课程(或基于工作过程的项目化课程)等。顶岗实习作为工学结合实施和运行的重要环节,也是实现校内教学活动与职业岗位对接的基本途径,也不能仅以实习报告进行效果评定与总结。在课程评价或者顶岗实习评价中,都需要进一步深入研究如何构建具有专业针对性的评价量表及其指标群,充分体现高职教育评价内容的多样化和相关性特点。
(三)评价模式方面,寻求实现有效评价的新模式
基于已有评价的经验,在综合分析院校自身内外环境和资源条件的基础上,一方面,高职院校可以借助平衡计分卡(BSC)③、ISO认证体系等多维关系框架构建或调整现有教育质量测评体系;另一方面,也可以在那些已经存在,并且在一直寻求弥补其不足的结构基础上,为洞察质量管理的真正难题和面对现实的挑战提供一种更为全面且易于理解的绩效管理新框架[2]。这可以促进高职教育质量评价模式的创新,加强评价的操作性和科学性。
(四)评价方法方面,强调四个结合
在采用定量与定性分析相结合方法的前提下,高职质量评价未来发展需注意如下方面:第一,借鉴与创新相结合。国外职业教育在绩效评价方面的经验,为我国提供了有意义的借鉴,同时也要切合高职院校所在地区实际,鼓励“本土化”特色的形成。第二,多元统计与分析相结合。由于影响高职工学结合人才培养质量的要素很多,指标的分层次设计、各级指标权重确定都要尽可能避免使用单一的研究方法,力图提高评价结果的准确性和可信度。第三,理论研究与实证分析相结合。理论与实证是对问题进行系统研究的两个方向,从深层次理论角度入手,再在实证研究的基础上形成完整的评价系统,两者相辅相成。第四,结果评价和过程评价相结合。不仅要对教育活动的结果进行衡量,更要强化对项目化课程的过程评价;强化对顶岗实习、毕业实习、校内综合实训等项目的过程评价。
(五)测评体系的再评价方面,探索发展性绩效评价研究
测评体系本身也存在质量问题,评价结果不尽如人意,不能排除测评体系固有缺陷的影响。根据权变管理理论,实践中不存在一成不变的、普遍适用的“最好”的绩效评价指标体系。应该考虑如何对现行测评指标及其权值变化进行复核;如何检验和比较不同评价体系的实施效果;如何调整具有说服力的质量标准;如何形成自我修正和持续改进的良性发展机制,增强评价体系的实效性和评价效果。