-
评价阶段的方法及策略
普通类 -
- 支持
- 批判
- 提问
- 解释
- 补充
- 删除
-
-
一、评价的内容框架
这里介绍的评价大体包括以下四个部分:教学评价、课程评价、资源评价以及培训评价(如图1所示)。
图1 评价的内容框架
-
二、教学评价
教学评价是以教学目标为依据,按照科学的标准,运用一切有效的技术手段,对教学过程及结果进行测量,并给予价值判断的过程。教学评价具有诊断、激励、调节以及教学的作用。依据不同的分类标准,教学评价可作不同的划分。例如,按评价基准的不同,可分为相对评价、绝对评价和自身评价;按评价内容的不同,可分为过程评价和成果评价;按评价功能的不同,可分为诊断性评价、形成性评价和总结性评价;按照评价分析方法的不同,又可分为定性评价和定量评价。
(一) 教学评价的原则
1.客观性原则
客观性原则是指在进行教学评价时,从测量的标准和方法到评价者所持有的态度,特别是最终的评价结果,都应该符合客观实际,不能主观臆断或参入个人情感。因为教学评价的目的在于给学生的学和教师的教以客观的价值判断,如果缺乏客观性就失去了意义,因此而导致教学决策的错误。
2.整体性原则
整体性原则是指在进行教学评价时,要对组成教学活动的各方面做多角度,全方位的评价,而不能以点代面,一概而论。由于教学系统的复杂性和教学任务的多样化,使得教学质量往往从不同的侧面反映出来,表现为一个由多因素组成的综合体。因此,为了反映真实的教学效果,必须把定性评价和定量评价综合起来,使其相互参照,以求全面准确的判断评价客体的实际效果,但同时要把握主次,区分轻重,抓住主要的矛盾,再决定教学质量的主导因素。
3. 指导性原则
指导性原则是指在进行教学评价时,不能就事论事,而是要把评价和指导结合起来,要对评价的结果进行认真分析,从不同的角度找出因果关系,确认产生的原因,并通过及时的,具体的启发性的信息反馈,使被评价者明确今后的努力方向。
4. 科学性原则
这条原则是指在进行教学评价时,要从教与学相统一的角度出发,以教学目标体系为依据,确定合理的统一的评价标准,认真编制、预试、修订评价工具;在此基础上,使用先进的测量手段和统计方法,依据科学的评价程序和方法,对获得的各种数据进行严格的处理,而不是依靠经验和直觉进行主观判断。
5.发展性原则
教学评价是鼓励师生、促进教学的手段,因此教学评价应着眼于学生的学习进步和动态发展,着眼于教师的教学改进和能力提高,以调动师生的积极性,提高教学质量。(乌美娜,1994)
(二)教学评价的分类
1.根据评价在教学活动中发挥作用的不同,可把教学评价分为诊断性评价、形成性评价和总结性评价三种类型。
(1)诊断性评价
诊断性评价是指在教学活动开始前,对评价对象的学习准备程度做出鉴定,以便采取相应措施使教学计划顺利、有效实施而进行的测定性评价。诊断性评价的实施时间,一般在课程、学期、学年开始或教学过程中需要的时候。其作用主要有二:一则,确定学生的学习准备程度。二则,适当安置学生。
(2)形成性评价
形成性评价是在教学过程中,为调节和完善教学活动,保证教学目标得以实现而进行的确定学生学习成果的评价。形成性评价的主要目的是改进、完善教学过程,步骤是:
①确定形成性学习单元的目标和内容,分析其包含要点和各要点的层次关系。
②实施形成性测试。测试包括所测单元的所有重点,测试进行后教师要及时分析结果,同学生一起改进、巩固教学。
③实施平行性测试。其目的是对学生所学知识加以复习巩固,确保掌握并为后期学习奠定基础。
(3)总结性评价
总结性评价是以预先设定的教学目标为基准,对评价对象达成目标的程度即教学效果做出评价。总结性评价注重考察学生掌握某门学科的整体程度,概括水平较高,测验内容范围较广,常在学期中或学期末进行,次数较少。
2.根据评价所运用的方法和标准不同,可分为相对性评价和绝对性评价。
(1)相对性评价
相对评价法是从评价对象集合中选取一个或若干个对象作为基准,将余者与基准做比较,排出名次、比较优劣的评价法。相对评价法便于学生在相互比较中判断自己的位置,激发竞争意识。
(2)绝对性评价
绝对评价法是在被评价对象的集合以外确定一个客观标准,将评价对象与这一客观标准相比较,以判断其达到程度的评价方法。绝对评价设定评价对象以外的客观标准,考察教学目标是否达成,可以促使学生有的放矢,主动学习,并根据评价结果及时发现差距,调整自我,具有明显的教育意义。
(三) 教学评价的方法
教学实际成果的评价主要有测验、调查、观察、档案袋、量规等几种方法,它们也是教学活动中其他类型评价的主要工具。
1.测验(test)
测验用于对学生学习结果的评价,并据此说明教学设计成果的效用,发现其不足之处。测验形式通常分为供答题(主观题)和选答题(客观题)两大类。供答题要求学生对规定的题目,根据自己掌握的知识自由作答,具体有命题作文、问答题、填充题和演算题等。选答题是指要求学生在题目所附带的两个或两个以上答案中选择正确答案的测验题,具体有是非选择题、多项选择题、配对题和组合题等。这两大类测验题各有利弊并恰好形成互补:在评价较低层次的知识记忆、一般理解和判断能力方面,选答题比供答题效率高;在评价较高层次的理解能力、归纳和推理能力、组织和表达能力方面,供答题(除填空题之外)比选答题效果好;在编制题目的技巧方面,供答题比选答题容易掌握;在判断和反馈答案的正误方面,选答题比供答题容易处理。因此,在一次测验中,最好包括各类题型,分别发挥它们各自的特长,如可把主观和客观题编为一题,及要求学生在选择了自己的答案后,进一步说明所做选择的理由。
2.调查(survey)
调查是通过预先设计的问题请有关人员进行笔答或者口述,从中了解情况,获得所需要的评价资料。通过调查,可以了解学生的学习兴趣、态度、习惯和意向,对教学过程的意见等,从而判断教学设计成果的有效程度。调查的主要形式有问卷(questionaire)和访谈(interview)。问卷是用书面形式进行调查,也称征答。评价者通过分发征答表,要求被调查者填写自己的意见,而后整理分析。其优点是一般不受时间和空间限制,可以一次性获得较多资料。它可以用无记名方式进行,如被调查者充分理解其意义和保密性,所收集的资料较真实可靠。问卷一般用来获得事实或了解态度。访谈是评价者当面接触评价对象,用口头形式进行调查,收集资料,因此也称面谈或访谈。这种调查形式提问灵活、回答快捷,特别适宜于调查对象人数较少时采用。访谈调查的内容与问卷调查大同小异。如果访谈不是一对一进行,而是有几个调查对象同时参加,就成了座谈会。只要组织得好,座谈会可以在较短的时间内得到较多的评价资料,还可以通过与会者的互相启发、互相补充,为深入调查提供线索。但是,评价者要注意在座谈过程中,要使调查对象都有一定的发言机会。
3.观察(observation)
观察是评价者亲临教学现场,了解教师和学生开展教学活动的情况和问题,是一种及时收集反馈信息的方法,收集的资料比较真实可靠。为了更有目的地进行观察和提高观察质量,评价者可以使用专门编制的观察表,或者利用摄像机先将教学过程摄录下来,事后再通过播放进行观察,从而提高评价资料的可靠性。
4.档案袋评价(portfolio assessment)
档案袋评价是一种以学生为主体的教学评价方式。它是根据教育教学目标,有意识地将各种有关学生表现的作品及其他证据收集起来,通过合理的分析与解释,反映学生在学习与成长过程中的优势与不足,反映学生子啊达到目标过程中付出的努力与进步,并通过学生的反思与改进,激励学生取得更好成就的评价过程。其主要内容包括学生自己、教师或同伴作出评价的相关材料,学生的作品、反思还有其他相关的证据和材料等。(马兰,张文杰,2012)
利用档案袋的进行评价的最大的优势是向教师、家长和学生展示一个真实、丰富的学习过程,最大限度地提供有关学生学习和发展的重要信息,而且,学生作为成长档案袋的主人,能够通过自我反思和自我评价,加强学习过程中的能动性,提高测评的效度。
档案袋评价的设计
(1)决定建档目的,即建立档案袋的主要用途何在
档案袋在课堂教学中能发挥的作用有:展示学生的最优成果,促进学生的进步;评估学生学习与发展的水平;向家长、接班教师传递信息;评价某内容学习的程度如何;展示已经完成了什么;判定一门科目的等级。
(2)确定评价主体、评价对象及评价内容
在使用档案袋测评学生的学习发展中,需要学生本人、学生家长、教师及同伴多方面的配合,动员这些人员形成团队,并根据档案袋要反映、评价、促进学生的哪一方面发展共同讨论并确定评价内容。档案袋的内容首先具体体现在档案袋的封面上,封面行的栏目由师生协商确定。
(3)确定要收集的东西
即决定哪些成果放入档案袋,每种成果要多少样本。档案袋不是简单地文件夹,其中的材料应根据特定目的而收集。如果创建档案袋的目的是展示学生的最优成果,那么收集的内容应该是学生认为最满意或最重要的作品;如果创建的目的是评估学生学习与发展的水平,那么收集的内容就要结构化或半结构化,以便在不同学生之间进行比较。
(4)确定评分的程序
即明晰评价的标准,让学生知道作品的要求及他们的作品怎样被评价,根据需要可采用等级或分数进行评价。
(5)在教学与交流中使用档案袋
即怎样发挥档案袋的作用,使其服务于教学与学习评价。
5.量规(gauge)
表面上看,量规通常是一个二维表格,它会从与评价目标相关的多个方面详细规定评级指标。量规专家海蒂.古德瑞齐将它定义为“为一项工作列出标准的评分工具”。我国教育技术专家祝智庭教授则将其定义为“一种结构性的等级量化评价工具”。值得强调的是,量规并不是全新的概念。在传统的教学评价中,特别是在评价非客观性试题或任务时,人们已经自觉不自觉地应用了这种工具。例如,教师对学生的作文进行评价时,往往会分别就内容、结构、卷面等方面所占的分数给予规定,以便更有效的进行评价又如教师在期末评价学生一学期的表现时,也往往会从学生的学业成绩、劳动与纪律、同学关系等多个方面进行综合考虑,给出优、良、中、差的等级评定。
评价量规作为一个评价工具,是对某样东西进行评价或者等级评定的一套标准,具体而言是对学生的作品、成果、档案袋或者表现进行评价或者等级评定的一套标准,它包含评价作品的标准或所需的期望,它详细地为各等级(从优到差)质量描述出其标准。(马兰,张文杰,2012)
6.真实性评价
当前评价虽然仍是主要采用纸笔测验、标准化考试等教育评价方式,主要针对基础知识和技能及概念学习,对于问题解决虽有所涉及,但主要限于简单问题,且比重有限,这不利于引导教师进行实践变革。教育决策者和实践者应注重问题解决能力、高阶思维能力等方面的评价,研究者应重点研究和开发真实评价——不仅学习境脉应该是真实的,评价也应发生在真实的境脉中。(郑太年等,2014)
真实性评价(authentic assessment),是检验学生学习成效的一种评价方式,要求学生运用所学的知识和技能去完成真实世界或模拟真实世界中一件很有意义的任务。与传统评价的过分强调学生学业成绩、过多地强调量化的特点相比,真实性评价重点在于检测学生对知识和技能的掌握程度,不仅改变了学生、教师、家长的角色,而且扩展了人们对于“评价”的认识,在很大程度上弥补我国原有评价方式的不足,正成为新的研究热点。
“真实性评价”一词首先是由美国评价培训学会(Assessment Training Institute,简称ATI)的专家Grant Wiggins在1989年所提出的,其概念是:“真实性评价是检验学生学习成效的一种评价方式,是基于真实任务情境的评价,它要求学生应用必需的知识和技能去完成真实情境或模拟真实情境中的某项任务,通过对学生完成任务状况的考察而达到培养学生思考问题、反思实践、提高研究技巧的目的。”其后,美国教育评价专家Jon Mueller等人组织中小学不同学科的教师尝试在实践中运用,并对真实性评价的要素、操作程序等方面进一步细化并完善。通俗而言,真实性评价就是让学生完成一个真实性的任务,用以考察学生知识与技能的掌握程度,以及实践、问题解决、交流合作和批判性思考等多种复杂能力的发展状况。
如想详细了解真实性评价可访问http://www.cnsaes.org/homepage/saesmag/jyfzyj/2007/1B/gj070106B.htm
(四)工具与技术支持
网上的量规生成器可以为制作者提供帮助。下面是两个典型的量规制作网站:
1.教师技术之家提供的量规生成器
网址:http://teachers.teach-nology.com/web tools/rubrics/
特点:提供评定阅读技巧、口头表达、研究写作、报告、展示等225种活动的量规生成器,教师只需按要求填写必要的内容,就可以打印出所需的量规来。
2.量规之星(Rubistar)的量规生成器
网址:http://rubistar.4teachers.org/
特点:提供艺术、数学、多媒体、音乐、口投表达、产品、研究、写作、科学、工作技巧9个类别的30余种量规生成器,并且教师可以根据自己的需要对量规各个结构分量的内容进行调整。免费注册后,更可以将自己修改的量规存在该网站的量规库中,供日后随时浏览使用。
此外,还有爱弥儿http://www.emile.com.cn/lianggui/index.asp等量规资源站点。
使用网上量规生成器最需要注意的是,为了使这些量规生成器更有价值,网站所提供的量规都是在相应主题下能够使用的,也就是说,这些量规已经去掉了它们的个性化成分。而相对来讲,教师要评价的内容具有个性化,因而修改量规,使其更切合具体的学习需要就显得十分必要了。
-
三、课程评价
(一)课程评价的过程
课程评价的过程一般可以化分为八个阶段。如下图所示。
(二)课程评价的含义、对象、功能
1.课程评价的含义
课程评价是系统地运用科学方法,对课程的过程和产物,收集信息资料并作出价值判断的过程
2.课程评价的对象
从课程评价的含义来看,其对象包括课程的过程和产物。那么,课程的过程和产物又包括哪些成分呢?广义的课程产物,主要有课程目标、内容的选择和组织、课堂教学、学业评价。就其过程而言,主要包括课程设计、课程管理、课程实施等。
3.课程评价的功能
课程评价如此复杂,其功能和意义究竟何在?简而言之,服务于形成性评价和总结性评价两大功能。这两个术语是由斯克里文首先提出并给予界定的。
在课程评价中,形成性评价是课程在设计、试用、实施等过程中所进行的评价,以便作出判断和决策,采取修订、完善、放弃等行动。总结性评价主要是在课程试行、实施告一段落之后进行的评价,对课程设计、实施、效果等作出总体判断,并对有关人员作出绩效的评定和考核。
在形成性、总结性两分法的基础上,还可以对评价功能作出更细致的化分。艾斯纳进一步指出了评价的5个功能,而台湾学者黄政杰则把课程评价功能总结为7种。(如表1所示)(饶玲,2004)
表 1 艾斯纳和黄政杰对于课程评价功能的化分
学者
形成性评价
总结性评价
艾斯纳
估计教育
需要
诊断
改良课程
比较
确定目标达成
黄政杰
需要评估
缺点
诊断
课程修订
课程
比较
课程方案的选择
目标达成程度的了解
绩效
判断
(三)课程评价的原则
1.目的性原则
目的性原则是指在进行评价时,必须具有明确的目的。课程评价的根本目的在于提高教学质量,促使学生德智体美等全面发展,达到预定的目标。
2.公平性原则
公平性原则是指在评价活动中,要秉公办事,在真理面前人人平等,一视同仁,体现公平竞争性。
3.客观性原则
客观性原则是指在进行评价时,必须采取客观的事实求是的态度,尊重客观规律,不主动臆断。
4.全面性原则
全面性原则是指在评价时,一方面要全面考虑教育活动中的各种因素,使评价标准中的各种因素都恰如其分的各得其所。
5.科学性和可行性相结合的原则
科学性是指在评价过程的各个环节都有符合科学要求,遵循评价活动的客观规律,采用先进现代的评价工具和方法来进行。可行性是指评价程序、方法和标准等简单易行,能被参与者所理解和接受。
6.评价和指导相结合的原则
评价和指导相结合是指在进行评价时,不能为评价而评价,要把评价和指导实际工作结合起来,只评价对象能够发扬优点,克服缺点,争取更大的进步。(饶玲,2004)
(四)课程评价的基本方法
1.量化评价
量化评价方法又称定量评价方法,是一种以数字和度量来描述、说明教育现象、课程实践进而从数量的分析与比较中推断评价对象成效的方法。量表评级与测验,或者说数字、计算、统计分析是量化评价方法采取的主要手段。
2.质性评价
质性评价方法是力图通过自然的调查,全面充分地提示和描述评价对象的各种特质,以彰显其中的意义,促进理解。质性评价方法也称为自然主义的评价方法。
质性评价是描述性的,评价资料的收集多以文字或图片说明,而不是数字。即使采用统计数据,也是为了描述现象,而不是对数据本身进行相关分析。
总之,质性评价方法与量化评价方法有着不同的目的、逻辑、设计、功能和技巧。前者更侧重于全面反映教育现象和课程现象的真实情况,为改进教育和课程实践提供真实可靠的根据。(饶玲,2004)(五)课程评价的模式
1.目标评价模式
目标(objective)评价模式是在泰勒的“评价原理”和“课程原理”的基础上形成的。泰勒认为,所谓教育评价、课程评价,就是评价实际的课程方案子何种程度上达成了教育目标。在这个理论观点的指导下,泰勒提出了课程评价的步骤和方法,如下图所示。泰勒的评价原理是以目标为中心来展开的,主要针对20世纪初形成并流行的常模参照测验的不足而提出的。(钟启泉,2007)
图 2 泰勒目标评价模式的步骤和方法
2.差距评价模式
普罗弗斯运用系统管理科学理论,提出了差距评价模式。差距评价模式主要体现在“差距”上,即标准与实际的表现之间的差距,并以此作为给进课程计划的依据。该模式吧评价内容化分为设计、配置、过程、成果和成本五个方面,每个方面的评价过程又化分为若干环节,由此对每个方面以及整个方案作出改善、维持或终止的决策。(见表2)(钟启泉,2007)
表 2 普罗弗斯差距评价模式的总体框架
调查实际表现
确定理想标准
对比标准和表现
发现标准与表现之间的差距
作出改善、维持、或终止的决策
设计
配置
过程
成果
成本
3.CIPP评价模式
CIPP是由背景评估(context evaluation)、输入评价(input evaluation)、过程评价(process evaluation)、成果评价(product evaluation)这四种评价名称的英文第一个字母组成的略缩词。斯塔弗尔比姆认为,评价不应局限在评定目标达到的程度上,而应该是为课程决策提供有用信息的过程,因而他强调,重要的是为课程决策提供评价材料。
4. 外观评价模式
外观(countenance)评价模式是由斯塔克提出的。他认为,评价应该从三方面收集有关课程的材料:前提条件、相互作用、结果。前提条件是指教学之前已存在的、可能与结果有因果关系的各种条件;相互作用是指教学过程,主要是指师生之间和学生之间的关系。结果是指实施课程计划的效果。对于这三个方面的材料都需要从两个维度——描述与批判——作出评价。描述包括课程计划打算实现的内容和实际观察到的情况这两方面的材料;评判也包括根据既定标准的评判和根据实际情况的评判两种。整个评价模式如表3所示。(钟启泉,2007)
表 3 斯塔克外观评价模式
矩阵
领域
描述统计
判断统计
打算做的
观察到的
标准
判断
前提条件(教师与学生的特征、课程内容及教材、社会背景等)
相互作用(交流流程、时间分配、事件序列、社交气氛等)
结果(学生成绩、态度、动作技能、队教师及学校的影响等)
5.CSE评价模式CSE(Center for the Study of Evaluation)是美国加利福尼亚大学洛杉矶分校评价中心的一个简称,CSE提出了一种更加务实的评价模式,在美国得到了广泛运用。这种评价模式分为4个阶段:对需求进行评估,对于计划的选择,形成性评价,总结性评价。
上面大体谈了几种对有一定参考价值的评价模式。可以看到,这些评价模式虽然各有侧重点,但也有共同之处。概括起来,大致有以下几点:①评价是一个过程。②评价过程主要是对信息、数据和证据的收集。虽然信息收集的方法、侧重点和内容略有不同,但是信息收集这一点是相同的。③都有调控的因素。不论是过程性评价,还是形成性评价,亦或是其它评价,都是在过程中进行调控、修改和完善,是一个动态推进的过程。④尽管使用的步骤和关注点有所不同,但它们都从不同角度和程度考量所设置的具体教育目标系统与实际效果之间的差距。
6.自然式探究评价模式
自然式探究(naturalistic inquiry)评价模式是建立在现象学、解释学、日常语言分析哲学以及符号互动等理论之基础上的。自然式探究评价模式认为,科学(严格意义的科学)探究的方法仅是人类许多种求知方法中的一种。评价的最佳方式是在自然背景下对社会行动进行现场研究并作出描述。它不主张采用固定的研究方法。
它的主要特征包括: 注重自然情境的研究;注重定性的研究方法;注重从事实归纳中获取理论;注重个案分析;注重缄默的或不言而喻的知识;研究设计是逐渐形成的等等。7.应答模式
在评价的应答模式中,Stake提出了评价过程中评价者和评价听取人之间相互作用的12个步骤(准确地说,应该是关于评价问题的12个方面)。
这 些步骤是:(1)确定评价范围(2)了解评价活动(3)确定评价目的和重点(4)形成议题和问题(5)确定所需的资料(6)选择观察者、判断者和评价工具 (7)观察指定的前提条件、过程因素和结果因素,同时评价人员还要搜集各种资料,从事判断(8)理论总结,对方案进行描述性材料的准备或个案研究(9)检 查其有效性(10)筛选组合(11)准备正式报告(12)与方案当事人、评估听取人和方案执行人员交谈。-
四、资源评价
(一)数字教育资源评价的基本要素
1. 评价目标
评价目标是任何评价活动能够启动的先决条件。评价的所有标准都是围绕目标来制定的,数字教育资源的评价目标不仅包括对数字教育资源在教育性、社会性等方面的质量检验与优劣鉴定,同时也是对数字教育资源发展新方向及时、动态的预测与引导。
2. 评价主体
评价主体即评价者。数字教育资源的评价主体多样,不同的评价主体由于所处的立场和专业角度不同,所关心的侧重点也有差异。根据参与主体的特定专业身份,评价主体可分为教育资源的管理者、教育技术专家、学科专家以及使用者等几类。在评价时,根据具体评价需要,评价主体可以是单独个体,也可以是多个主体的组合。
3. 评价对象
评价对象,即被评价者。技术的驱动深刻地影响着教育资源的内涵和存在形式,人们对教育资源“质量保证”的要求越来越高。因此,评价对象不应仅仅是常规的数字教育资源实体, 随着评价不断深入和推广,还可以扩展至对资源开发商资质和支持服务能力的全面考察,从而多渠道保证评价效能。
4. 评价方法
评价方法是实施数字教育资源评价的手段与途径。目前应用于数字资源评价的常见方法包括元数据方法、定性与定量相结合的方法、网络计量方法。教育资源元数据指的是用于描述资源的数据,是对资源内容形式的全方位揭示, 依靠教育资源描述的元数据, 可以在某种程度上对资源的价值作出一定的判断。定性与定量相结合的方法是有关的定性方法和定量方法互补互促的高效产物,在主观评价上引入精确技术手段,将定性问题定量化处理,主流的方法有层次分析法、因素分析法、回归分析法、模糊综合评判法等。网络计量方法是指在网络环境中,运用文献计量、信息流计量、网络链接分析等方法,对数字化资源的组织、存储、分布、传递、相互引证及其功能和开发利用等作出定量描述并进行统计分析,以揭示其数量特征和内在规律的方法。例如通过资源的链接分析,由链接数量和频率的多少反映出资源质量的好坏。
5. 评价指标
评价指标是评价目标的可操作化分解,是评价目标某个部分的具体描述,回答对评价对象的哪些方面进行评价的问题。评价指标是根据评价目标和评价主体来设计的。数字教育资源的评价重点考察反映教育资源质量好坏并有利于教育资源优化发展的影响因素。
(二)数字教育资源评价的基本方式
针对不同的评价主体, 基本的评价方式有管理者评价、专家评价、用户评价、机器评价等。管理者评价面向教育资源运营系统的管理和运维,侧重于评价资源的系统性、丰富性、组织性、准确性、高效性、安全性、稳定性;专家评价是应用最为广泛的评价方式,领域专家往往更熟知教育资源的体系结构、教学特点和应用方向,可以凭借专业经验多方位地考察教育资源; 用户评价是从用户的角度考察资源是否实用、好用、易用,属于开放式过程性评价,是对资源非正式的及时反馈; 机器评价是借助技术实现的客观量化评价,由计算机智能技术自动对资源的技术参数进行测试,以及对资源的引用、点击、转发、收藏等信息进行分析计算,形成直观的评价结果。常用的数字教育资源评价方式与评价方法见下表。(柯清超,2014)
表 4 数字教育资源的评价方式和方法
(三)数字教育资源的评价机制与评价策略
为实现数字教育资源的有效评价,推动优质数字资源的汇聚与共享,需要制订科学的评价策略,建立可行的评价机制。
1.定性评价与定量评价相结合
定性和定量结合的方法是最常见的综合评价方法,定性与定量相互补充,以定性评价的全面性和成熟度来弥补定量评价的不稳定性, 以数学模型分析的可测定和客观性来弥补定性评价的经验判断。特别是从网络信息资源评价中引进的网络计量法, 以“链接分析”和“流量分析”等方法,提供资源内在链接质量或访问量的客观数据,为资源的定量评价带来新的视角。
2.人工评价与机器评价相结合
管理者评价、专家评价、用户评价和基于机器的自动化评价各有优势,为使评价客观、公平、可操作,应结合多种评价方式。在资源开发过程中聘请专家从专业角度分析教育资源中存在的不足;在资源投入使用前聘请有关专家组成评价小组对教育资源进行全面的评议; 在资源发布之后通过开放式用户评价,如资源评级、反馈意见等方式,实现资源的持续性、真实性评价;管理者评价则侧重于资源的安全性、稳定性,保证资源运行顺利、维护高效。机器评价弥补了主观意见的不足,采用一定的工具自动记录和统计该资源的引用、点击、转发、收藏等信息,然后通过统计分析这些信息来评估资源。
3.线上评价与线下评价相结合
组织专家、学科教师对数字资源进行集中评价,针对资源评价中出现的问题进行研讨交流,采用定量与定性评价相结合的方法,是线下数字资源评价的常用策略。网络技术为资源评价提供了新的平台与机制,基于网络的在线评价系统支持与各类教育共享资源平台无缝对接, 实现资源评价与推送的高效管理。网络平台集教育资源申报、导入、审批、评价与管理于一身,适合于资源入库、资源发布和资源日常使用检测,评价人员可以借助网络平台开展评价活动,评价数据通过网络平台实现自动统计分析,可以大大提高资源评价的效率。线上评价与线下评价相结合的方式,是数字资源评价的有效机制。
4.资源建设、资源应用与资源评价相结合
数字教育资源的建设、应用和评价相结合,建立评建结合、评用结合的机制将能保证数字教育资源的建设和应用进入到一个良性循环的状态。国家数字教育资源公共服务平台初步建立一个以评价为核心,实现“资源准入—资源共享—资源优化”的机制。资源准入:以国家资源公共服务平台为依托,建立统一的资源评审机制,采用线上评价与线下评价、定量与定性评价相结合的评价方式,评价通过的资源方能进入公共服务平台;资源共享:针对义务教育的公益性教育资源通过网络免费为师生提供;资源优化:通过线上用户评价收集使用者群体对资源的实际使用效果的评价意见,公共服务平台根据专家评价、用户评价与网络计量评价进一步优化、完善已有资源,建立有效的淘汰与鼓励机制,推动数字教育资源的良性进化。
-
五、培训评价
(一)培训评价的原则
1.客观性原则
在评估过程中,评估人员一定要坚持实事求是的态度,不能主观臆断或掺杂个人感情,从而客观真实地评价和反映培训质量、培训效果与培训价值。
2.系统性原则
培训评估是一项系统工程,错综复杂的多种因素具有整体性和关联性,各项评估指标的制定应当各有侧重、相互补充并密切配合,各指标之间有一定的数量和权重比例关系,使整个评估指标体系统一、协调。
3.方向性原则
评估本身不是目的,而是通过评估使被评对象明确努力的方向,持续改进和完善培训工作,提高培训质量和效益。在制定评估指标体系时,要反映职业培训的客观规律,符合培训改革和发展的方向,并具有一定的前瞻性和超前性,从而有利于引导和规范培训者的行为。
4.操作性原则
制定的评估方法在操作上可行,评估标准易于为评估者和被评估者掌握、接受、理解,所需的评估费用、设备、时间和人力要合理。
5.定性与定量相结合的原则
既要避免单纯依靠定性评估的主观性,又要克服单纯依靠定量评估的机械性,因此,必须把定性评价和量化评分有机结合、互相补充。
定性评估是指运用经验和专业知识,对培训活动进行主观评价,继而做出优、良、差不同等级结果的评估。例如对培训需求分析、培训方案制定、培训方法选用等因素进行考量和测评,做出等级划分。定量评估是将培训活动中各相关要素进行量化,根据实际数据测评培训项目实施的基本情况。例如对培训组织管理进行考评时选取出勤率、迟到率、早退率等指标进行量化评估。
实际操作中,定性评估和定量评估各有利弊。定性评估测评深入但较为主观,定量评估便于衡量但难以深入。由于培训效果在量化上存在一定难度,现有评估通常都以定性评估为主,因此,需要逐步加强量化评估,尽可能将“行为、态度”等定性指标数据化,开展精度量化评估如需求调查覆盖面等,以及准量化评估如培训效果等级划分等,进行有关个人绩效、组织绩效提升与培训的关联度研究。
6.指导性原则
指导是评估的最高目标和价值追求。评估结束后,要及时反馈评估结论,并提出带有指导性的意见、建议,指导被评对象持续地改进、完善培训项目或培训工作。
(二)培训评估的方法
1.柯式评估
由国际著名学者威斯康辛大学(Wisconsin University)教授唐纳德.L.柯克帕特里克(Donald.L.Kirkpatrick)于1959年提出,是世界上应用最广泛的培训评估工具,在培训评估领域具有难以撼动的地位。
柯氏培训评估模式,简称“4R”,主要内容:
图 3 柯式评估四层次模型
反应评估(Reaction) :评估被培训者的满意程度;
学习评估(Learning): 测定被培训者的学习获得程度;
行为评估(Behavior) :考察被培训者的知识运用程度;
成果评估(Result):计算培训创出的经济效益。
表 5 柯式评估模型
层次
评估内容
评估方法
评估时间
评估单位
反应评估
衡量学员对具体培训课程、讲师与培训组织的满意度
问卷调查
面谈观察
综合座谈
课程结束时
培训单位
学习评估
衡量学员对于培训内容、技巧、概念的吸收与掌握程度
提问法
笔试法
口试法
模拟练习与演示
角色扮演
演讲
心得报告与文章发表
课程进行时
课程结束时
培训单位
行为评估
衡量学员在培训后的行为改变是否因培训所导致
问卷调查
行为观察
访谈法
绩效评估
管理能力评鉴
任务项目法
三个月或
半年以后
学员的直接主管上级
结果评估
衡量培训给公司的业绩带来的影响
个人与组织绩效
指标、生产率、缺勤率、离职率、成本效益分析、组织气候等资料分析
客户与市场调查
半年、一年后公司绩效评估
学员的单位主管
(1)反应评估
反应评估是第一级评估,即在课程刚结束时,了解学员对培训项目的主观感觉或满意程度。第一级评估目标往往包括对培训项目的肯定式意见反馈和既定计划的完成情况。主要利用问卷调查来收集受训人员对于培训项目的效果和有用性的反应。1.反应评估
反应层面需要评估以下几个方面:内容、讲师、方法、材料、设施、场地、报名的程序等。对这个层次的评价,首先要有总体的评价,包括对讲师和培训科目、设施、方法、内容、自己收获的大小等方面的看法。
这个层面的评估易于进行,是最基本、最普遍的评估方式。可以作为改进培训内容、培训方式、教学进度等方面的建议或综合评估的参考, 但不能作为评估的结果。
(2)学习评估
这是培训效果测定的第二级评估,目前最常见、也是最常用到的一种评价方式。着眼于测量学员对培训内容的理解和掌握程度,即评估学员在知识、技能、态度或行为方式方面的收获。技能类的培训,考察学员有没有掌握这些技能;知识类的培训,考察学员对讲授的知识理解、记忆得如何;态度教育,就要设定恰当的方式来测量学员对讲授内容的接受程度。
学习层面主要的评估方法有:考试、演示、讲演、讨论、角色扮演等多种方式。
评估往往在培训之中或之后进行,由教师或培训辅导员来负责实施。这一级评估可以书面测试、操作测试、等级情景模拟等方法来了解受训人员在培训前后,知识以及技能的掌握方面有多大程度的提高,受训后是否掌握了较多的知识,较多的技能,是否改变了态度。
(3)行为评估
行为评估即评估学员在工作中的行为方式有多大程度的改变。可以通过上级、同事、下级、客户等相关人员对受训者的业绩进行评估来测定,主要测定受训者在受训后行为是否改善,是否运用培训中的知识、技能,是否在交往中态度更正确等。
行为层面的评估主要有观察、主管的评价、客户的评价、同事的评价等方式。这个层面的评估可以直接反映课程的效果;可以使高层领导和直接主管看到培训的效果。评估的实施时间在培训后的几周或几个月之后。
好多培训评估最终的结果不甚了了,主要的问题就出在第三个层次:部门主管在这个阶段中没有履行自己的职责,导致员工尽管具备改变行为进而改善绩效的能力,却因为不能形成习惯带来长期、有意识的行为改变,最终期望的绩效改善就落了空。
(4)结果评估
这是第四级评估,是培训效果测定的最高层次,其目标着眼于由培训项目引起的业务结果的变化情况,其目标包括对每个项目的度量方法,通过诸如质量、数量、安全、销售额、成本、利润、投资回报率等企业或学员的上司最关注的并且可量度的指标来考查、判断培训成果的转化与培训前进行对照,看最终产生了什么结果。主要测定内容是个体、群体,组织在受训后是否改善,这是最重要的一种测定层次。
评估的时间取决于学员多长时间才能取得持续不变的业务效果,往往在培训后的几个月。收集四级评估的数据所涉及的责任人包括学员自己、主管、区域培训协调员或者外部的评估人员。(唐纳德.L.棵棵帕特里克,1959)
2.360度评估
(1)简介
360度评估反馈(360°Feedback),又称“360度考核法”或“全方位考核法”,是指由员工自己、上司、直接部属、同仁同事甚至顾客等从全方位、各个角度来评估人员的方法。
360度培训绩效评估体系,非常适用于企业中的各类短期培训,也就是目前该企业主要的实施培训形式。在培训过程中,培训师、培训机构、企业培训管理部门、受训者直接主管、受训者本人等等,既是培训的参与者、被评估者,同时也是培训的评估者。360度培训绩效评估,就是对同一培训课程,多角色、多维度对同一评估对象进行评估。评估的结果,按不同的评估目的提取不同的要素、确定不同的权重,得出最终的培训绩效评估结果。
图 4 360度模型
①培训前期的评估
首先,由培训组织管理者组织相关人员,对受训者的知识、技能等方面进行评估。
然后,由受训者的直接上级主管,从受训者的工作业绩和综合表现中,针对受训者的绩效短板或受训者未来职业发展方向,提出培训建议。
最后,综合了所有对受训者的评估,来制订企业培训规划,确定各阶段培训计划、目标、内容、师资、教材、场地等。
②培训过程的评估
具体包括:
受训者的培训纪律、参与态度;
培训的具体内容、培训强度、培训频率、培训时间;
培训课堂的时间进度和资源投入进度、对内容的把握程度;
培训课堂的组织、沟通、协调;
培训师的素质、能力、现场表现等等。
主要是针对培训对象的参与状况、培训内容、培训进度和效果、培训组织人员的工作质量、培训的沟通协调机制、培训师的能力等方面进行评估。
③培训后的评估
主要是针对培训数量、培训质量、培训效益等方面系统地考察与评估。
(2)评估方式
问卷调查和一对一访都被用来搜集360度评估反馈数据,但最为常用的是问卷调查。
①问卷调查
通常由围绕能表现出特定素质(一般包含10个指标)的关键行为描述构成,评价人在评价对象的这些行为表现上进行打分或选择符合程度。问卷回收后,对数据进行量化分析处理。有些调查问卷中也会包含部分的开放式问题,是接受调查的员工能有机会用自己的语言,把看到的和感受到的经验表达出来。调查问卷的来源可以是企业根据岗位要求、企业文化价值观自定义设计,也可以直接购买成形、且被大量使用的专业化问卷,比如领导力测评、管理人员胜任素质评估问卷。
②一对一访谈
即通过对个人访谈、交流的方式收集关于特定素质的信息,它可以独立作为收集信息的工具,也可以作为调查问卷的补充。访谈可以与问卷调查同时展开,也可以在稍后对问卷调查中发现的问题进行澄清。因为问卷调查都能带来大量的信息,但信息的内容往往会过于笼统,用访谈的方式可以挖掘更深更细内容,从而获得更为实在的具体事例。
③三步操作
1个标准,2个统一,1个应用。
“1个标准”:
根据评价对象与评价目的,用最明确的语言形成360评价问卷,尽量采用可观察到的行为、结果类描述,杜绝思维类问题。此步骤应在问卷形成前进行综合考虑,并提前进行小范围试测,根据试测结果与访谈,修改问卷不恰当描述。
“2个统一”:
统一被评价人对问卷的理解、评分标准。此步骤在360度评价前进行企业内部培训中应用。此步骤建议由外部咨询公司与企业人力资源部门共同完成。
统一问卷的理解:描述清晰问卷内各项内容的具体含义,杜绝“仁者见仁,智者见智”的现象,而是应当达到像所有人对具象名词的理解一样一致,如,问卷中出现“变革”“风险”究竟是指什么。变革是指企业组织架构调整、技术手段发生变化、职责变动,还是所有这些都是“变革”;“风险”是指多大的风险,是企业信息网络瘫痪、投资失败算做是风险,还是考虑某类产品的标号末位字母的问题算做是风险,还是都做算是风险。在培训中,对所有被评价人进行所有抽象名词的解释,以工作案例举例的方式进行。
统一评分标准:360度评价中多以等级、频次的方法进行打分。如采用等级法打分,则首先要求等级明确,无交叉,并详细解释各等级含义以及典型表现;如果采用频次打分,则需进行更详细的解释,各类频次的含义,示例:从不(1分)、很少(2分)、有时(3分)、经常(4分)、总是(5分)、不了解(0),则详细解释何谓“从不”何谓“很少”等等。
“1个应用”:
明确360度评价结果的应用范围,只能以1个目标为主导目标。其最适宜的是进行人员发展与职业规划,而非薪酬绩效。建议仅应用于人员发展与规划,明确此目标后可在宣导时给予明确解释,并进行结果应用示范,同时将结果落到实处,培养和谐健康的360度评价环境。(爱德华&埃文,20世纪80年代)
3. CIRO方法
CIRO是contextual ,input ,reaction和outcome的缩写。这种方法认为评估必须从情境、投入、反应和结果四个方面进行。所以也是一种四层次的评估方法,起初由Warr ,Bird和Rackham开发,用于欧洲,是一种非常独特的区分评估过程的方法。它比一般的培训评估的范围更宽泛。
情境评估是指获取和使用当前情境的信息来明确培训需求和培训目标。这种评估实际上是进行培训需求分析。投入评估是指获取和使用可能的培训资源来确定培训方法。这些资源包括内部资源和外部资源。反应评估是指获取和使用参与者的反应来提高培训过程。这个评估过程的典型的特征是参与者的主观评价,参与者的主观评价是非常重要的,但是评价质量的好坏某种条件下依赖于信息收集的方法是否具有系统性和客观性。结果评估是指收集和使用培训结果的信息。该评估被认为是评估最重要的一个部分。它包括四个阶段:界定趋势目标、选择或构建这些目标的测量方法、在合适的时间进行测量和评估结果以改善以后的培训。(奥尔、伯德、莱克哈姆,1970)
4.CIPP模型
CIPP模型与CIRO相似,它包括四种评估:情境评估、投入评估、过程评估和结果评估。情境评估界定相关环境、识别需求和机会、诊断具体问题,需求分析是情境评估的一个例子。投入评估可以提供如何最佳使用资源去成功实施培训的信息。投入评估的信息有助于制定培训项目计划和培训设计的一般策略,通常投入评估的结果有关于制度、预算、时间安排、建议书和程序等方面的内容。过程评估可以提供反馈给负责培训实施的人,它可以监控可能的失败来源,或给预先的决策提供信息。结果评估对培训目标进行测量和解释。
总之,情境评估有助于形成目标;投入评估帮助计划培训项目;过程评估引导培训实施;结果评估有助于回顾决策。(泰勒,1967)
5.Phillips的五层次ROI框架
通常在培训结束后,绝大多数的公司只是报告在培训上花费了多少费用,多少培训时间,参加培训的人员数目,而没有提供培训给公司带来的价值,参与者所学习到的东西以及由于培训带来的投资回报。近年来,特别强调要对培训发展的投入进行评估,ROI过程成为评估的关键部分。ROI过程在KirkPatrick的四层次模型上加上了第五个层次。分别叫反应和已经计划的行动、学习、工作应用、组织结果和投入产出。
第一层次,测量受训者的满意度以及他们打算如何应用培训所学。这一层次的评估通常是在培训后采用问卷测量。第二层次测量受训者在培训过程中所学。可以采用的评估工具有测试、技能练习、角色扮演、模拟、多人评估等。学习检查有助于确保受训者是否掌握了培训材料并且知道如何使用它们。在第三层次,使用许多跟踪方法测量受训者新技能的使用频率等来判定受训者是否将所学应用于实际工作中。第四层次测量受训者应用培训材料后对组织产生的积极影响,通常测量产量、质量、成本、时间和顾客满意度。第五层次认为,培训对组织产生了积极的影响。ROI通常表示成一个百分数或成本与收益的比率。以下模型图是ROI方法实施培训评估的全过程。从数据收集开始,以ROI计算结束。
图 5 ROI方法模型图
-
六、拓展资源
1./UserFiles/82004/File/ADDIE教学设计模型在成人教育培训中的应用_陈肖庚.pdf
2./UserFiles/82004/File/ADDIE教学设计模型在外语教学中的应用_李向明.pdf
3./UserFiles/82004/File/基于ADDIE模型的信息技术学科微课设计_陈辉.pdf
4./UserFiles/82004/File/ADDIE模型在微课程设计中的应用模式研究_卜彩丽.pdf
6.评价和选择学习资源指南 http://www.education.gov.sk.ca/learning-resource-evaluation-guidelines.
7.《教育技术研究方法》研究生课程 http://lcell.bnu.edu.cn/lc/lc_index.jsp?id=15708&courseId=127399
8.柯氏评估模型 http://baike.sogou.com/v72257721.htm
9.360度绩效评估 http://baike.sogou.com/v648027.htm
10.CIPP模型 http://baike.sogou.com/v73801318.htm
11.ciro培训评估模型 http://baike.sogou.com/v10718694.htm
12./UserFiles/82015/File/培训评估方法_陶祁.caj
-
七、参考文献
[1] 乌美娜.教学设计[M]. 北京:高等教育出版社,1994:17-19.
[2] 李向明.ADDIE教学设计模型在外语教学中的应用[J].现代教育技术,2008,(11),73-74.
[3] 张祖忻,章伟民,刘美凤,等编著.教学设计——原理与应用[M].高等教育出版社,2011.252-255,265-266.
[4] 马兰,张文杰.教学设计[ M] .北京:高等教育出版社, 2012:324-350.
[5] 柯清超,郑大伟,曾颖欣,赵兴龙. 基础教育领域数字教育资源的评价研究[J]. 电化教育研究,2014,02:55-61.
[6] 饶玲.课程与教学论[M].北京:中国时代经济出版社,2004.
[7] 钟启泉.课程论[M].北京:教育科学出版社,2007.
[8] 郑太年,赵健,王美,裴新宁,任友群. 学习科学与教育变革——2014年学习科学国际大会评析与展望[J]. 教育研究,2014,9:150-159.
-
-
- 标签:
- 策略
- 进行
- 教学
- 评价
- 比较
- 测验
- 阶段
- 方法
- 学习
- 学生
- 成绩
- 教学评价
- 评估
-
学习元评论 (0条)
聪明如你,不妨在这 发表你的看法与心得 ~