美国大学生评教的信效度研究

美国大学生评教的信效度研究

寇瑜

厦门大学教育研究院福建厦门361005

[摘要]学生评教制度是各高校教学管理和教学质量监控的重要环节和必要手段，美国的大学生评教制度建立最早，且发展较为完善。本文对美国大学生评教的信度、效度的相关研究进行梳理，信度研究主要是从重测信度及评分者间信度入手，效度研究主要分析研究了学生评教与学生学业成就、教师自评、同行评价及外部观察者评价四项外部评价指标之间的相关关系，通过相关性分析说明学生评教的有效性。在此基础上总结分析影响大学生评教的相关因素，最终探讨我国高校在实际工作中如何借鉴相关经验，建立和完善教学质量评价体系，进而提升教学质量的评价与管理。

[关键词]大学生评教教学质量评价信度效度

[中图分类号]G640[文献标识码][文章编号]

在我国，学生评教制度的建立已有30多年的历史，学生评教目前已经是各高校教学管理的重要手段和教学质量监控的必要手段和重要环节，然而，学生评教能否达到或者多大程度上能够达到预期的管理目标，学生评教如何服务于高校的教学质量管理，如何帮助教师提升教学水平，取决于学生评教结果的可信度和有效性。在高等教育内涵式发展的大背景下，如何保障和提升高等教育质量成为重中之重，而学生评教作为教学质量评价体系中重要的一环，是否能够有效反映教师的教学效果，是否能够真正服务于高校教学质量的保障和提升，成为一个值得关注的话题。

美国是世界上最早开始实施学生评教的国家，学生评教制度的发展经历了丰富的历程，加之美国高等教育学界围绕学生评教的信效度展开了多方位的研究，得出了丰富的研究成果，因此，梳理和总结美国研究大学生评教信效度的已有理论成果，不仅有利于我国高校借鉴其先进经验，更有利于我国高校基于自身特点和实际情况对大学生评教制度做出本土化调整，进而促进我国高等教育教学质量的长足发展。

一、概念界定

（一）学生评教

学生评教的概念是从西方引进的，表达为Students’evaluationsofteachingeffectiveness简称为SET。学生评教最早可追溯到1915年美国教育研究协会（AmericanEducationalResearchAssociation）面向社会公布的教学等级评价量表。Marsh和Dunkin(1992)界定了学生评教的四个特征与作用：一是学生对教师教学有效性的反馈，二是学生评教结果在行政决策中的运用，三是学生评教结果在学生选课中的作用，四是学生评教结果在教师教学研究中的作用。总结已有研究，可将学生评教界定为：高等院校在其所认可的教育评价理论和评价理念的指导下，选用特定的评价体系和评价工具，由学生根据学校制定的课堂教学效果评价指标体系，通过评教系统或评教量表对任课教师的课堂教学效果予以评价并给出不同等级分数，以及后期对此分数结果进行分析运用，并使其服务于教师教学效果的提升、行政决策的制定、学生选课的动态历程。

（二）大学生评教的信度

信度（Reliability）即可靠性，它指的是采取同样的方法对同一对象重复进行测量时，其所得结果相一致的程度，即信度就是指测量数据的可靠程度。大学生评教的信度指的是学生评教结果的稳定性和可靠性。

（三）大学生评教的效度

效度（Validity），它是指测量工具或手段能够准确测出所需测量的事物的程度。有效性是指所测量到的结果反映所想要考察内容的程度，测量结果与所要考察的内容越吻合，则有效性越高；反之，则有效性越低。Marsh(1997)认为，有效的学生评教具有以下的特征：对教学质量的测量是多维度的；评教结果是可信并且稳定的；评教结果不受已知干扰因素的影响（如：课程规模、课程任务量、学生对课程的兴趣等）；评教结果能有效帮助教学质量的提高。

二、美国大学生评教的信度研究

美国教育学界关于大学生评教的信度研究，主要围绕学生评教的重测信度和评分者间信度展开。已有研究通过分析同一教师教授同一门课程在不同时间、同一教师在不同课程、以及不同教师教授同一门课程的学生评教结果之间的相关关系，以此来论证学生评教结果的可信度。

第一，关于大学生评教结果的重测信度的研究，对同一教师教授同一课程在不同时间的学生评教结果之间的稳定性分析发现，学生在不同时间或不同年份对同一课程同一教师的评教结果之间相关关系显著，稳定性较高。例如：Costin(1968)发现，学生对教师中期和期末分别进行评教的分数之间存在着显著相关，Marsh(1980)的另一项研究对学生在课程结束时的评教结果与课程结束一年后再测的评教结果之间进行相关分析，结果发现两者之间的相关系数达0.83，存在显著相关。之后，Marsh(1990)在另一项研究中，追踪调查了同一教师在教授不同课程13年中的学生评教结果之间的相关关系，结果发现相关系数高达0.61。Feldman(1989)对比了毕业1-2学期、3-5年和10-13年与在读学生之间的学生评教结果，研究结论发现毕业生和在读学生之间的学生评教结果之间的相关系数高达0.69。由此可见，不论是较短的重测时间跨度还是较长的时间跨度，学生评教结果的重测信度较高。

第二，关于评分者间信度的研究，学生对同一教师教授不同课程的评教结果和不同教师教授同一课程的评教结果之间的稳定性分析，结果发现，相同教师教授不同课程的学生评教结果之间显著相关，相反，不同教师教授同一门课程的评教结果之间不存在相关关系或相关性较低。Kulik(1974)的研究均支持以上观点，对不同教师教授同一门课程的学生评教结果进行相关分析，结果发现，两者之间不存在显著的相关关系，而对同一教师教授不同课程的学生评教结果进行相关分析，结果显示两者之间存在显著相关。由此可见，学生评教所针对的是教师的教学效果，不同学生对同一教师的教学评价之间的相关关系显著，评分者信度良好。

三、美国大学生评教的效度研究

对于大学生评教的效度，相关研究主要是从外部效度入手，Marsh(1987)认为，我们之所以难以对学生评教的有效性进行判定，是因为对于教学效果来说，没有一项独立的指标或单一的评价主体具有足够的科学性和说服力。因此，要想研究学生评教的外部效度，就需要找出科学的外部效标，从不同评价主体与学生主体之间的评价结果的相关性及差异性分析入手，进行多维度地讨论与研究。

关于评价学生评教有效性的外部效标，已有研究基本达成共识。Cohen（1981）指出，学生评教的效度主要可以将下五个方面的外部评价作为参考衡量标准，分别是：学院同事的评价；管理者评价；教师自评；毕业生评价以及学生学业成就。Marsh(1987)也在研究中提出，学生评教可以把以下主体的评价作为参考，进而评价其有效性，分别是：正在修课的学生；曾经修过此课程的学生；教师自己；同行或同事；管理者以及受过训练的外部观察者[[]]。

（一）学生课程成绩与学生评教

学生的学业成就在一定程度上能够体现教师的教学效果，而在高校的教学实际中，学生的课程成绩是学业成就的直接体现。学生在课堂中收获的知识越多，学习效果越好，学生的课程成绩也就会越高，学生则倾向于给老师的教学效果更高的分数。教师的教学效果与学生的学习成绩呈正相关关系，学习成绩越高则说明教师的教学效果越好。学生的学业成就是衡量教师教学效果的五大标准之一，而最有效且最直接能够衡量学生成就的途径之一，就是学生的课程成绩[[]]（Cohen，1981；Marsh，1987）。

已有的实证研究，也确实发现学生的课程成绩与其对教师的教学效果评价之间有正相关关系，例如：Frey(1973,1975)、Spooren(2012)的研究都表明，学生的课程期末得分越高，则该门课程的教师评教分数越高。此外，还有部分实验研究也证明了以上结论，Cohen（1981）在控制了学生进入课程之前的相关学习能力之后，比较学生在课程结束后的能力进步，结果发现学生在这门课程中的学习进步和能力提升与评教结果之间呈显著正相关关系，也就是说学生给予教师更好的评教结果，也就意味着他们在这门课程中取得了更高的学习进步和学习成就，学生能够基于自己在学业中取得的收获与进步来区分教师的教学水平[[]]。因此，课程成绩作为反映教师教学质量的一项重要指标，能够作为衡量大学生评教效度的一项“外部效标”。

同时，在研究学生课程成绩与学生评教之间的相关关系时，需要注重不同学科和不同课程类别在课程考核形式和内容上的差异，因为不同的考核形式和内容，可能会导致不同课程的学生的课程成绩之间不具有可比性，因而更好的做法是对比由不同教师教授的同一或同质课程的评教结果与学生课程成绩之间的相关性，在此基础上进一步分析学生评教的有效性。

（二）教师自评与学生评教

教师自评是教师对自己教学效果的评价，作为学生评教效度的一项重要外部效标。Marsh（1982）认为教师自评与学生评教之间在评教量表的各项因子中，都表现出了高度一致性。同时，Feldman(1989)[[]]、Howard(1985)等研究了教师自评与学生评教结果之间的相关关系，结果发现两者之间存在显著的正相关。教师自评作为学生评教的外部效标，其与学生评教结果之间的高度相关性，一定程度上说明了学生评教结果的有效性。

（三）同行或同事评价与学生评教

同行评价是否能够作为一项衡量学生评教分数有效性的指标，在已有研究中有着支持与反对这两种不同的声音。

部分研究者认为，同行评价能够作为评判学生评教有效性的一项标准。Maslow和Zimmerman(1956)的研究发现，学生对教师的评教分数与同行给予的评价具有正相关关系，相关系数分别为0.30和0.63。教师教学效果的同行评价主要包括同事评价和专家评价，其中同事评价主要是来源于学生给予的反馈，因此与学生评教结果之间联系更为紧密，而管理者评价则是基于不定时的听课，所以与学生评教结果之间的关联程度不是那么可信（Marsh，1987）。

与以上研究结论相反，Centra(1979)指出，基于课堂走访和课堂观察的同事及管理者评价是不具有可信度的，不能够作为判断学生评教有效性的参考之一。Murray(1986)提出，同事和专家评价都是基于不定时听课的评价，因此均不是可参考的教师教学效果评价标准。Webb和Nolan(1955)的研究表明，学生对教师的评教分数与同行对教师的评价之间不存在相关关系。因此同行评价不能作为一项衡量学生评教是否有效的指标。

（四）外部观察者评价与学生评价

外部观察者作为能够进入课堂，跟学生和教师一起，共同经历教学过程的评价者，Marsh(1987)在一项研究中指出，受过一定训练的外部观察者是能够在某些特定的、可观察的教学表现上反映出教师教学质量的好坏的[[]]。Murray(1986)将教师在学生评教中的得分分为高、中、低三组，并请观察员进入这些教师的课堂进行观察总结，结果发现，不同得分的教师在评教体系的各个因素中确实表现出了不同特质。例如，教师在课堂中夸奖学生、提问和回应学生较多时，这些教师在学生评教的“师生互动”因素中的得分也相对较高[[]]。由此可见，外部观察者的评价与学生评教之间的相关性，一定程度上支持学生评教结果的有效性。

四、启示与建议

（一）完善外部评价与学生评教相结合的综合评价体系

用外部指标来衡量学生评教结果的有效性，既能反映出学生评教是否有效，也能完善教学质量评价体系，建立全面、多维度的教学质量评价标准。我国《普通高等学校本科专业类教学质量国家标准》中明确规定要将三个外部评价标准与学生评教相结合，建立教师自评、同行评议、专家评价与学生评教相结合的综合评价体系。在此基础上，对教师的教学质量形成一个全面综合的评价，既有利于教师了解自身的教学效果，也有利于高校实际教学管理工作的开展，进而使教学评价更好地服务于提升高校整体的教学质量。

（二）建立具有综合性、长期性的教学质量评价分析与反馈系统

在教学质量评价中，虽然评价过程和结果是重要的组成部分，但是对于评价结果的分析与反馈也不容忽视，因为分析与反馈的质量决定了教学质量评价服务于实际教学和管理工作的程度。在美国，学生评教体系的建立已经较为完善，既得益于教学质量评价工具的完善，也得益于对于评价结果的科学反馈。建立具有长期性和综合性的教学质量评价分析与反馈体系，在评价结果的分析与反馈层面，结合多方评价结果给予教师以及管理层具有实际指导意义的分析结果，帮助教师提升教学质量，也能够为高校的管理工作提供有价值的参考。

参考文献

[]徐丹,熊艳青.多元·科学·规范:美国高校学生评教制度管窥[J].大学教育科学,2016(03):102-107.

[]Marsh,H.W.,&Roche,L.A.(1997).Makingstudents'evaluationsofteachingeffectivenesseffective:thecriticalissuesofvalidity,bias,andutility.AmericanPsychologist,52(11).

[]Costin,F.(1968).Agraduatecourseintheteachingofpsychology:descriptionandevaluation.JournalofTeacherEducation,19(4),425-432.

[]Overall,J.U.,&Marsh,H.W.(1980).Students'evaluationsofinstruction:alongitudinalstudyoftheirstability.JournalofEducationalPsychology,72(3),321-325.

[][18]Feldman,K.A.(1989).Instructionaleffectivenessofcollegeteachersasjudgedbyteachersthemselves,currentandformerstudents,colleagues,administrators,andexternal(neutral)observers.ResearchinHigherEducation,30(2),137-194.

[][12][16]Cohen,P.A.(1981).Studentratingsofinstructionandstudentachievement:ameta-analysisofmultisectionvaliditystudies.ReviewofEducationalResearch,51(3),281-309.

[]Marsh,H.W.,&Overall,J.U.(1981).Therelativeinfluenceofcourselevel,coursetype,andinstructoronstudents'evaluationsofcollegeteaching.AmericanEducationalResearchJournal,18(1),103-112.

[][10]Marsh,H.W.(1987).Utilityofstudentratings.InternationalJournalofEducationalResearch,11.

[]Wendung,W.,&Cohen,J.(1981).Educationresourcesandstudentachievement:goodnewsforschools.JournalofEducationFinance,7(1),44-63.

[]Marsh,H.W.,&Bailey,M.(1993).Multidimensionalstudents'evaluationsofteachingeffectiveness.JournalofHigherEducation,64(1),1-18.

[]Frey,P.W.(1973).Comparativejudgmentscalingofstudentcourseratings.AmericanEducationalResearchJournal,10(2),N/A.

[]Onwuegbuzie,A.J.,Daniel,L.G.,&Collins,K.M.T.(2009).Ameta-validationmodelforassessingthescore-validityofstudentteachingevaluations.Quality&Quantity,43(2),197-209.

[]Spooren,P.,&Loon,F.V.(2012).Whoparticipates(not)?anon-responseanalysisonstudents’evaluationsofteaching.Procedia-SocialandBehavioralSciences,69,990-996.

[]Marsh,H.W.(1982).Factorsaffectingstudents'evaluationsofthesamecoursetaughtbythesameinstructorondifferentoccasions.AmericanEducationalResearchJournal,19(4),485-497.

[]Howard,G.S.,Conway,C.G.,&Maxwell,S.E.(1985).Constructvalidityofmeasuresofcollegeteachingeffectiveness.JournalofEducationalPsychology,77(2),187-196.

[]Maslow,A.H.,&Zimmerman,W.(1956).Collegeteachingability,scholarlyactivityandpersonality.JournalofEducationalPsychology,47(3),185-189.

[][25]Marsh,H.W.(1987).Utilityofstudentratings.InternationalJournalofEducationalResearch,11.

[]Centra,J.A.(1979).Determiningfacultyeffectiveness.assessingteaching,research,andserviceforpersonneldecisionsandimprovement.204.

[][26]Erdle,S.,&Murray,H.G.(1986).Interfacultydifferencesinclassroomteachingbehaviorsandtheirrelationshiptostudentinstructionalratings.ResearchinHigherEducation,24(2),115-127.

[]Webb,W.B.,&Nolan,C.Y.(1955).Student,supervisor,andself-ratingsofinstructionalproficiency.JournalofEducationalPsychology,46(1),42-46.