简介:口语考试作为一种相对真实(authentic)和直接(direct)的测试手段,已被越来越广泛地应用于语言测试实践中。然而,在测试过程中引入的主观判断、评分标准和量表的设计与使用等因素,使分数受到更多考生能力以外因素的影响。本研究基于2007年某考点PETS三级口语考试数据,用多侧面Rasch模型(Many-facetRaschModel,简称MFRM)对这次考试的评分进行了事后质量控制研究。MFRM将语言运用测试多方面因素综合在一个数学模型中,不仅能够把所有侧面在同一标尺下进行衡量,还能对单独侧面,甚至每个个体进行具体分析,有针对性地找到潜在的'问题评分员'和可能被误判的考生,是主观评分环节有效的质量监控手段。
简介:口语考试作为主观性考试,其评分准确性在很大程度上会影响考试的信度和整体效度。本研究结合对评分结果的多层面Rasch模型统计分析和对评分员评分依据的定性描述,探讨PETS三级口语考试中常见的评分误差类型、程度和造成误差的可能原因,并据此提出了改进评分标准,评分流程和评分员培训的建议。