简介:本文从评分人决策的变化探讨了评分人个性化反馈信息的有效性。研究人员首先邀请了三位不同经验和背景的CET4作文评分人对30篇CET4模拟作文评分并提供三条评分理由,然后对另外10篇作文进行有声思维。评分结束一周后,评分人收到包括多层面Rasch模型(MFRM)的分析结果(严厉度、内在一致性和偏差)以及评分理由编码分析结果的个人反馈信息报告。阅读完反馈报告后,评分人接着对新30篇CET4模拟作文评分并对另外10篇作文进行有声思维(其中5篇作文和前测相同)。本研究通过对比分析反馈前、后相同的5篇作文的有声思维数据,结果发现反馈信息能帮助评分人重视评分标准相关特征,并调整自己的决策行为。
简介:本文基于Weir&Khalifa(2008)的阅读认知加工模式,从阅读类型、阅读认知技能和信息基础三个方面分析了8名受试完成一份CET4长篇阅读匹配题的有声思维口述报告,辅之以试题内容和追溯访谈分析,主要探讨三个问题:1.受试在多大程度上按照预期阅读加工来答题?高低水平受试在符合程度上存在不同吗?2.就各题项而言,受试分别在多大程度上按照预期答题?高低水平受试在符合程度上存在不同吗?3.受试答题中采用了哪些测试技巧?影响如何?结果表明:1.总体上受试答题符合预期正确率高于不符合预期正确率,而低水平受试恰恰相反;2.总体上受试在考查扫读特定信息技能的题目上符合预期正确率颇高,而在考查寻读并仔细阅读以领会隐含意义、指代关系和观点态度的题目上不符合预期正确率较高;而低水平受试由于语言解码能力不足,在考查扫读特定信息、整合信息和段落大意的题目上不符合预期正确率较高;3.受试报告使用10种考试技巧,其中关键词的表面匹配、猜测、排除和对应段落顺序找答案等技巧干扰受试的预期阅读加工过程。以上结果为阅读测试和教学提供启示。