简介:采用多群体多元概化理论分析高考数学试卷的质量,可以为改进和提高高考命题质量提供实证依据。文章以某年某省高考数学试卷中的部分主观题和客观题为分析对象,对全体考生进行随机等距抽样,结果发现:(1)项目区分度和难度在不同数学素养人群中的效应不同。(2)信度方面,无论题量如何变化,就全体测量对象而言主观题的可靠性是理想的,且低数学素养组的可靠性高于高数学素养组,变化幅度较小;客观题在全体测量对象中的可靠性也较为理想,低数学素养组的可靠性同样高于高数学素养组,但变化幅度较大。(3)效度方面,就全体测量对象而言中区分与高区分试题的效度较好,低数学素养组的效度很差,高数学素养组的效度较低;客观度区分度的拟合情况较好。因此,提高客观题效度的有效方式是改善考生方差,提高主观题效度的有效方法是降低误差方差。
简介:摘要目的采用概化理论探讨如何降低临床技能测试设计的误差及提高信度。方法选择2018年广州医科大学附属第六医院住院医师规范化培训第二年的40名住院医师,通过腹腔穿刺、气管插管、心脏体格检查、清创缝合术与胸腔穿刺术5个考站来测试其相关的临床技能,每站2位评分者,通过概化研究计算临床测试成绩各个向面的变异数及其向面解释百分率,进一步通过决策研究计算代表临床技能测试设计信度的指标--概化系数和独立指标值。概化系数和独立指标值越高,临床技能测试设计的信度越高。结果采用概化理论计算后得出总变异数为268.016,向面解释百分率分别为研究对象39.9% (106.936/268.016),考站6.8%(18.190/268.016),评分者0.0% (0.000/268.016),研究对象和考站41.9% (112.395/268.016),研究对象和评分者0.0% (0.000/268.016),考站和评分者1.8% (4.838 /268.016)和无法解释因素9.6%(25.747/268.016)。当增加测试考站或评分者时,其概化系数和独立指标值会随着增加;直到达到某一个点时,再增加考站或评分者,概化系数和独立指标值增加的速度会降低。结论欲获得信度最高的形成性评价应设计8个考站,每个考站1位评分者;欲获得信度最高的终结性评价应设计12个考站,每个考站2位评分者。