论文部分内容阅读
为了同时获取被试的宏观能力分数以及用于改善学习与教学等微观认知状态信息,研究者们提出了双目标认知诊断计算机化自适应测试(dual-objective CD-CAT),即在传统的CAT基础上同时估计被试的宏观能力值和微观认知状态信息。根据项目参数标定过程的不同,双目标CD-CAT可分为采用双标定过程的双目标CD-CAT和采用单标定过的双目标CD-CAT(即Higher-order CD-CAT)。不同于前者通过两个潜在结构完全不同的模型(IRT模型和CDMs模型)标定相同的项目参数,后者只需对每个项目标定一组参数。因此,Higher-order CD-CAT更加合理,且题库建设成本更低。
然而,当前并没有开发出适用于Higher-order CD-CAT的选题策略,该CAT系统只能采用单目标CD-CAT中的传统选题策略,即只对微观认知状态自适应,其结果会导致宏观能力的估计精度不高,而这违背了双目标CD-CAT力求同时获取被试两类参数高精度估计的初衷。为此,在Higher-order CD-CAT基础上,本文试图开发能对宏观能力和微观认知状态同时自适应的新选题策略,思路如下:在高阶认知诊断模型框架下,被试的作答由其微观认知状态决定,而微观认知状态归属于宏观能力,因此被试的作答是由宏观能力和微观认知状态联合决定,将两者的联合后验概率结合到香农熵选题框架中,开发出适用于Higher-order CD-CAT的、兼顾宏观能力和微观认知状态的HO-SHE选题策略。
另一方面,虽然多级计分项目在实际中已被广泛使用,但当前的双目标CD-CAT并不能分析多级计分项目,而这极大地限制了双目标CD-CAT在实际中的应用。因此,本文另一个目的是在已有的二级计分Higher-order CD-CAT基础上,拓展用于分析多级计分项目的多级计分Higher-order CD-CAT。
Monte Carlo模拟实验结果表明:在二级计分Higher-order CD-CAT中,HO-SHE选题策略下的被试宏观能力和微观认知状态的估计精度在不同模型条件下均高于传统选题策略,其中微观认知状态的估计精度在HO-DINA模型下的优势最明显;同时,HO-SHE选题策略的项目曝光率低于传统选题策略,对题库的使用更为均匀。在多级计分Higher-order CD-CAT中,所有选题策略在测验终止时的能力参数估计的MSE指标都低于或等于0.215,而对认知状态诊断正确率PCCR指标均高于0.985,结果表明多级计分Higher-order CD-CAT在多级计分项目上效果良好;此外,HO-SHE选题策略的被试参数估计精度均高于传统选题策略,并在题库安全性上保持了明显的优势,该结果与二级计分项目下的结果一致,说明新方法通用性能比较好。总之,本文为真正地实现双目标的CD-CAT提供了新的且更为有效的方法。
然而,当前并没有开发出适用于Higher-order CD-CAT的选题策略,该CAT系统只能采用单目标CD-CAT中的传统选题策略,即只对微观认知状态自适应,其结果会导致宏观能力的估计精度不高,而这违背了双目标CD-CAT力求同时获取被试两类参数高精度估计的初衷。为此,在Higher-order CD-CAT基础上,本文试图开发能对宏观能力和微观认知状态同时自适应的新选题策略,思路如下:在高阶认知诊断模型框架下,被试的作答由其微观认知状态决定,而微观认知状态归属于宏观能力,因此被试的作答是由宏观能力和微观认知状态联合决定,将两者的联合后验概率结合到香农熵选题框架中,开发出适用于Higher-order CD-CAT的、兼顾宏观能力和微观认知状态的HO-SHE选题策略。
另一方面,虽然多级计分项目在实际中已被广泛使用,但当前的双目标CD-CAT并不能分析多级计分项目,而这极大地限制了双目标CD-CAT在实际中的应用。因此,本文另一个目的是在已有的二级计分Higher-order CD-CAT基础上,拓展用于分析多级计分项目的多级计分Higher-order CD-CAT。
Monte Carlo模拟实验结果表明:在二级计分Higher-order CD-CAT中,HO-SHE选题策略下的被试宏观能力和微观认知状态的估计精度在不同模型条件下均高于传统选题策略,其中微观认知状态的估计精度在HO-DINA模型下的优势最明显;同时,HO-SHE选题策略的项目曝光率低于传统选题策略,对题库的使用更为均匀。在多级计分Higher-order CD-CAT中,所有选题策略在测验终止时的能力参数估计的MSE指标都低于或等于0.215,而对认知状态诊断正确率PCCR指标均高于0.985,结果表明多级计分Higher-order CD-CAT在多级计分项目上效果良好;此外,HO-SHE选题策略的被试参数估计精度均高于传统选题策略,并在题库安全性上保持了明显的优势,该结果与二级计分项目下的结果一致,说明新方法通用性能比较好。总之,本文为真正地实现双目标的CD-CAT提供了新的且更为有效的方法。