论文部分内容阅读
认知诊断是近年来发展起来的新一代测验理论,与传统的测验理论不同,认知诊断不仅仅只关注测验分数,更加注重测验分数背后的心理认知过程。随着我国教育改革的逐步深入,人们已经不满足于仅给学生一个简单的分数,而希望能够提供关于学生学习的诊断性信息,为进一步的教育教学提供依据。认知诊断正好迎合了人们的需求,越来越受到人们的关注。认知诊断的顺利实现,通常需要一个良好的诊断测验和一个合适的诊断模型。据不完全统计,目前已经开发出来的认知诊断模型达100多个,但由于各种原因限制了它们的应用,比如一些参数模型的估计需要特定的算法,如EM算法或MCMC算法,这对非统计学或计算机专业的研究者或教师来说,应用起来颇为困难。于是,研究者将非参数方法引入认知诊断。非参数方法容易理解,操作简单,耗时少,不依赖于样本量等特点,使其非常适合于认知诊断的应用和推广。 非参数认知诊断方法中,基于距离判别的方法尤为简单,通过计算观察反应模式与各种理想反应模式之间的距离,就可实现对学生知识状态的诊断分类。然而,现有的关于距离判别方法的研究较少,且多为0-1计分情境下的;随着教育考试改革和测验形式的多样化,题目的计分方法不再只有0-1计分,此时仍采用0-1计分的方式进行认知诊断,将不能够充分利用作答信息,影响诊断分类的准确性。虽然基于广义距离的判别方法可以拓展到多级评分,然而广义距离的定义需要借助于项目反应理论的项目作答概率,增加了方法的复杂性,与初衷相违背。相比于广义距离判别方法,基于海明距离的方法只需计算观察反应模式与理想反应模式不同的个数就可实现对被试的判别分类。不过,海明距离多适用于0-1评分的数据,且现有关于海明距离判别方法(Hamming Distance Discriminating method,HDD)的研究主要强调判别方法(如R方法、B方法、加权海明距离方法)的开发及与其他方法(如GDD)的比较,没有关注这些方法的共通点,也没有专门探讨不同因素对各判别方法分类准确率的影响。本文对已有研究进行整合,将海明距离纳入更一般的比较观察反应模式与理想反应模式之间偏差的距离——曼哈顿距离,构建一种适用性更广的曼哈顿距离判别方法(Manhattan Distance Discriminating method,MDD),并在数学上证明该方法的分类一致性。本文通过模拟研究考查该方法的影响因素及稳定性,并在实证研究中检验该方法的可行性和有效性。发现了以下一些结果: (1)当满足研究一中的2个假设和3个条件时,可以证明,MDD具有分类一致性,即当测验长度趋于无穷,MDD诊断结果即为被试真实属性掌握模式; (2)根据认知诊断中海明距离和曼哈顿距离的定义,可以证明,HDD是MDD在0-1评分下的特例; (3)MDD判准率较高,与已有方法(如GDD-P、GRCDM等)相比,MDD在分类准确率和可操作性等方面有着不可替代的优势; (4)在Q矩阵正确的情况下,MDD三种判别方法判准率之间差异较小,可根据实际应用进行选择; (5)与已有的非参数方法一致,MDD几乎不受样本容量大小的影响,即使只有一个被试也可以分类; (6)MDD判准率受属性层级关系的影响,属性层级越紧密,属性掌握模式越少,MDD判准率越高,而当属性掌握模式类别数相近,属性层级结构越松散,不同IRP之间差别越大,MDD判准率越高; (7)MDD对被试知识状态分布形态无正态要求,不同分布形态下均可以有很高的判准率; (8)MDD判准率受属性个数的影响较小,随属性个数的增多判准率降幅很小; (9)属性层级关系或Q矩阵错误对MDD判准率有影响:属性层级关系错乱越严重或Q矩阵错误比例越大,MDD判准率降幅越大,且MDD三种判别方法所受影响由大到小依次为W_MDD,B_MDD和R_MDD,但相比于GDD-P和GRCDM,MDD所受影响相对更小; (10)MDD有良好的实证效度,诊断结果与实际情况一致性程度较高。