论文部分内容阅读
本篇论文采用基于现代项目反映理论(Item Response Theory)的多侧面Rasch模型研究评分员在评分过程中所表现的宽严度和评分一致性;同时通过Rasch模型的偏差分析,研究评分员在评卷过程中针对不同考生,不同维度(内容,语法,词汇,技巧,结构)及高考评分量表的分数段表现出的偏颇模式,即:评分员---考生,评分员---维度以及评分员---量表之间的偏颇模式。本文从山西某大学大一新生档案中随机抽取10份英语作文试卷并由10位评分员评分。每位评分员分别运用高考评分量表和由“内容”、“语法”、“词汇”、“写作技巧”和“结构”五个维度组成的特定量表对每份试卷进行评分,并从这五个方面对考生的写作能力进行考察。经过分析,得出以下结论:1)评分员在评卷过程中表现出的严厉度有显著差异。使用高考评分量表时,9号评分员最为严厉,10号评分员最为宽松;而采用五个维度的等级量表,1号评分员严厉度水平最高,10号评分员则最低。2)并非所有的评分员在评分过程中都能保持自身评分的一致性,不同评分员在评阅不同维度时表现出评分不二致的现象。3)评分员对写作水平相对较高的考生表现出的偏颇度较高。4)不同评分员在五个不同维度上表现出的偏颇模式不同。5)评分员在高考评分量表上的一个或几个分数段上表现出偏颇。本研究对如何改善和提高写作评分中的评分员信度有所帮助;可以为评分员的选拔和培训提供反馈信息;根据评分员与量表的偏颇分析,可以帮助改进和补充评分标准。同时,也证明多侧面Rasch模型是写作阅卷质量监控和行为测试评估的有力工具。