缺陷预测模型构建与评估影响因素研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:meinv123321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在受资源限制的软件质量维护场景下,软件质量维护团队需要使用预测模型来预测不同的模块是否可能出现缺陷,以便更好分配工作量。通常用于预测模块缺陷的模型被称为缺陷预测模型。缺陷预测模型的构建和评估受到多个因素的影响,例如不平衡数据处理、建模技术参数调优、模型评价方法选取等。其中,不平衡数据处理针对缺陷预测数据中广泛存在的不平衡性进行调整以满足建模技术的假设,从而提升模型表现。建模技术参数调优通过选取最优参数而非使用默认参数,从而对不同的数据集建立更合适的模型。模型评估方式的选取则是利用更合理的评价方式对于预测结果进行分析,合理的模型评估方式更有利于研究结论的复现。然而,当前的研究中,缺乏相关工作在统一的且更贴近真实开发环境的数据集上探讨上述关键因素,尤其对于模型评估方式对模型评价的影响,罕有工作进行探讨。同时对于某些因素的研究,不同的研究者得出不同甚至相反的结论。为解决上述问题,本文在统一的数据上,探究影响软件缺陷预测模型构建和评价的关键影响因素。本文主要贡献如下:(1)探究不平衡处理的影响:在选中的数据集上,对比使用SMOTE不平衡处理技术模型和未进行不平衡处理的模型间的预测结果。实验结果表明,针对随机森林和逻辑回归等模型,在阈值无关的评价指标AUC下,使用不平衡处理技术的模型表现显著优于未进行不平衡处理的模型表现。同样,对于阈值相关的4种评价指标F-score、G-measure、Balance和MCC,经过胜/平/负分析,发现这4个评价指标下,结论与AUC的一致。但是,针对另外一些建模技术(例如朴素贝叶斯等),不平衡处理带来的提升并不显著,同时对于假警报率pf等指标,不平衡处理可能带来反效果,因此在实际使用中,需要根据具体场景和选择的具体技术仔细考虑是否进行不平衡处理。(2)探究参数调优的影响:在选中的数据集,以及多种建模技术上和评价指标上,对比参数调优模型和使用默认参数模型的预测表现和模型稳定性。实验结果表明,在实践应用中,选定某种特定的建模技术后,使用者应该仔细的考虑参数调优的使用(依技术而定)。例如,对神经网络技术,参数调优带来显著的结果提升,但是对于朴素贝叶斯等技术,参数调优技术几乎不带来显著改变。同时实验结果还表明,使用参数调优模型的模型在稳定性上至少和默认参数模型相当,因此引入自动参数调优进行建模并不会造成模型不稳定。同时实验结果也发现,其他缺陷预测模型构建影响因子(例如不平衡处理)对于参数调优的结果同样带来影响。(3)探究模型评估方法的影响:在选中的数据集上,对于15种建模技术,分别利用基于全局的模型评价方式(CD图评价、Scott-KnottESD评价和算法图评价),以及基于局部的模型评价方式(胜/平/负分析),分析了不同建模技术间预测表现的好坏。实验结果表明,CD图与Scott-KnottESD评价方式得出的结论虽然不存在冲突,但也仅有不足半数完全一致(同时在两种评价方式下,建模技术A都优于建模技术B,则为一致)。算法图评价方式分别与二者结论一致数目远超于半数,也未存在冲突。因此在一个研究工作中,若要与多个前人研究对比(不同研究者使用评价方式不同),使用算法图方式做为基于全局的评价方式将更利于不同研究者间研究结论的比较。同时实验发现以算法图为代表的全局模型评价方式和以胜/平/负分析为代表的局部模型评价方式二者相似度较大,并无较大差异。最后,在15种建模技术上,对比算法图评价得出的结论和前人的结论,发现二者确实较为相似。因此在复现前人的工作,或者需要同前人工作做对比的场景下,推荐使用算法图为最终的结果评价方式。
其他文献
学位
学位
2009年,政府推行“家电下乡、以旧换新”的利国利民利企的政策,惠及千百万的百姓,拉动国内的消费需求,使诸多企业同时收益颇丰。自政府补贴政策取消以后,企业开始探索通过自身的资本和市场影响力独自开展以旧换新活动。同时,随着互联网科技、国内物流快递和电子商务的迅猛发展,越来越多的企业开始尝试建设自己的直销渠道,包括电商旗舰店和线下体验店等,与零售渠道协同推进。因此越来越多的学者开始研究市场企业如何进行
目的:分析和总结亚临床库欣综合征患者的临床和代谢特征以及激素水平变化,探究SCS患者合并代谢异常的可能风险因素及代谢指标与皮质醇水平的相关性。方法:研究纳入2010年3月至2018年10月在南京大学医学院附属鼓楼医院内分泌科诊治的56例亚临床库欣综合征患者,68例肾上腺腺瘤型临床库欣综合征(CS)和56例与SCS性别、年龄、BMI匹配的肾上腺无功能瘤(NFA)患者。比较临床资料、代谢特征及激素水平
自修复(self-healing)的概念源于生物学中的自修复现象。所有的材料在其使用期间都会不可避免地遭受热损伤、机械损伤或者化学降解,大大降低了材料的使用寿命。受大自然的启发,人们希望引入自修复功能来延长材料的使用寿命。本文以Fe(Ⅲ)-pdca动态配合物为研究对象,通过化学交联的方式将其接入到高分子链中合成了具有自修复功能的高分子材料,并对材料的结构、动态性、力学性质和自修复性质的机理进行了探
书籍是人类进步的阶梯。随着科技的发展,人们读书的方式日益多元。以手机、平板电脑等移动智能终端为载体的移动阅读APP(APP是APPlication的简称,指移动智能设备上的第三方应用程序),以其便携性、多样化、个性化、社交化的特点备受人们青睐,成为当前人们阅读的重要方式。移动阅读APP市场也在经历了萌芽期、启动期后进入了高速发展阶段。随着我国移动阅读APP市场的深入发展,市场竞争愈发激烈,我国移动
改革开放四十多年来,我国的市场经济实现了飞速发展,资本市场趋向成熟。在资源环境约束增强,产业结构转型升级的大背景下,并购作为现代企业进行资源配制的重要方式,对企业发展和价值有重大影响。越来越多的企业通过并购改善资源配制,寻求更高质量的发展,可是一些公司虽然完成了并购,却并没有实现并购目的。上世纪90年代中期,我国上市公司开始引入董事会秘书制度,后来明确其为上市公司高级管理人员。董事会秘书是基于公司
过去10年,乘着在互联网行业快速发展的东风,国内电商市场一片繁荣,各电商企业经历了高速增长的“黄金时代”。但在2016年,国内网络零售市场的增速首次出现低于30%的情况,较低的人口自然增长率等逐步导致流量红利的消失,这个市场也正由“蓝海”转向“红海”,发展精细化与智慧化运营成为电商企业增长的关键。预测工作是电商智慧化运营中的重要一环,准确的预测对将会对企业的生产、营销和物流等决策产生深刻影响。从宏
学位
作为机器学习算法研究中的一个研究热点,深度学习是一种模拟人脑神经元且具有层次式体系结构的机器学习技术。近年来,深度学习技术在诸如语音识别、图片识别、自然语言处理等子领域的应用中取得了突破。在大数据的支持下,深度学习技术在法院智能化领域快速发展,日益彰显出它的重要意义和广阔的应用前景,将深度学习技术和审判实践的各个环节相结合能大大提高人民法院的智能化水平。当前,法院案多人少的问题十分严峻。2016年