包含异常值检测的最大化AUC的正例未标注分类及其增量算法

来源 :江南大学 | 被引量 : 0次 | 上传用户:bihaidanxin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
正例未标注分类简称PU分类,由于只有正例样本与未标注样本,传统的分类方法在PU分类中往往效果不甚理想。为PU问题构建稳健的分类是非常具有挑战性的,特别是对于负例样本压倒并且含有异常值(错误标记样本)的复杂数据。这种分类情况实际应用中十分常见,例如医疗保健,文本分类和生物信息学。尤其当数据高速发展的今天,如何快速准确的分类并实现在线学习成为当下研究中的热门,本文针对包含异常值的增量型PU分类研究如下:本文将最大化AUC平方损失函数应用到PU分类中,并实现增量学习,称为增量核最大化AUC算法(IKMAUC)。该算法利用高斯核函数将低维空间线性不可分的数据映射到高维空间使其线性可分,通过优化AUC目标函数得到解析解避免了多次迭代的麻烦,并利用分块矩阵求逆公式求解新增样本在高维空间的分布,然后利用ShermanMorrison-Woodbury公式计算模型的权重,加快了运算速度。通过将所提算法与训练集内所有正例与负例标签都已知的理想支持向量机(SVM)算法对比,实现了相近的性能,并与其他四种PU分类算法比较,达到了更好的性能;将不做增量的KMAUC算法与进行增量算法的IKMAUC算法进行时间对比,实验结果表明增量学习的IKMAUC算法大大缩减了运算时间,是处理现实问题的有力工具。但是对于包含异常值(错误标记样本)的数据集,IKMAUC算法存在着分类准确率不理想的问题。为此,本文进一步提出了包含异常值检测的增量核最大化AUC算法(IKMAUC-OD)。该算法针对PU分类存在的异常值问题,提出了包含异常值检测的AUC平方损失函数,运用梯度下降与最小二乘法优化目标函数。实验结果表明,所提算法在有异常值情况下依旧实现了与理想SVM相近的性能,并且可以实现快速增量,在人工数据集以及UCI数据集上取得了显著的效果,是处理现实问题的有力工具。
其他文献
目标跟踪的主要任务在于从存在噪声的观测数据中过滤出真实目标的状态并输出,在基于分布式传感器网络的多目标跟踪任务中,存在诸如目标新生、目标数目变化、目标运动呈现出非线性/非高斯特征、不同传感器观测误差差异大,且未知以及传感器具有受限观测视野等问题,使得完成稳定的多目标跟踪任务十分具有挑战。基于随机有限集的多伯努利族滤波器,如势均衡多伯努利滤波器(CBMe MBer),广义标签多伯努利滤波器(GLMB
随着互联网时代的来临,每一刻都会产生海量数据,其中文本数据以传输效率高、便捷性高、普及范围广的优势存在于各个领域中,而如何对文本数据进行快速、准确的分类是当下的热门问题。本文以新闻文本为研究对象,对相关分类算法进行研究并改进,最终验证所提出的算法能够提高文本分类准确度。1.针对传统朴素贝叶斯文本分类算法中文本特征缺乏特征权重的问题,引入更侧重特征类别间分布的互信息,并将TF-IDF与互信息相结合,
针对细粒度图像由于类间差距过小、类内差距过大、背景复杂以及姿态差异等问题目造成的分类瓶颈,本文设计了一系列基于卷积神经网络的端对端的弱监督学习分类模型,实现对细粒度图像分类精度的提高。本文主要研究焦点在于如何准确提取识别细粒度图像易混淆、难分类的特征,有效降低分类误差。具体的研究内容如下:1.基于自注意尺度变换网络的细粒度图像分类方法。为了提高网络提取特征的表现力,本章提出自注意力融合模块和多尺寸
2020年的全球公共卫生事件给全球经济带来了前所未有的冲击和挑战,但是游戏行业却迎来了超出预期的发展。疫情不断地解体和重构着人们旧有的观念和生活方式,由于游戏较低的成本和门槛,吸引了越来越多的人尝试并参与到游戏活动中,游戏不但在一定程度上释放了社会的压力,而且弥补了大众在社交方面的渴求。在所有的手游玩家中,轻手游类型玩家中一直占据着最为广阔的市场,拥有着可观的人群基数。由于轻手游较低的开发成本,各
贝叶斯网络(Bayesian network,BN)是目前不确定知识表达和推理领域最有效的理论模型之一,同时在如图像处理、疾病预测等领域得到越来越多的应用。BN结构与预测效果直接相关,学习BN结构也已被证明是NP难问题,因此快速准确的学习BN结构极为重要。启发式搜索算法已被广泛应用在BN结构学习问题中。基于遗传算法(Genetic algorithm,GA)的BN结构学习算法存在搜索时间过长、易陷
数字图像作为人们获取和传递信息的重要载体,在给人们生活带来便利的同时,也给社会带来了一些安全隐患。随着图像编辑软件的发展和普及,图像内容修改与图像伪造的成本变得越来越低,用户可以轻易利用图像编辑工具修改图像内容并且不留下明显的视觉痕迹。篡改图像在互联网中的肆意传播将对军事、政治、传媒等领域带来负面影响,因此,数字图像取证研究具有十分重要的现实意义。本文针对图像操作篡改检测以及图像篡改区域定位开展研
随着大数据时代的到来,人们需要处理的数据量急速增长,如何快速有效地从浩瀚的网络中提取到关键信息,成为业界迫切需要解决的难题。关系提取由于其能够从大规模非结构化文本中提取结构化信息,而被广大研究者所关注。近年来,学者们将基于神经网络特征抽取的方法引入到关系提取任务中,取得了令人瞩目的成绩,这使得面向关系提取的神经网络研究成为热点。根据不同的数据集标注方式,关系提取方法主要分为全监督和远程监督两类。在
当代社会对教育的重视一方面丰富了教学内容,另一方面也加重了教师的工作负担。在保证阅卷质量的前提下将教师从繁重的批阅、统计工作中解放出来被视为现有条件下减轻教师负担的有效手段。目前大规模的英语考试阅卷大多采用光学标记识别技术的机器阅卷,它采用机读卡的形式,再以光电式阅卷机配合。一方面,这种阅卷方式虽在处理选择题上效率较高,精度较高,但填空题仍需人力配合。另一方面,由于考试练习频率高,大量机读卡的消耗
随着深度传感器和三维扫描仪的普及,三维点云得到了迅速发展。基于深度学习的三维场景理解已经成为一个研究热点。三维场景的点云数据处理包括目标分类、目标检测、实例分割、语义分割。在这些任务中,目标分类和场景语义分割都是目前研究的热点。然而,在处理点云数据时存在一些挑战。由于点的非结构化和无序性,使得研究者很难直接捕捉到点与点之间的复杂关系,一些网络只考虑到了原始坐标和单个点的特征信息,没有充分关注点云局
近年来,随着信息网络的迅猛发展,时刻都会产生纷繁冗余的数据,用户面对海量数据,可能无法准确对有效信息进行选择。因此,推荐系统作为帮助用户获取精准高效信息的必要工具应运而生。传统推荐方法容易遭受数据稀疏性和冷启动等问题,并且难以应对用户偏好以及用户与项目之间的关系随着时间的推移而产生变化的问题。矩阵分解和张量分解在推荐系统中得到广泛的应用,但二者还存在不少局限性,第一,线性模型参数的较小随机扰动可能