基于降维与特征选择的高维数据分析方法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:sargelee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高维数据中包含有很多信息,但其中包括很多冗余信息,直接处理高维数据通常会产生维度灾难现象。在现实生活中获取的高维数据难免会受到噪声或异常值的污染,从而造成数据质量下降,这为高维数据后续的分析工作带来了不利影响。在此背景下,本文对高维数据低秩分量恢复算法进行了研究,主要的研究内容及贡献如下:针对提升低秩矩阵数据恢复效果问题,本文基于鲁棒主成分分析算法优化设计了l2,1范数鲁棒主成分分析算法(RPCA-L21)。本文利用l2,1范数可描述结构稀疏的特点,将原优化问题中的l1范数替换为l2,1范数,使得优化问题中稀疏部分与现实生活中的噪声分布更为相似。之后通过随机奇异值分解方法求解优化问题,减少了算法复杂度。算法在模拟数据集和真实数据集上的实验表明,RPCA-L21算法的低秩矩阵恢复误差降低至10-7,在图像降噪,图像分类等场景中均表现优秀,其中手写数字识别场景中分类准确率平均提升86.36%。针对提升低秩张量数据恢复效果问题,本文基于鲁棒张量主成分分析算法优化设计了统计排序对数距离值鲁棒张量主成分分析算法(RTRPCA)。该算法基于低秩张量恢复理论,可有效处理张量数据。为有效应对异常值污染,将张量l2,1范数加入优化问题。此外,对于局部污染情况,本文将基于统计排序对数距离值的污染检测方法加入算法中,后续算法仅会对判定为污染的数据点进行恢复,保障了恢复后低秩张量的质量。在模拟数据集和真实数据集上针对算法进行实验,实验结果表明:RTRPCA算法的低秩张量恢复误差降低至10-10,在司机危险行为分类场景中,能够有效处理现实生活中传感器信号数据受到的干扰,分类准确率平均提升9.23%。
其他文献
税务部门承担着为国聚财、为民收税的神圣使命,是重要的行政执法部门。对税务部门而言,绝大多数干部在基层,为纳税人提供直接服务的也是基层税务部门,基层税务部门在实际税收工作中承担着大部分基础工作,对基层税务部门的管理尤其是基层税务干部队伍的建设显得尤为重要,特别是2018年国税地税征管体制改革以来,税务部门由原来国税、地税两个机构合并为一个税务机构,对税务系统来说,干部队伍建设是一项重要的任务,基层税
同步和斑图是耦合非线性系统中典型的集体动力学行为,其研究有助于理解实际系统的功能和行为。本文主要从耦合节拍器系统的同步和二维耦合格子中的螺旋波两个方面展开相关讨
一般智能移动机器人应具有在室内外环境下进行作业的能力,然而采用地图融合技术的路径规划方法区别很大。室外环境的地图信息已知,路径规划所需要的路径节点信息都已提前采集完毕,只需使用智能路径规划算法就能实现高精度导航;然而室内环境未知,且室内车载定位信号差,需要机器人创建室内环境地图并完成室内路径规划。同时,采用云平台技术解决多机器人之间的服务调度问题难度也很大。为此,本论文研究了基于点云融合的机器人室
全面依法治国作为我国治国方略的主线,能否达到理想的法治状态和形成良好的社会秩序取决于多方面的因素,其中最重要的因素是教育领域能否实现法治化。中小学教师作为依法治教的实践者、宣传者和推动者,其自身依法执教的水平和能力直接影响着依法治教、依法治校的进程,影响着校园安全、师生权益及教育纠纷的预防和处理,因此研究中小学教师依法执教的现状及存在的问题是政策所向,具有重要的理论与实践意义。本研究以N市G区中小
农业是一个国家的根本,发展地域性的特色农业更是农业发展中的最优选择。彭水县作为重庆市一个较偏远县,由于资金投入、地理位置等原因,实现现代化农业难度较大,然而彭水县农业生产总值在农林牧渔业生产总值中处于领先地位,因此发展特色农业对当地至关重要。本文以彭水县传统特色烤烟产业为研究对象,对近年来彭水县烤烟产业发展情况进行调查分析,运用特色农业的发展理论,对烤烟产业发展的优势和发展中遇到的问题进行了详尽的
计算机视觉是人工智能研究的一个重要分支,其应用涵盖了安防、工业、教育等多个领域。近年来,将计算机视觉技术应用到自动驾驶领域,已经引起研究人员的极大关注。而目标检测又作为计算机视觉的一项基本任务,其高质量的检测结果具有重要意义。当前的目标检测算法主要分为传统的目标检测算法和基于深度学习的目标检测算法。前者主要通过人工设计特征和分类器实现目标识别检测,而后者主要是通过卷积神经网络对图像进行特征提取,再
在种类繁多的工业机器人领域中,喷砂除锈机器人的研究因近些年国家对高污染行业的重视力度越来越大,逐渐成为热门研究方向。本文以移动式五自由度喷砂机器人为研究对象,在满足实际作业需求设计的机器人结构基础上,以验证机器人运动特性及提高末端位姿精度为目的,对机器人运动学、动力学及位姿误差建模等方面进行了深入研究。主要为以下几个部分:首先本文按照实际喷砂作业需求,设计了一种移动小车与五自由度机械臂相结合的移动
本课题的主要任务是以新型微型电感元件在制造过程中的装填工序为研究对象,该工序是将绕线后形成初感的半成品元件装填进热压模具的模穴中进行热压成型作业。因为产品与模穴
伴随现代化的不断深入,中国农村也在发生剧变,农村青年的离婚问题引起学者的广泛关注并成为学界研究的新对象。从已有的研究来看,学者大多关注于农村青年离婚背后的个体性因
随着大数据技术和移动互联网的迅猛发展,数据已成为企业和个人的重要资产,挖掘与分析数据的相关技术成为大数据时代下的关注焦点。由于需要通过专业编程语言(如SQL语句)来与