【摘 要】
：
核矩阵近似是提高核方法计算效率的基本方法。已有的核矩阵近似方法独立于学习问题,且用于在线核方法时每回合重新求解近似核矩阵导致较高的计算复杂度。本文首先提出面向泛化误差的矩阵近似方法,然后通过增量奇异值分解给出高效的增量矩阵近似方法。整合泛化误差近似与增量矩阵近似给出在线核方法泛化误差的增量近似方法。主要内容如下:1.提出面向泛化误差的矩阵近似方法。用泛化误差构造采样分布,将该分布作用于核矩阵的近似
论文部分内容阅读
核矩阵近似是提高核方法计算效率的基本方法。已有的核矩阵近似方法独立于学习问题,且用于在线核方法时每回合重新求解近似核矩阵导致较高的计算复杂度。本文首先提出面向泛化误差的矩阵近似方法,然后通过增量奇异值分解给出高效的增量矩阵近似方法。整合泛化误差近似与增量矩阵近似给出在线核方法泛化误差的增量近似方法。主要内容如下:1.提出面向泛化误差的矩阵近似方法。用泛化误差构造采样分布,将该分布作用于核矩阵的近似,使得由近似核矩阵所得的泛化误差每回合近似真实的泛化误差,由此给出泛化误差近似的一般方法。2.提出增量Nystrom方法。用截断增量奇异值分解增量求解交叉矩阵的广义逆,将求逆的时间复杂度从O（m3）降为O（mk+k3）,其中m为采样规模,k为截断的秩。采用周期重启策略,将由截断产生的矩阵近似误差周期重置。保证矩阵近似误差的同时,提升每回合求解近似核矩阵的效率。3.给出增量Nystrom方法的矩阵近似误差上界,进一步根据近似泛化误差给出在线核方法的O(T1/2)后悔界。整体而言,将泛化误差近似问题归约为矩阵近似问题,给出泛化误差近似的一般方法。进一步通过矩阵近似的增量方法,给出在线核方法的高效计算方法。
其他文献
随着无线通信技术和嵌入式技术的成熟,无线传感网得到了飞速的发展,并成为物联网的核心技术之一。大量的传感器以无线通信的方式,构成了以多跳、自组织为主要特点的无线传感网络,并应用于军事、医疗健康、智能制造、智能电网和车联网等多个领域。节点复制攻击是无线传感网中常见的攻击方式。在这种攻击之中,攻击者利用被捕获的诚实节点的信息来伪造网络节点,这些伪造的恶意节点被注入网络之后,可以进行传递虚假消息、更改路由
本论文的研究目标是利用一段简短的说话人语音从中生成与说话人真实面孔相似的人脸图像。为了解决该跨模态学习任务,本论文设计了一个端到端的深度神经网络以自监督的方式学习从语音到人脸的抽象映射,论文将模型分为两个部分,在第一部分中通过语音特征提取网络从说话人的语音频谱中提取低维的人脸特征,在第二部分中通过人脸特征解码网络将人脸特征还原为人脸RGB像素图像。由于说话人视频形式的数据自带有说话人语音以及对应的
网络表征学习旨在将网络中的节点表示成低维向量,从而利用这些向量去完成一些网络分析任务,例如节点分类、节点聚类、链接预测和物品推荐。现有的一些基于生成对抗网络的方法通常使用生成对抗网络来对抗学习节点表征分布和某一个特定的分布,从而使节点表征分布具有某一个特定的分布作为先验分布,比如高斯分布。但是,这种对抗学习策略一是无法学习更加丰富的节点表征信息,二是没有充分利用生成对抗网络的本质优势,即对抗地学习
数字水印是保护信息安全的一种有效手段,且音频作为经常使用的媒体类型之一,认证音频水印的研究具有极大潜力。目前的认证水印大多为静态信息,缺乏足够的安全性,且结合深度学习方案的音频水印研究也有待挖掘。论文主要研究基于深度学习的身份认证音频水印算法。对于水印信息生成,论文借鉴语音侧写领域关于人声画像的思想,探讨从音频中获取身份特征作为水印信息的可行性,并提出了基于生成对抗网络的身份水印生成模型。该模型利
随着我国经济的快速发展，人们的生活质量显著提高，食品质量安全问题逐渐引起了人们的关注。胶体金免疫层析技术是层析与免疫分析技术相结合的一种技术，能对现场食品开展快速免疫检测，有效地确认食品的质量安全，从而保证人们日常饮食的健康和安全。本文分析了胶体金免疫层析技术及其在食品检测中的应用，以期为食品检测工作提供参考。
近些年来,大规模视频处理在监控分析、交通管理、在线视频内容检索等方面发挥着愈来愈加重要的作用。同时,借助于深度学习的发展,图像分析的精度逐步得到提高,应用深度学习模型例如目标检测模型以及目标识别模型进行视频处理已经变得十分高效。在视频处理过程中,对于同一个视频,会有来自多个不同用户的多个请求。当这些的请求在查询内容或区间等方面存在重叠时,便会为数据共享带来可能性。由此,通过对多个请求间的重叠部分进
目前,知识图谱已经成为人工智能技术的重要组成部分,拥有强大的语义处理能力和数据关联能力。作为知识图谱上最常见的导航式查询,正则路径查询在近些年被广泛研究和讨论,已经成为一个焦点问题。随着互联网的发展,知识图谱规模日益激增,采用分布式技术成为面对大规模数据的必然选择。部分求值技术已经应用于图数据查询的分布式处理方案,然而,基于部分求值的方法一方面会计算很多无效的部分中间结果;另一方面容易导致计算和通
为了更好的完成大规模知识图谱补全和构建等工作,本文主要研究如何高效地利用分布式技术对大规模知识图谱进行稳定有效的表示学习。在利用分布式技术进行知识图谱表示学习时,会面临对大数据和大模型进行稳定高效处理的同时又要减少语义损失的挑战。所以,通过设计高效的分布式并行模式、参数交互模式以及有效的模型聚合方法等方面的工作来解决问题是非常重要的。本文面向知识图谱表示学习提出了一种基于去中心化混合并行的分布式框
语音交互是人类社会最直接、最自然的沟通交流方式,语音识别作为其中关键技术之一,能够通过识别语音信号,将语音信号转化为对应的文本文字。经过多年的深入研究,自动语音识别技术（ASR）已经取得了重大突破,并且投入到实际应用中,但是目前仍有一些技术难题需要攻克,其中最核心的问题就是降噪的处理。在实际应用中,由于周围环境的不确定性,语音常常会受到环境噪音的影响,进而影响语音的质量,最终使得语音识别率显著下降
利用网络表示学习方法高效的分析和挖掘大规模异质信息网络已经引起了广泛关注。由于考虑了节点与边的类型信息,异质信息网络携带的丰富的语义和结构信息,可以很大程度的优化网络分析和下游任务,但是如何充分利用这些信息则成为一个特殊挑战。传统的异质信息网络表示学习通过元路径引导的随机游走产生节点序列,并利用神经语言模型进行表示学习。虽然上述方法可以取得很好的效果,但仍旧是采用非常传统的Skip-Gram神经语