解纠缠表示学习与概念空间构建

来源 :浙江大学 | 被引量 : 0次 | 上传用户:yp7611
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
知识和数据的表示是人工智能的核心问题之一。良好的知识和数据形式化表示可让下游的模型学习和算法应用更为简单有效。评判表示的一个重要标准是可解释性。可解释表示不仅便于人类理解算法的结果,更可以提高模型的鲁棒性和泛化能力,帮助计算机更准确地理解数据背后的规律。解纠缠表示是研究可解释表示的重要方向之一。解纠缠表示学习的主要目的是从数据中学习可解释属性,从而为下游机器学习算法提供更好的特征,乃至辅助计算机进行类似人类思维的推理。本文的研究围绕解纠缠表示学习算法及其在概念空间构建的应用展开。在上半部分,本文聚焦于无监督的解纠缠表示学习算法,实施了如下两方面的研究:(1)提出了基于类比推理的无监督解纠缠表示学习方法。该方法基于一个重要的观察,即可解释属性和特定的样本间类比关系存在一一对应关系。因此,该方法用互成平行四边形的隐空间编码对来表示具有类比关系的生成样本对,并设计了分类器学习类比样本对中的数据变化规律。最终,生成器和分类器协同训练得到可解释属性。可以证明,该方法在学习过程中最大化样本和隐空间编码的互信息。(2)提出了基于属性两两独立假设的无监督解纠缠表示学习方法。在大规模数据集上的统计分析表明,可解释属性并不是相互独立而更可能是两两独立的。因此,该方法植根于两两独立假设,设计了属性两两独立的度量项,包括其计算和采样方法。另外,该方法使用了一个新的对数似然变分下界,该下界仅仅约束属性的边缘分布而不约束联合分布,从而可以和两两独立度量项结合形成最终算法。在下半部分,本文展示了解纠缠表示学习在概念空间构建中的应用。依据解纠缠表示和概念空间在定义上的相似性,本文探索性地用解纠缠表示的隐空间近似概念空间。并且,本文还介绍了两种概念空间上的概念表示方法:基于邻域模型的表示和基于密度尖峰的表示。具体地,本文回顾并探讨了基于邻域表示的形式化定义、单概念的表示方法和多概念的表示与推理方法,以及基于密度尖峰的概念表示和学习方法等。最后,本文还展示了解纠缠表示学习方法和概念学习方法的组合实验。然而,本文的概念空间学习和概念学习方法在设计上是分离的,也并没有基于统一或相适应的假设,因此学习机制存在不可避免的缺陷。总结来说,本文探讨了新的无监督解纠缠表示学习方法,其中可解释属性倾向于两两独立的发现对相关研究最为重要。本文提出的方法有望为其他的机器学习算法或应用提供更好的数据表示。具体来说,本文方法可从数据中提取特征,在此基础上进行数据降维和可视化,或者用于有监督学习以避免对数据的过拟合并提高模型泛化能力,或者用于无监督学习以集成更多的先验从而发现数据中的规律。
其他文献
家父陈天然主任中医师系四川省第二届十大名中医,全国第三批及四川省第二、四、五批老中医药专家学术经验指导老师,师从川北名医王柄如先生,精于内科杂病,善治疑难病证,笔者是家父
随着城市化进程的加快,越来越多的乡村人口涌入城市,随他们来到城市的子女被称为“新市民子女”,从“农民工”到“新市民”,虽然身份之变去掉了之前一些称谓的歧视色彩,但是新市民子女的教育公平问题一直备受社会各界的广泛关注。课堂教学不仅是学校教育最基本的活动,而且也是连接学校教育与学生之间的桥梁。本文从新市民子女课堂参与为切入点,探讨新市民子女的教育问题以及新市民子女教育问题中存在的教育公平问题,希望借此
李健吾从现实文艺运动的需要出发,提出“典型环境下的非典型人物”的文艺创作观,并付诸戏剧创作实 践中.其思想外托于对20世纪30年代风雨飘摇下社会环境的剖析视野,内依于现
钻孔桩的建设质量直接影响整个桥梁工程的质量水平,可通过有效的质量控制策略,不断提高钻孔桩的建设质量,保障其在桥梁工程中的稳定性。通过对桥梁工程中的钻孔桩进行研究,分
副猪嗜血杆菌(Haemophilus parasuis)是一种定植于猪上呼吸道的革兰氏阴性条件致病菌,猪在免疫力低下或者应激状态下时,该菌可引起格拉瑟氏病(Gl?sser’s disease)。尽管副猪嗜血杆菌毒力因子及致病机理仍不清楚,但病原菌表面唾液酸化是其逃避和抵抗宿主免疫系统重要的机制,而且已有体外实验表明副猪嗜血杆菌的唾液酸酶和唾液酸转移酶与细菌毒力密切相关,所以本论文对副猪嗜血杆菌唾液
高压氙(HPXe)探测器是具有良好物理特性的高能量分辨率气体辐射探测器,工作温度范围广、抗辐照能力强、服役寿命长的特点使得HPXe探测器在工业应用中具有巨大潜力。但其屏栅结构的噪声敏感性对探测器信号基线造成严重影响,使得基线发生漂移,从而导致能谱测量失真,极大地限制了这类探测器的实际应用。针对这一现状,本文基于FPGA的数字信号处理技术设计并研制一套高能量分辨率的数字多道系统,并在该系统中加入了自
光动力疗法作为现今一种革命性的治疗恶性肿瘤的高科技生物疗法,目前已开始应用于肿瘤以及非肿瘤疾病的治疗,为了使光动力疗法得到更加广泛、高效的应用,科学家们仍在致力于
本文对艺术类院校的教学现状所产生的问题进行了深入探究,并提出了激发学生兴趣,改变单一教学方式,教材编订,分级教学等相应对策,希望能切实提高艺术生的英语水平。
核壳型金属纳米复合粒子是一种以金属纳米粒子(metal NPs)为核的纳米复合材料。Metal NPs独特的结构特征,决定了其优越的纳米效应,因此成为信息存储、催化、抗菌、载药、电学和
利用单因素实验对红曲霉发酵过程中生物量与色价的影响进行了研究。通过单因数实验得到最佳碳源和氮源分别是玉米粉和Na NO3。实验得到优化发酵培养基:玉米粉浓度50 g/L,Na N