基于层次优化的高效稳定大规模向量数据可视化方法

来源 :浙江大学 | 被引量 : 0次 | 上传用户:milai8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展,向量数据作为重要的数据表示广泛被应用于数据挖掘、机器学习和人工智能等领域。然而大部分的向量数据都因为维度过高无法被人们直观的认识。将向量降维到二维进行可视化是目前普遍使用的方法。然而互联网带来的数据爆炸,导致向量数据的规模越来越大,已有的方法因为效率不佳难以在超大数据上应用,并且已有方法还存在可视化结果随不同随机初始化会有结构不稳定,在大规模数据上存在团块结构撕裂等问题。
  针对已有方法的稳定性不佳的问题,本文提出的方法以待可视化数据的聚类中心为锚点,先对锚点进行可视化,由于锚点数量少,锚点可视化结果具有更佳的稳定性。在后续优化过程中,本文继续使用锚计算速度点控制可视化结果的宏观结构。针对已有方法的效率问题,本文提出的方法在得到锚点的基础上,使用锚点构建倒排索引,可以快速的构建近似KNN图,加速算法运行。使用锚点的可视化结果辅助初始化相较于随机初始化更接近最终结果,可以减少优化的迭代次数,进一步提高了效率。本文提出的方法是层次化的,首先使用锚点给出粗略的初始化,再进行细节优化。在进行细节优化的过程的每一个迭代步骤,仍然首先优化锚点的位置,再在有锚点参与的条件下进行真实数据点进行优化。
  本文所述方法适用GPU优化,在GPU上进行了实现,并在包括2000万数据点规模的数据集在内的11个数据集上进行了测试,和已有方法相比,在可视化结果观感更好的情况下,在计算速度、内存占用、可扩展性和K近邻精度等客观指标上都有明显的提升,达到了领先水平。
其他文献
摘要:在我国农业经济发展过程中,畜牧养殖产业在其中占据着十分重要的地位,同时也被作为地区经济持续稳定发展目标达成的重要依托。在当前我国众多地区对畜牧养殖技术进行推广过程中,仍然存在许多问题,极大限制了畜牧养殖经济水平的提升。我们需要详细了解畜牧养殖技术推广过程中存在的问题,并制定针对性的解决策略。  关键词:畜牧养殖技术;推广;问题;对策  0引言  在推广畜牧养殖技术过程中,主要是为后续农业生产
期刊
摘要:近年来,我国综合国力稳步增强,这再次对单位员工的思想政治教育的健康发展提出了更高的要求。单位员工的思想政治教育的关系涉及到需要培养什么样的领导者的根本问题,必须时刻予以高度重视。新的历史时代对从事思想文化政治理论工作提出了新的历史要求。进一步加强人才政治建设,要继续坚持党对思想政治工作人才政治建设的坚强领导,提高人才政治理论素养,深化人才发展领导体制和管理机制改革。本文论述了思想政治工作的新
期刊
摘要:目的:通过健康教育,让更多的目标人群尽可能地掌握预防保健的相关知识及其具体实施措施,对社区服务人群的身心健康、生活幸福指数的提升进行适时干预和指导 。方法:制定健康教育干预方案,采取和应用社区居民易懂、易接受、实用的、落地的、有效的方法进行健康宣教和干预。 结果:通过一系列的有效干预措施,保证普通居民家庭每户至少有一个懂预防保健知识的人,并能熟练指导家庭成员对自身进行健康管理,相对而言,社
期刊
摘要:钢铁行业受制于工业品销售特点有别于一般快消行业,经销商在渠道订货中产生的风险将对企业造成极大影响。因此,在对经销商风险管控的要求、内容和后评估等方面需要做好从准入到退出全生命周期的管控。通过建立经销商风险管控系统,进行事前风险防范、事中风险控制以及事后经销商价值评估,有效识別经销商当前及潜在存在的风险,防范经销商风险造成企业利益损失。  关键词:钢铁;经销商;风险;管控  彼得·德鲁克曾经说
期刊
摘要:人口老龄化、经济绿色发展的背景下,康养产业面临庞大的消费需求和社会需求,具有广阔的发展前景。本文对于康养产业发展的国内外文献进行梳理,对康养产业的国外研究现状和国内研究现状进行总结,最后进行评述。  关键词:康养;康养产业;“康养+”产业  “健康中国”战略背景下,国内康养市场消费需求激增,康养产品供给不断扩大。康养产业是增长性和持续性更为强劲的产业,可以助推经济发展方式成功转型,促进经济社
期刊
摘要:对外汉语教师设计的文化教学要符合中国人的日常生活,从衣食住行中领会“活”得中国文化。中国人的衣食住行不仅是中国人的生活方式,更是中国文明的传承方式。本文就是以饮食为着眼点进行的文化课教学,并进行了相关的教学活動设计。  关键词:饮食;对外汉语课堂;文化教学  一、文化教学的必要性  对外汉语课堂的最终目标是培养学生用汉语进行交际的能力,学校在中文课程的设置上就会增加语言课程的比重。随着学生汉
期刊
摘要:在我国社会经济高速发展背景下,各行各业的发展也呈现出多元化的趋势,在此行业内部的竞争也愈演愈烈,国有企业若想在此占据稳定的席位,不仅要重视经济效益的提升,还需加强行政管理工作的整体水平,使其能够在企业发展过程中起到绝对保障作用。本文围绕国企行政管理工作中存在的不足展开了探讨,并提出相应解决措施。  关键词:新时期;国企;行政管理;不足;策略  一、国企行政管理工作中存在的不足  (一)管理体
期刊
摘要:企业党建工作的重要组成部分就是针对内部员工开展的思想政治工作,其主要工作内容包括振奋精神、理顺情绪、化解矛盾、凝聚人心以及统一思想等基础性的思想建设。在经济建设飞速发展的新形势下,企业如何在科学发展观的引导下,用创新的理念提升企业思想政治工作的效率,从而能够以积极的心态应对日益激烈的经济市场的竞争成为亟待解决的问题。  关键词:新形势;企业思想政治;工作策略;  随着我国经济建设的不断发展,
期刊
摘要:随着企业的快速发展和业务的迅速扩张,专业技术人才在数量、质量和结构上的短缺越来越突出。专业技术人才是企业人才队伍的重要组成部分,是推动技术创新、实现科技成果转化的重要力量,是企业提高竞争力、取得成功的决定性因素。培训、选拔、评价和激励机制是专业技术人才管理的关键,对企业差异化战略的实施起着重要的支撑作用。  关键词:专业技术人才;企业发展;管理  随着改革的不断深化和市场经济环境的复杂变化,
期刊
摘要:随着短视频的快速发展,微综艺应运而生,西瓜视频微综艺是市场增长量主要带动者。西瓜视频微综艺以其涉及范围广、针对性强的特点迅速发展,在制作策略上从高品质、成系列的角度出发,获得很好的成效。根据微综艺的制作策略可为传统微综艺提供可参考借鉴。传统综艺的发展可以多注意多元化发展和核心体现。  关键词:西瓜视频;微综艺;制作策略  互联网给我们提供巨大便利的同时占据我们的闲杂时间,在这个趋势下短视频应
期刊