基于信息熵的高维数据可视分析机制研究

来源 :兰州理工大学 | 被引量 : 0次 | 上传用户:huyuxuan0601
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据维度相关性分析一直以来是数据分析领域的研究重点,随着大数据在当今社会各个应用方面的快速发展,数据信息量出现了指数式增长,数据维度也越来越高,维数灾难成为了亟需解决的问题。数据可视化将数据用图形化的方式进行直观的展现,可以很好的帮助用户进行数据分析,并通过图形描述可以直观判断几个数据维度间存在何种相关关系。但是传统的可视化方法难以解决维数灾难的问题。一些数据挖掘方法虽然可行,但是难以把过程具象化,并且在一些应用场景下仍然需要可视化方法提供参数指导。在最近的研究中,加强数据可视化的策略主要是数据精简、可视化呈现和协调关联多视图三类,在实际应用中经常根据此三类组成复合方案,帮助用户探索高维数据。本文为实现基于信息熵的高维数据可视分析机制的研究,提出并实现了基于信息熵的高维数据可视分析原型系统ASExplorer。它采用一种基于联合熵的维度重要性评价算法进行数据精简,并设计以采样尺度为中心的交互式探索方法,为了验证原型系统的有效性,本文从案例分析和用户研究两个角度进行了验证。1.分析研究传统数据分析方法的特点,结合信息熵,提出了一种基于联合熵的维度重要性评价算法。该算法可以在缺少先验知识的情况下帮助用户精简数据和挑选作为分析路径的数据维度。2.交互技术是用户与信息系统之间的交流方法,本文提出了以采样尺度为中心的交互探索方法,该方法基于协调关联多视图策略,以分析路径上的采样尺度为自变量,计算每个数据维度的变化情况,并将这种变化绘制成迷你图,每个数据维度对应的迷你图可以通过曲线相似度进行排序。该方法可以同时探索多个数据维度在分析路径的采样尺度变化时的关联关系,并在探索过程中保持数据的原始特征不变。3.基于以上两点开发了名为ASExplorer的可视分析原型系统,优化了系统的易用性,用户可以通过刷选和排序等简单直观的交互操作,实现多维对比分析和假设验证。该系统适用于缺乏先验知识的数据集的早期分析过程,通过实例分析和用户研究证实了系统的有效性。
其他文献
作为一种原理简单、操作方便、制造成本低廉的3D打印技术,熔融沉积成型(Fused deposition modeling,FDM)在工业和生活中已随处可见,但成型件尺寸精度低、表面粗糙等不足限制了该技术的进一步发展和应用。此外,随着产品个性化定制需求的不断提高,利用工业级3D打印设备加工微小型工件的成本高,且适应性差。为了解决上述问题,本文设计和搭建了基于FDM与铣削的桌面级增减材复合加工机床,并
大数据技术的广泛普及加速了人类进入数据时代的步伐。基于位置信息的各种大数据业务虽然为用户提供了衣食住行等方面的个性化服务,但同时也导致了个人隐私泄露的风险。位置大数据的统计信息发布是根据划分区域内的统计量来进行数据发布的,如何在保证用户位置隐私的前提下,提高位置大数据的统计信息发布的服务质量是亟待解决的问题。将差分隐私模型与位置大数据的统计信息发布相结合,可以实现在任意背景知识情况下,对发布的位置
窄带物联网(Narrow Band Internet of Things,NB-IoT)作为实现万物互联的一个重要通信技术,旨在为低吞吐量、低功耗和远程通信的大规模物联网设备提供无缝连接。NB-IoT构建于蜂窝网络,只消耗大约180k Hz的带宽,可直接部署于GSM网络或LTE网络,实现网络的平滑升级,以降低部署成本。在传统的异构蜂窝网络中,由于宏基站和小基站之间存在功率方面的差异,大多数用户经常
物联网(IoT)在过去十年中获得了极大的普及,随着连接设备的增加,物联网越来越多样化。以物联网为中心概念的产业现在已经无处不在。物联网的最终目标是引入即插即用技术,为终端用户提供易用性、远程访问控制和可配置性等功能。从互联网出生之时,TCP/IP协议逐渐成为互联网最重要的基础设施,然而IPv4协议存在地址不足、移动性及安全性等问题,IPv6是解决IPv4问题的改良式方案,IETF提出了基于IPv6
科技的革新与提高、移动智能终端的快速升级以及定位技术的不断完善,使得LBS得到了迅猛发展,用户终端在享受便利的同时也面临着隐私泄露的风险。为满足车辆的高速移动、系统的储存负担等性能要求,提出一种符合兼容车联网环境的基于LBS的车联网隐私保护算法性能评价指标和可调节的评估策略。为解决现有车联网环境下位置隐私保护算法缺少一种具有普遍适用性性能评估方法的问题,满足隐私保护度和位置服务质量之间的自适应平衡
世界四大粮食中,马铃薯被专家称为可以拯救人类的粮食。其分布区域十分广泛,但目前在马铃薯的智能分选方面仍处于研究阶段,大部分地区依旧利用人工分选手段。在生产过程中,马铃薯品质会严重影响马铃薯深加工产业的实际效益,而对马铃薯进行品质分级,是进行工业化生产的重要前提之一。现有的机械分级方式大都容易对马铃薯的表面造成二次伤害,针对现有情况,开发出一种无损于马铃薯品质的快速分级方法,对目前来说尤为重要。本文
随着云存储与互联网技术的飞速发展,多媒体数据传输及保存不再成为限制语音交流广泛使用的瓶颈。然而,云端作为不可信的第三方平台,极易受到隐私泄露的威胁。如何保证用户在数据安全得到保证的前提下,如何从海量的语音数据中高效地实现密文语音检索,受到众多学者的广泛关注。论文主要利用混沌系统理论、能量规整谱系数(PNCC)、语音感知哈希、Mobile Nets V3模型等技术,对密文语音检索系统所涉及的语音加密
随着现代机械加工技术的不断进步,机械行业不再满足于单纯的“能加工”,而是要求高精度、高效率的加工过程,加工方式也逐步向着自动化、智能化方向迈进。铣削加工是重要的机械加工手段,加工过程中,铣削工艺系统的动刚度与切削颤振密切相关,对加工精度和工件表面质量有着重要影响。目前国内外学者通过有限元仿真和解析计算在一定程度上均得以实现动刚度的获取,然而在有限元建模时,所建模型难免与实际工况有所出入,而解析计算
随着移动技术的发展以及网民数量的增长,互联网中的信息与日俱增,文本数据是这些信息最主要的表现形式之一。从海量文本数据中提取和使用有价值的主观信息是如今自然语言处理领域中非常受欢迎的研究课题。其中,对文本中隐含的主观情感倾向性进行分析研究,可以为用户推荐、舆情分析等领域提供有益的指导。现有的文本情感分析方法尽管取得了一定的成绩,但仍存在一些缺陷:依靠情感词典判断情感极性,其准确性过于依赖词典质量的好
计算机视觉领域的一个重要分支是目标检测,在以智能监控和无人驾驶为代表的人工智能新兴应用领域中,对目标检测任务的要求是实现现实图像中各类物体的边界提取、分类以及识别等。随着卷积神经网络的快速发展,基于深度学习的目标检测研究成为一种实现检测高精度和高准确率的重要手段。目前常见的目标检测算法通常需要像素级的标注信息来训练网络模型,但像素级标注信息的获取是劳动密集型的且容易受条件的限制使目标特征淹没在噪声