基于概率模型的离群点检测近似算法的研究与实现

来源 :沈阳航空航天大学 | 被引量 : 1次 | 上传用户:hulielie310
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,流数据逐渐成为当今主要数据类型,它具有数据规模大、传输速度快等特征,这些特征给高效管理流数据带来巨大挑战。离群点检测是数据挖掘领域一种重要数据挖掘技术,在流环境下有着广泛的应用。现有算法普遍存在计算和空间代价大等问题,无法在高速流环境下高效工作,用户的实时性要求无法满足。本文研究面向流数据的离群点近似检测问题,以降低精度为代价换取计算代价的大幅降低,满足用户实时性需求。本文贡献点总结如下:本文首先研究了滑动窗口模型下基于距离阈值的离群点近似检测问题。针对此类问题,本文提出查询处理框架PBOAD(Partition-Based Outlier Approximate Detection)。PBOAD首先利用分片技术对滑动窗口进行划分,以此为基础,提出基于M-Tree的索引PMT(Partition based M-Tree)管理各分片数据。再次,PBOAD使用带概率误差保证的离群点预测算法过滤安全对象,降低算法复杂性。本文随后研究了滑动窗口模型下基于kNN平均距离的离群点近似检测问题。针对此问题,本文提出查询处理框架GAOAD(Grid-based Average Outlier Approximate Detection)。首先,GAOAD提出基于网格的索引管理流数据分布概要信息,研究了单元格粒度自适应调整规则,根据kNN平均距离离群点自适应地调整网格粒度从而达到高效过滤的目的,其次,介绍了基于小顶堆的单元格搜索算法维护安全对象,再次,提出候选对象维护策略支持离群点检测。本文从流环境下离群点检测现存问题出发,针对离群点检测的关键技术展开研究,理论分析和实验验证了PBOAD和GAOAD的高效性和准确性,研究成果可为高效支持数据流环境下的离群点检测奠定基础。
其他文献
篮球运动属于团体运动,通过参加篮球运动不仅可以有效提升学生的身体素质,还可以增加班级的凝聚力,提升学生学习的积极性。但是,当前我国大多数学校还是采用传统的篮球教学方式,一般都是只重视对学生进行篮球技能的教学,这样的教学方法比较枯燥,不适合现代学生的发展趋势。而通过比赛教学法在篮球教学中的运用,不仅能有效增加课堂的趣味性,还可以有效的调动起来学生们学习篮球的积极性。目的在课堂中运用比赛教学法教学时,
针对当有源相控阵天线服役恶劣环境时,其性能下降的问题,就如何利用结构补偿技术改善天线性能展开深入研究,并在结构补偿的基础上,提出了一种新型的形性混合补偿法,具体内容如下:1.服役载荷分析。对舰载等典型有源相控阵天线的主要服役载荷进行了分析。为描述载荷影响下的天线电性能变化,建立了载荷影响下的天线远场方向图计算公式。若可将服役载荷对天线阵面的作用等效为力对阵面的作用,该公式可快速计算出载荷影响下的天
自2013年以来,PPP模式被广泛应用到基础设施建设项目中,全国掀起PPP项目申报热潮。PPP项目周期长,流程复杂,内容专业性强,利益主体多的特点运营过程中也易产生许多问题。对PPP项目进行监管是保证PPP模式健康有序发展的重要环节,其中政府监管发挥着不可替代的作用。首先,通过阅读大量与PPP模式相关的国内外文献,具体分析了PPP模式及政府监管制度的基本理论知识,对PPP的概念、特征、发展历程和政
近年来,世界各大国军事科技竞争全方位展开,各国普遍将尖端国防科技布局和发展视为大国博弈的战略重点和提升作战能力的重要途径,不断推动国防科技前沿技术探索和创新发展,为
期刊
雷达波形是雷达系统信息的载体,雷达波形的优劣直接影响到雷达系统整体性能的好坏。相比于传统的相控阵雷达,MIMO雷达每个阵元可以发射不同的波形,即拥有更多的自由度,从而可以提升雷达系统的性能。随着战场复杂性的提升,单一的雷达波形很难满足实际应用的需求。为了解决这一问题,本文通过对MIMO雷达信号的共存性进行设计,可以使雷达具备多种功能,从而提高雷达资源的利用率。本论文从MIMO雷达波形设计的基础知识
随着互联网应用的快速发展,现有的无线通信系统难以满足高速率传输业务的需求。太赫兹波是一种尚未被分配使用的电磁波,其频率范围为100GHz到10THz,由于太赫兹频率较高,所以可支持数10Gbps的传输率。因此利用太赫兹通信能够满足日益增长的数据传输需求。太赫兹由于特殊的频段位置,兼具毫米波和红外光波的物理特性,主要体现为大气衰减严重,波束较窄和穿透性强。因此,太赫兹波更适合于近距离的高速传输,如应
本文是一篇翻译实践报告,所译材料是《美容护肤产品配方》,是一本由美国知名皮肤科医生Zoe Diana Draelos与宝洁公司科研专家Lauren A.Thaman主编的化妆品科学专业书籍。这一类的文本具有许多显著的特征:在词法方面,专业性词汇和缩略词众多,除了专业术语外,还有部分普通词汇,这些普通词汇虽有其自身含义,但在专业领域中与其他词语搭配意义则会大不相同;在句法方面,长难句较多,多使用被动
科技在不断进步,人们的生活日新月异,这也促使无线通信技术飞速发展。然而随着用户设备数目的增多,用户对通信质量要求越来越高,频谱资源也越来越稀缺,现有的通信技术渐渐不
在经济全球化和技术标准化的浪潮席卷下,探讨如何运用反垄断法对专利池滥用进行规制,具有理论上和现实上的必要性。专利池具有整合互补技术、减少交易成本和避免昂贵的专利侵权诉讼的优势。但是,为追求超额垄断利润,专利权人不正当地扩大自身权利的范围,滥用专利池限制市场竞争、排斥竞争对手,最终间接损害消费者的利益。所以,我们必须完善专利池滥用反垄断法规制体系,充分保障市场经济的发展。我国对专利池滥用进行规制主要
近年来,面向空间网络数据的查询服务已广泛存在于现实生活的应用中。将该服务外包到云计算平台能有效降低本地资源开销和运营成本。然而,直接将数据服务外包到云平台可能会引起严重的隐私问题。因此,如何在云平台中提供保护隐私的空间网络查询服务是当前研究的热点问题。针对该问题,本文对云环境下空间网络查询服务的隐私安全关键技术展开深入研究,面向空间网络kNN查询处理提出了一系列隐私保护方法。本文首先提出了基础空间