面向高维大数据的局部离群点并行检测算法

来源 :计算机仿真 | 被引量 : 0次 | 上传用户:liongliong542
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前局部离群点并行检测算法在实现时,没有消除局部离群点中存在的冗余数据,存在k值不稳定、局部可达密度低、检测时间长的问题,严重影响数据的正常使用,于是提出面向高维大数据的局部离群点并行检测算法.根据信息熵原理采用E-PCA算法提取高维大数据的特征,并消除冗余特征,实现高维大数据的降维处理,提高算法的检测精度;为了在较短的时间内完成局部离群点的并行检测,结合Hadoop分布式平台中的Mapreduce分布框架和传统的离群点检测算法,在高维大数据中完成局部离群点的并行检测.仿真结果表明,所提算法的k值适中、局部可达密度高和检测时间短.
其他文献
传统基因测序数据生成方法对聚类的起始和终止判断不准确,导致测序数据生成速度慢,且无法对基因特征实现精准表达.为强化描述测序数据与基因之间的关联程度,优化基因测序数据生成效率,提出云计算下的基因测序数据并行化生成方法.利用主成分分析法,建立初始数据特征子集,获取综合数据指标,构建描述特征集合的系数矩阵,计算特征值与特征向量,保留方差贡献值较高的数据,完成降维处理.设计具有应用层、服务层与资源层的云架构体系,确定云平台组件.结合基因数据发展特征,验证基因中是否存在污染物,控制测序数据质量;根据聚类算法的反单调
针对现有的U-Net编解码结构网络的边缘模糊以及上下文信息提取能力弱等问题,提出了在编解码结构网络基础上融合反向注意力和金字塔模块的图像分割网络.网络以Res2Net50作为特征编码器提取特征,在编码器与解码器中引入尺度感知金字塔融合模块,加强网络对上下文信息的提取能力,然后在跳跃连接处加入反向注意力模块,用以提取边缘结构信息,最后使用特征拼接融合特征信息,提升网络模型分割性能.实验结果证明,改进的网络在Liver CT、Finding lungs in CT以及CHAOS数据集上的分割精度均有一定的提升
深度学习、强化学习在游戏中的应用在这几年的研究中非常热门,从围棋,到各种Atari游戏等,但是对于基于卡片的实时策略游戏却只有较少的研究.设计了基于深度强化学习自主游戏的程序,对战实时策略卡牌游戏《皇室战争》训练营.利用Deep Q-Learing算法(DQN),并通过python调用win api操纵电脑进行游戏.对战过程中,使用CNN进行图像识别,包括游戏中的时间、防御塔摧毁情况、手中的卡牌、以及圣水数量四种内容.并使用YOLO v3进行对象检测,识别场上英雄的位置和坐标.DQN根据识别的游戏状态,设
扩散式子带自适应滤波(Diffusion Subband Adaptive Filtering,DSAF)算法是针对分布式估计中输入信号存在相关性的一种有效解决方案.但现实世界中广泛存在的具有脉冲特性的非高斯噪声会导致传统的DSAF算法性能下降甚至完全失效.同时,水声通信、电话会议等实际应用场合中待估计系统常呈现出稀疏特性,传统的DSAF算法并未充分利用该特性.为此基于稳健估计理论和稀疏信号处理方法深入研究了非高斯噪声下稀疏系统的改进扩散式子带自适应滤波算法,并在不同脉冲性的非高斯噪声环境下对稀疏系统中的
研究了一类具有有限耦合连接的分布式互联系统的结构控制器设计问题.与现有的研究不同,在所考虑的分布式网络控制系统中,耦合通信连接的数目是有上界的,而不是固定不变的.利用李亚普诺夫泛函方法,给出闭环系统指数稳定性的充分条件.然后将这种稀疏约束问题转化为势约束问题,并运用一种放松方法来解决这一非线性问题.上述方法不同于传统的将非线性规划方法转化为线性规划方法的思想,而是通过扩展可行域来提供更多的自由度.最后通过一个互联发电系统的例子来验证所提控制方法的可行性和有效性.
特大型央企自上而下推行建设规范化精细化管理信息系统时易陷入抽离业务具象的形同神散窘境,脱离系统建设本意.借鉴边缘计算和云计算协同理念,探讨以互联网开放平等互动原则纳管分部业务各异性,刻画系统功能模块与业务运行契合度,提升业务场景数据处理鲜活力的同时支持管理信息系统由“形散神聚”向“形神合一”演进,促进特大型央企信息化建设.
针对现有算法在增强光照不均匀图像暗区域时存在亮区域亮度失真的问题,提出了基于OSTU的光照不均匀图像自适应增强算法.首先,将图像的色彩空间由RGB转换至HSV,使用多尺度引导滤波算法计算出V分量的照度分量与反射分量,然后,通过OSTU法计算V分量的最佳分割阈值,根据该阈值设计出自适应调整照度分量不同区域的两条伽马曲线,同时,将调整后的照度分量与原照度分量融合并对反射分量进行增强,最后,合并照度分量与反射分量,得到处理后的V分量.为验证算法的有效性,将该算法与MSR算法、CLAHE算法及相关文献所提算法进行
在蒙特卡洛模拟程序中构建三维仿真模型,对热压微晶碳化硼材料的中子屏蔽性能进行模拟仿真.仿真结果表明,碳化硼在材料中的含量直接影响着中子的投射系数,可以通过调整材料中碳化硼的含量,改善中子屏蔽效果;在普通材料的高能中子区和低能中子区添加相同含量的碳化硼,对中子屏蔽性能产生的影响存在差异,高能中子的屏蔽性能优于低能中子的屏蔽性能;中子屏蔽性能也受屏蔽体材料厚度的影响,将碳化硼添加到普通材料中,可以提高屏蔽效果,降低屏蔽材料的厚度,且屏蔽厚度与碳化硼含量之间呈反比.
传统多模态智慧网络云存储安全测试方法忽略了对云图数字特征的修正,导致测试结果精度偏低、稳定性较差.于是提出新的多模态智慧网络信息云存储安全等级测试方法.明确云存储运行结构与安全检测机制,组建云存储安全等级测试指标体系并加以划分.利用贝叶斯算法构建反馈云模型,修正测试云图的数字特征,结合优化模糊综合测试法,确定测试指标的等级集合,计算集合内指标隶属度,得到存储安全等级模糊权向量集,完成安全等级测试.仿真结果证明,所提方法的云存储安全等级测试结果精确,稳定性强,具备显著的应用优势.
云计算中跨数据中心虚拟机迁移存在带宽小与无共享存储功能问题,导致迁移过程数据的安全性受到威胁.为降低带宽开销,提升抵御攻击能力,研究基于深度哈希算法的云计算虚拟机迁移模型.利用深度哈希算法获取需要迁移虚拟机基本镜像的类似程度,根据类似程度构建哈希图,依据哈希图构建云计算虚拟机迁移模型;通过上述模型中迁移代理主机实现虚拟机迁移时的信息传递;存储单元利用哈希图存储虚拟机基本镜像及镜像间的相似度;通过迁移单元迁移存储单元中需要迁移的基本镜像数据块,完成虚拟机迁移.实验证明,上述模型在不同负载时跨数据虚拟机迁移时