关联规则新采样技术研究

来源 :山东财经大学 | 被引量 : 0次 | 上传用户:smileye1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一些关联规则挖掘(ARM)算法已经规定,发现数据项之间的亲密关系可以提高整体利润或导致有效的决策。然而,令人难以置信的数据存储激增导致了ARM算法的失败,从而给金融、工程和医学领域的ARM技术带来了挑战。在本研究中,我们通过分析以往的ARM技术,研究了在大型数据库的情况下,ARM所面临的挑战。我们遇到的问题是,由于技术的发展,互联网上的信息与日俱增,以往的ARM技术由于扫描ARM算法的无穷无尽而在大型数据库上失败。因此,为了解决这一问题,我们首先研究了ARM在金融、工程和医学领域面临的挑战,在第二阶段,我们提出了一种基于相似度的Jaccard采样算法来克服这些挑战。我们遇到过传统的ARM技术在大型数据库中由于消耗了大量的内存而失败,在大型数据库中,ARM传统技术需要花费未知的时间来发现知识。在将ARM技术应用于大数据集之前,我们提出的采样技术消除了不频繁的项目集。在提出的算法中,生成一个唯一项的引用集来对频繁和不频繁的事务进行分类,而不是在一个大数据集中生成几个样本或分区,这样效率较低,实现复杂,且耗时。为了评估所提出的方法的性能,我们考虑了真实的大型电子商务和医疗采购数据库,以发现项目之间的关系。基于这些关系,财务人员将能够作出决策,以增加他们的整体利润,制定投资策略,医疗保险储蓄和费用管理。在4个不同数据集上的实验表明,我们提出的算法比以前的采样技术快了 94.4%,克服了 ARM算法至少30%的内存故障。提出的算法计算参考项目集与相应事务的Jaccard相似度值,发现以重复次数最多的Jaccard值作为输入阈值,可以发现100%准确率的样本。因此,我们的结论是,提出的算法是有效的发现隐藏知识的大数据集,具有高精度、低内存消耗、短执行时间和更高的可靠性。
其他文献
随着大数据与人工智能时代的到来,算法推荐作为一种全新的新闻传播形式,逐渐在众多新传播技术中占据重要地位,成为现如今网络新闻的主流分发模式。当下,这种依据大数据分析用户画像的新闻推荐技术,能够满足受众对信息的个性化需求,也在技术与观念层面为新闻传播行业带来重大突破。但我国网络发展环境变化复杂,人们的利益诉求多样,随着算法推荐的应用与发展,“信息茧房”效应、“回音室”效应等相继出现,其延伸出来诸多负面
政务微博的产生和发展,促进了政府工作方式由对公众单方面监管转向与公众的相互交流监督。对政府部门来说,利用微博发布政务信息,可以帮助他们提升工作效率,了解公众需求,有针对性的开展工作,提高决策的科学性,提高工作透明度,提升社会形象。而政务微博发布的信息能够传播给广大粉丝用户,是这一切的基础。在微博平台中,信息依靠两种途径进行传播:粉丝关注和粉丝转发。关注的粉丝群是微博信息的第一批接收者,同时还是微博
心血管疾病非常常见,已经成为人类致死率最高的疾病之一。冠心病是主要的心血管疾病之一,其主要由冠状动脉疾病引起的心脏病。冠状动脉CT血管造影(Coronary Computed Tomography Angiography,CCTA)主要在冠心病临床诊断的早期筛查中使用。随着计算机辅助诊断技术的不断发展,诊断技术对CCTA图像的自动化处理及精度提出了更高的要求。本文以CCTA图像数据作为研究对象,从
显著性检测是计算机视觉领域非常重要的基础研究课题之一。在计算机视觉研究中,人类的视觉注意力机制对于理解图像或者视频中显著性物体起到重要的作用。通过人类的视觉注意机制可以在复杂的场景中相对准确且快速地发现和选择我们感兴趣的视觉目标。因此,如何更有效模拟人类视觉注意力机制高效提取显著性目标是当前计算机视觉非常重要的研究方向。随着深度学习在计算机视觉领域的广泛应用,众多不同的显著性检测方法涌现出来。虽然
待检测医学图像爆炸式增长,仅依靠人工识别的方式越来越难以快速、准确的检测图像中是否存在肿瘤。因此,医学图像处理技术迅速发展。在医学图像处理中,利用计算机快速准确地实现医学图像检测定位,能够帮助专家对病情更精确的掌控。其中,目标检测技术是一大重要组成部分。目标检测技术是对目标进行识别、检测目标行为的过程,每当符合检测要求的目标(如肿瘤)出现在图像中时,将其界定一个区域并预测其从属类别,从而快速准确的
随着计算机技术的迅速发展,图像成为了人们感知和认识世界的有效途径。但是由于图像在获取和传递过程中容易受到外界干扰而产生误差,让图像的后续处理变得很困难。因此,对于图像预处理(包括图像平滑、图像去噪、图像去模糊等)的研究尤为重要。其中,图像平滑的主要任务为:在平滑图像微小细节的同时保持图像的显著结构。图像去模糊的主要任务为:将模糊图像复原为清晰图像。目前,图像平滑和图像去模糊方法仍然存在图像边缘无法
随着近年来三维计算机图形学的快速发展,三维面部表情迁移技术得到了众多学者的关注。目前,该技术已广泛应用于计算机动画、影视特效、虚拟交互、远程网络会议等领域。三维面部表情迁移技术可以有效地避免动画师为新模型制作表情动画序列的繁琐工作,提高现有表情动画的复用率和新动画的合成效率,为高真实感表情动画的合成提供了新的途径和方式。一个好的三维面部表情迁移技术必须满足三个主要指标:表情迁移过程不需要人工干预;
在高速发展的数字化时代,数字图像早已成为视觉信息的主要传输媒介,人们对其质量的要求也逐渐提高。因此,近年来数字图像处理技术,特别是图像增强技术得到迅速发展,在多个领域得到广泛应用。例如,为了使视频更加流畅,需要对视频进行补帧以提高帧率,从而满足人眼视觉暂留特性的需要;为了分析大气和地面状况,需要对遥感卫星图像进行放大去模糊处理;为了侦破案件,需要对监控影像进行高分辨处理;为了更准确地定位病灶,需要
图像是生活中常见的一种视觉载体,其重要信息蕴含于某些特定区域。人类视觉系统能够快速且准确地获取图像特定区域中具有价值的显著性信息。在实际应用中,研究者们希望显著性检测算法能够像人类视觉系统一样自动捕获图像中的显著性信息。目前,显著性目标检测已经成为计算机视觉领域的一个重要研究方向,被广泛应用于图像分割、目标跟踪、图像检索等研究领域,具有较高的实用价值。得益于深度卷积神经网络强大的特征提取能力和特征
中医舌诊有着几千年的历史,早在《黄帝内经》中就记载了关于望舌诊病的内容。传统中医舌诊通过观察舌体特征来对人体的健康状况进行分析,是我国中医临床诊断的特色之一。由于传统舌诊是由中医医师肉眼观察患者舌体来进行诊断,这使得诊断结果比较依赖于中医医师的主观性和自身知识经验,中医舌诊缺乏定量化和准确化等客观标准。另外,传统舌诊的医师采用文字记录来描述病症,一些舌像资料和宝贵的诊断经验不能得到完整的保存和充分