工业物联网中基于边缘计算的大数据清洗算法的研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:yuanjinxing1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物联网(Internet of Things,IoT)是一项逐渐兴起的技术,实现众多行业的智能化,使得有限的资源能够更加合理的分配使用,从而提高行业的效率和收益,如智能工业、智能交通、智慧社区以及远程监控等。工业物联网(Industrial Internet of Things,IIoT)作为物联网技术中最大和最重要的组成部分,充当了智能制造中信息和实体之间通信的桥梁。工业锅炉系统通过实时监测控制感知层的物理设备,实现资源的调度和分配以降低资源消耗和提高制造效率。工业锅炉系统中连接了海量的数字设备,包括传感器、控制设备、制造机器和终端设备等,这将会产生大量的数据。由于锅炉系统中的传感器环境恶劣,收集的大数据不可信,严重影响云端的判断和反馈。依赖传感器节点进行数据清洗的方法不足以处理大数据,结合移动边缘计算(Mobile Edge Computing,MEC)技术和数据清洗方法正好可以解决以上的问题。MEC通过将传感器节点、聚合节点和云服务的一些工作转移动边缘服务器上,除了可以减少云服务器的工作量来提高云的性能,还可以减少数据的传输时延,这是因为边缘服务器更加接近工业的感知层设备。所以本文主要研究了基于MEC的工业物联网大数据清洗的方案。首先,由于工业锅炉系统中的数据量太大,以至于需要消耗大量的资源进行计算分析,而且这些数据的维度过大,这使分析人员陷入“维度灾难”的困境,在实践中也难以进行有效的分析。因此,本文提出了一种以核函数的主成分分析(Kernel Principal Component Analysis,KPCA)的方法,用来挑选一些有价值的数据,将高维混合数据嵌入到连续空间中。将它构建成一个连续的、降维的物理数据,使得与低维连续域的异常检测算法相匹配。其次,基于数据降维的前提下,本文提出了隔离森林(Isolation Forest,i Forest)的异常值检测算法。在工业数据中,难以避免地会产生噪声、数据错误和数据丢失等异常信息,而异常数据不仅会增加上传的带宽和节点的能耗,还会严重影响分析的结果。为了提高服务器的处理速度来满足工业领域上的空间和时间上的要求,需要空间复杂度和时间复杂度低的算法。根据上述情况,提出一种基于整体数据的异常值检测算法。通过与K最近邻(K-Nearest Neighbor,KNN)算法与支持向量机(Support Vector Machine,SVM)算法来作比较,证明隔离森林算法在工业锅炉系统中的数据清洗有着更高的精确性和高效性。最后,利用软件Jupyter notebook对本文提出的i Forest算法进行数据仿真。仿真结果表明,KPCA的算法可以对工业数据进行降维,选择出有效的属性。基于KPCA方法下的i Forest异常检测算法不仅具有高准确性和高检出率,而且执行效率也得到了巨大的提升。
其他文献
目的了解福建省疾控机构水质检验能力与实验室仪器设备配制情况,为加强该省农村饮用水水质监测质量控制,提高监测质量和水平,保障农村饮水监测项目实施效果。方法通过盲样质控、复核及监测能力评估表,对该省38个农村饮用水水质监测县疾控机构人力资源情况、实验室设备配置情况和检验能力情况进行调查评估。结果 38个农村饮用水水质监测县疾控机构实验室的仪器设备均主要以国产为主,国产仪器占有率为94.89%,进口仪器
中西医之间的比较一直存在,无论是对人体形态结构、组织器官,还是精神意识的认识都存在不可忽视的区别,但不可否认,中西医都有着一个共同的研究对象:人。而造成中西医之间差别的原因,则是因为中西医对人体的认识不同。早在两千年前《淮南子》一书中就明确的阐述了人是由形、气、神3个要素组成,而中西医对此的认识却存在差异,文章旨在从形、气、神3个方面来探讨中西医的差别。西医从形、神认识人体生命并诊疗疾病,而中医认
决策点是美军及北约国家军队一个重要的军事术语,主要用于联合作战计划制定流程中,对于提高联合作战计划的科学性、实用性、灵活性发挥了非常重要的作用。首先,对决策点概念的预先性、多样性、关键性、关联性、权威性进行了分析。其次,对决策点与决定点、顶点、重心等相关概念的区别与联系进行了辨析。最后,研究了决策点在美军联合作战计划制定流程中具体运用的时机和方法。期望通过决策点研究深化对美军联合作战计划制定的认识
学位
近些年来,学校德育工作已摆脱旧有的思想束缚,在全面贯彻教育方针、提高学生思想道德和科学文化素质、培养合格人才等方面取得了显著成效,但仍然存在诸如对德育认识不足、内容滞后、管理不到位等各种问题。当前,随着新高考改革的启动,高中职业生涯规划教育宛如一缕清风,不仅为中小学德育工作注入了新的活力与发展机遇,也为中职学校德育工作的开展提供了丰富的教育内容及途径。
期刊
目的研究与分析个性化积极心理干预方法对社区老年高血压患者心理健康及生活质量的改善效果。方法 2019年11月~2020年11月,选取来本院进行治疗的患有高血压疾病的88例老年患者作为研究对象,随后采用动态分组法将88例患者分为常规护理组与心理护理组,每组各44例。其中对常规护理组患者采用常规护理方法进行干预,而对心理护理组患者采用心理护理方法进行干预,随后观察两组患者的收缩压、舒张压、简版心理健康
基于一维瞬变流理论及气体热力学特性,提出了气垫式水下岩塞爆破的水力过渡过程数值仿真模型,分析了岩塞爆破后在巨大气团及冲击力下的爆破过渡过程水力特性及爆破参数影响规律.结果表明:水库水位、水库-拦污栅井水位差及集渣坑初始水位为气垫式水下岩塞爆破关键参数,均决定了集渣坑内气室的压缩状态及初始压力,且库井水位差越小,水库水位及集渣坑初始水位越高,岩塞爆破后产生的系统冲击压力越大,拦污栅井及闸门井最高水位
城市规划是一项高度复杂的人类活动,为此需要相应的规划支持技术来辅助规划人员执行特定的规划任务。有史以来,西方社会不同时期不同形式的技术被开发和应用到城市规划领域并最终形成了以“规划支持系统”(以下简称PSS)为主导的规划支持技术。规划支持系统指基于地理信息技术的包含一系列组件的专业工具,以共同支持特定规划任务的特定部分。然而长期以来,众多的PSS被学术界或者科技公司开发出来,但是这些PSS在规划实
人有爱乡心而后有爱国心,这就要求教师在培养学生家国情怀素养时,应坚持由身及家,由乡及国,逐步引领学生将这种情感内化于心。文章以《抗日战争》一课的史料运用为例,深入探讨了历史教学中如何利用乡土史料来进行家国情怀教育,以期更好地发展学生的家国情怀素养。