生物智能启发的数据流安全存储与实时计算

来源 :东华大学 | 被引量 : 0次 | 上传用户:xllq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息科学的快速发展显著提升了社会生产和生活的智能化水平,其核心是对实时数据的全面采集、安全存储和高效计算。由于数据采集过程的连续性,获得的数据量不断增加,通常需要借助于云计算技术完成存储。从时序角度来看,大量的数据样本汇聚形成了数据流,而数据流中蕴含的信息具有时效性,其价值会随着时间的推移而不断降低。因此,本文分别从云端存储的安全性和计算的时效性两方面研究数据流的相关理论和技术。受免疫系统、记忆系统等生物机理的启发,研究针对不同场景下数值异常问题的新型解决方法。本论文的主要工作可以概括为以下几个方面:
  (1)模拟生物免疫系统的机体防御机理,结合云端存储的分布式特性,提出了一种改进的动态免疫算法IDIA(ImprovedDynamic Immune Algorithms)和基于免疫记忆机制的数据样本高效分层检索策略。在抗体生成和动态更新的过程中,分别提出了移位变异和随机分组等改进策略,提升IDIA的抗体生成效率和动态环境的自适应能力。针对云端数据存储问题,以分布式主从结构HDFS(HadoopDistributedFile System)为基础,分析了传统云端数据安全防御方法中存在的各种缺陷,提出了一种基于IDIA的云端数据安全存储方法,以及计算区服务器高效提取存储区待计算数据样本的新模型。将存储区优质数据样本暂存至HDFS的主节点,计算区服务器需要预先拿到主节点中的优质数据样本,再通过存储区基于免疫记忆机制的分层匹配过程,方能获得访问存储区服务器的权限。该过程对于“自己”数据能够实现快速匹配,同时能够有效识别“异己”数据样本,实现安全防御。
  (2)受免疫记忆机制能够高效处理动态数据流的启发,本文进一步探索了类脑记忆系统在实时数据流处理中的重要性,主要聚焦于分层记忆机制和时序记忆机制。分层记忆机制通过信息痕迹量将大脑中的信息划分为多层,本文将其划分为三层:短时记忆层、长时记忆层和永久记忆层。再通过对记忆、回忆与遗忘机制建模,定量描述数据样本在系统中的重要程度,并实现数据样本在不同分层间的动态迁移。时序记忆机制则是从时间序列角度出发,通过不断记忆、强化和复现历史经验信息,为当前时刻的预测做参考。
  (3)本文根据异常数据的产生形式,将异常问题划分为显式异常和隐式异常。显式异常通常由传输过程中的噪声干扰、网络不稳定、设备老化等外部物理原因造成,而隐式异常则是以内在数据分布的改变为代表。再结合过程工业的实际应用背景,分别通过批处理和流处理来研究数据流中存在的显式异常和隐式异常问题。批处理中主要解决实时数据流中如数值缺失、离群点、噪声和冗余等显式异常问题。数据流与传统数据处理的显著区别在于,前者在以时效性为主要指标的同时追求近似解,后者以精确解为主要指标而缺乏对处理结果时效性的考量。本文所设计的分层记忆网络就是一种基于样本替换的异常问题近似解决方法,适合于对时效性要求严格的在线系统。
  (4)数据流是对动态环境的实时感知,除了批处理之外还包含流处理,流处理以单条数据样本为处理单元,其中广泛存在着以概念漂移为代表的隐式异常问题。因此,本文受时序记忆机制启发,设计了一种基于稀疏离散表征的新型异常数值检测器,同时构建了时序记忆与学习网络,该网络利用历史经验知识预测下一时刻未知数据的稀疏离散表征,并与下一时刻的实际表征进行对比完成异常检测。定义了动态数据流的决策矩阵,帮助从含有噪声的动态数据流中识别出概念漂移现象,并促使检测器及时更新以适应新环境。决策矩阵的构建以概念漂移的趋势性和随机噪声的无序性为基础。面向工业应用中基于私人订制的小批量、多模式、个性化的生产系统,实时生产需求的变更体现在数据流中就是概念漂移,及时监测并更新编码器是为了适应定制化的需求。
  最后,总结全文,剖析当前研究工作中存在的不足,并展望有待进一步解决的潜在问题。
其他文献
根据美国加州大学伯克利分校科学家进行的一项最新研究,人类面部的多样性——比任何其它动物都要丰富——其实是进化压力的结果。  北京时间9月18日消息 科学日报报道,根据美国加州大学伯克利分校科学家进行的一项最新研究,人类面部的多样性——比任何其它动物都要丰富——其实是进化压力的结果,目的是让每个人变得更独特更容易识别。人类高度的视觉社交互动几乎肯定是进化趋势的驱动力量,行为生态学家、加州大学伯克利分
期刊
【摘 要】矿业开采引发的矿山地质环境问题日益严重。以江西省玉山县某砂页岩矿矿区的地质环境背景为切入点,分析了矿山地质环境的影响程度,并提出了有效的矿山地质环境保护与恢复治理措施。  【关键词】矿山地质环境;影响程度;保护;恢复治理  0.引言  矿山地质环境是地质环境科学的一个重要分支[1]。人类在利用矿业资源取得收益的时候却对忽略了对环境的保护[2]。人类矿业活动对环境的破坏已经严重影响到人类自
期刊
【摘 要】随着社会经济的发展,农业非点源污染问题已日益严重。利用磷指数法对梨树县的农业非点源污染磷流失风险进行评价。根据磷素的不同流失程度、风险等级,提出相应的管理措施及建议。  【关键词】非点源污染;磷指数;地理信息系统;危险性;风险评价  1.研究区域概况  研究区域自然条件及社会经济概况。  梨树县位于吉林省西南部,辖内21个乡镇。属北温带半湿润季风大陆性气候。地上水资源比较丰富,但开发利用
期刊
【摘 要】公共政策执行环境复杂多变,在政策实执行的过程中,政策主体常常会利益博弈而导致出现执行偏差。本文主要探析政策执行的不同主体之间客观存在的利益差别,从而得出政策制定和政策执行的不同层次需求,旨在揭示政策执行偏差问题,进而提出利益整合的对策作为减少公共政策执行偏差的理性选择。  【关键词】公共政策执行偏差;执行主体利益分析;利益整合  现代博弈理论以完全理性假设为前提,认为在冲突和竞争的情况下
期刊
【摘 要】我国经济的发展带动着电力事业的不断进步,对于电力部门来说,保证电网的安全和稳定是其最主要的工作内容,尤其在配电这一环节。配电设备较容易出现故障问题,因此要加强对配电设备进行检修和维护,保证其运行的安全程度。在整个电力系统中,10KV配网比较具有特殊性,对电能的分配体现出一定的便捷性。对其进行维护不仅需要进行严格的管理,同时还要求相关的工作人员按照一定的规定来进行工作。要对配网的故障进行及
期刊
【摘 要】新建地方本科院校转型发展不仅是社会经济发展的客观需要,也是此类院校分类发展,特色办学的内在需求。抓住历史机遇,直面挑战,融入地方,探索与行业企业的合作育人新机制,必能办出特色,实现可持续发展。  【关键词】新建;地方;本科院校;機遇;挑战  新建地方本科院校是大众化教育的生力军,在政策性扩招后规模迅速扩张,目前潜藏的危机日益凸显,结构性失业的影响已经超出了高等教育领域,转型发展势在必行。
期刊
【摘 要】就业指导课程是一种重要课程,其主要目的就在于可以促进大学生顺利实现就业。在我国,许多高校都开设了相应的就业指导课程,特别是当前随着社会就业形势严峻化,就业指导课在高校中显得越来越重要,但是在就业指导课的开展过程中,仍然存在着较多的问题,需要我们加以改进。在本文中,笔者主要是以高职院校开展就业指导课程的实际情况为研究对象,对就业指导课程开设情况及建设做了相应的探索,并最终为搞好高校的就业指
期刊
【摘 要】方言类节目是电视节目转型过程中的重要节目形态,它是采用当地方言为节目主要传播语态的新变革。以轻松幽默、极度贴合当地观众审美趣味、地域文化心理机制的传播载体,填充普通话播报的空白。但同时也在发展中暴露出许多问题。  【关键词】东北方言类节目;地域民俗文化  文化是一个较为宽泛的概念,在人文科学研究领域一直难获统一和标准的概念。但文化的功能学术界的意见较为统一,特指对人的行为和思想的教化。文
期刊
【摘 要】爱丽丝·门罗于2013年获得诺贝尔文学奖,她的作品也于近年来获得了越来越多读者和评论家的重视,本文选取她在2009年出版的TooMuch Happiness小說集中的两篇短篇小说,从两位主人公长大成年后的境遇出发,简论家庭背景和成长环境在青少年成长过程中的影响。  【关键词】爱丽丝·门罗;家庭环境;个人发展  (1)爱丽丝·门罗(Alice Ann Munro,1931.07.10—),
期刊
球形电机由于其结构紧凑,多自由度运动方式灵活等特征,在机器人手臂、关节等领域具有广泛的应用前景。作为一种三维强耦合电磁机构,目前对于球形电机三维气隙磁场和转矩计算以有限元方法模拟为主。然而,尽管计算机性能在不断提升,有限元计算仍然是一种计算量大、计算时间长、计算结果一致性较低的分析手段。因此采用解析或数值算法替代有限元计算,建立准确快速的模型来分析电机的磁场和转矩,进而实现球形电机的优化控制,一直