基于流式大数据局部性与即时关联的服务链接方法研究

来源 :天津大学 | 被引量 : 1次 | 上传用户:gongzi8886
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,流数据处理系统的相关研究与实践取得了长足进步,已拥有近实时处理海量流数据的能力,但尚存在以下亟待改善之处:首先,经典的流数据处理系统通常直接将规模庞大、价值密度低的底层流数据接入系统,会导致系统存储空间膨胀、处理能力和检索能力下降等;第二,大部分系统面向应用需求依赖事先编码制定流数据全局处理逻辑,与流数据的局部性和不确定性之间存在矛盾。第三,传统的“请求/响应”模式限制了系统的自动化能力和快速响应能力。本文主要针对流数据不确定性问题,在所在研究团队提出的主动式流数据服务模型基础上展开进一步研究,主要贡献有以下三点:1.提出了适于主动式流数据服务的服务超链模型,给出了服务超链在去中心化管理中规避预置全局逻辑的机制。实验结果表明服务超链数量随着数据集规模增加和参数变化是可控的。提出了构造时基于历史数据的服务超链生成算法。将服务超链生成问题转换为一种受时间约束的频繁共现模式挖掘问题,定义了GFE(“产生-过滤-扩展”)策略和算法,可有效生成服务超链。基于故障检测实际应用数据的实验结果证实了服务超链组合的局部逻辑可以有效检测故障。2.提出了数据驱动的服务超链即时更新算法,可以在运行时迭代地学习和更新服务超链。实验结果表明在真实数据集上服务超链数量随流数据持续接入是可控的。为了提升算法效率,在扩展经典的流数据算法Lossy Counting的基础上,提出了基于界标的空间释放策略;优化了数据结构,可以迅速定位需要修改或添加的服务超链的存储位置。实验结果表明优化后算法平均延时在不同速率下最多可以降低65%,在不同参数取值下最多可以降低62%。3.针对流数据的不确定性问题,提出了一种基于服务超链的服务链接方法。基于局部性原理和自适应机制提出了超链选择策略,在保障正确选择服务超链的前提下,降低了链接服务的数量,避免重复传播事件,提升了链接效率。实验结果表明,服务超链确实是一种有效的辅助手段:(1)服务超链可以正确链接服务,覆盖91.04%火电厂故障检测应用需求;(2)在满足应用需求的同时,服务超链可提升链接效率。在不同服务实例数量下基于超链链接服务时平均延时最多可降低51%;在不同流数据速率下平均延时最多可降低48%。本文以服务超链的模型与生成、服务超链的更新为基础,针对流数据不确定性问题,从局部角度出发,利用服务超链在运行时灵活选择流数据局部处理逻辑,逐步形成相对完整的逻辑,从而产生满足应用需求的处理结果。通过理论证明和实验分析验证了方法的有效性。
其他文献
最近太赫兹成为了国内外研究的热点领域。超表面的出现,为太赫兹功能器件的发展提供了新的方法。目前大部分的超表面功能器件都是基于周期性分布的设计,准周期分布可以为超表面的研究提供了新的思路。本文研究了太赫兹超表面透镜,偏振器件,表面等离激元产生和操控,以及超表面吸收体等功能器件,主要内容如下:1.设计了周期性分布的金属-介质-金属多层金属结构,实现了宽带高太赫兹透过。基于渐变折射率方法,设计了线性,二
超弹性薄壁圆管局部失稳起鼓问题,是一个经典力学问题,也是应变局部化的典型范例,另外,超弹性圆管起鼓的形貌和分叉力学特性与人体动脉瘤高度相似,本博士论文,试图通过实验研究、理论分析,数值计算的方法,系统深入地研究超弹性圆管失稳起鼓演化特性和失稳机理,以及不同材质、结构及加载方式等对失稳的影响,为活体弹性管相关研究奠定基础,希望更进一步探索人体动脉瘤的形成原因。动脉瘤多是由于动脉壁的先天缺陷或后天病变
拉曼激光器是全固态激光器领域的一个重要研究方向,通过将基频光进行特定频移,可以有效拓宽激光频谱范围,为激光通信、激光遥感、生物医疗等诸多应用领域提供合适波段的光源。作为一种高效的三阶非线性光学频率变换技术,受激拉曼散射(SRS)具有区别于其他变频技术的独特性质,如级联特性及拉曼光束自清理特性,使其应用前景更为广阔。因此,本文通过对激光器热效应、谐振腔结构等多种影响SRS转换效率的因素进行优化设计,
MgB2以自身简单的晶体结构、简便的制备工艺、优异的超导性能和超短的感应放射活性衰减时间等优点,在聚变反应堆超导磁体系统中拥有很大的应用前景。但目前采用各种方法制备的MgB2线材都是以自然界中的B单质为原材料。自然界的B单质主要由20%10B和80%11B的同位素组成。由于热中子俘获截面大,在中子辐照环境下10B会发生10B+n→7Li+He(gas)反应,将导致MgB2超导体积分数的部分下降,这
随着“中国制造2025”的提出,数控加工与测量需要更加智能化、自动化,能够避免碰撞事故发生,智能地选择合适的加工或测量路径。本文以三坐标测量机为数控设备平台进行了防碰撞系统的关键技术研究,相关技术可以推广应用到其他类似的数控设备中,不局限于三坐标测量机。传统的三坐标测量机检测需要人工操作进行完成,需要大量的人力成本,而且人工操作检测效率比较低,大量重复单调的工作容易使人因疲劳而操作错误。因此提高数
以美国以美国和俄罗斯为代表的军事强国围绕快速进出空间,定点水平着陆,可重复使用等目标,大力发展高超声速飞行技术。高速持续飞行,飞行器表面的气流由于摩擦等原因受到阻滞,动能转变为热能,使飞行器表面温度急剧升高。热防护材料发汗冷却技术受到越来越多的关注,碳纤维增韧陶瓷基复合材料耐高温和耐腐蚀等优越性已经越来越多的应用于航空航天热防护系统中。但是,不同的纤维末端会同时暴露于C/SiC表面之上,纤维末端的
相比于其他水下焊接方式,水下激光焊接具有受水压影响小,小孔焊接熔深大,可远程操控等优点,有望取代电弧焊接成为建设和维护水下工程的重要手段。由于水下激光焊接技术处于探索研究阶段,有必要展开对水下激光焊接技术理论和工艺性能等关键问题的系统性研究。因此,本文进行了以下四方面研究:本研究设计了专用微型四进口排水气罩营造局部气相区开展水介质下激光焊接特性的相关研究,探讨水介质下激光焊接机理和奥氏体不锈钢凝固
14Cr氧化物弥散强化(Oxide Dispersion Strengthened,ODS)铁素体钢因其优异的高温性能和抗辐照性能,成为先进裂变堆和未来聚变堆的备选结构材料。为进一步提高14Cr ODS钢的服役温度,本文通过微合金化、热处理及热变形等方法对ODS钢组织中的纳米氧化物和其他类型第二相进行调控,以期实现对其性能的优化。在阐明Y2O3在本文实验条件下的演化行为的基础上,添加Al、Ti对1
叶片作为大型旋转机械转子的核心部件,其自身振动及叶尖间隙等各种运行参数变化影响整个系统的正常运转和工作效率。涡轮机叶片与机匣之间的叶尖间隙参数与发动机燃油效率、推力、使用寿命等密切相关,叶尖间隙的实时测量对叶片设计、流场分析及主动间隙控制有重要意义。叶尖定时法作为一种非接触的实时测量方法,广泛的应用于叶片振动参数的在线测量中。现有的光纤、电容、电涡流等类型的叶尖间隙和叶尖定时传感器在耐高温、污染物
随着高清视频、云计算和物联网等新兴业务与应用的极速发展,在过去的十年,网络容量增长了100倍。现有的传输技术是否能够继续满足网络容量的这种爆炸性增长,是一个巨大的挑战。实际上,相关的研究工作表明,基于香农极限,现有单模光纤通信网的单纤传输极限在100 Tb/s,传输实验也证实了这一点。按此趋势,单模光纤传输系统将在2020年左右出现容量危机。为了超越光纤非线性香农极限,通过增加复用维度的新型复用体