数据流卸载技术研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:zingerler
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据流应用系统的快速发展,流数据管理系统对数据库技术提出了巨大挑战。由于数据流经常是爆发性的且数据特征可能随时变化,因此要求数据流管理系统具有良好的自适应性。当流数据的速率超过系统资源限制时,系统会产生过载导致性能下降甚至瘫痪。为解决这一问题,卸载技术是一种行之有效的方法。在这种研究背景下,本文在深入分析数据流卸载技术相关问题的基础上,提出了一些新的卸载策略,并通过大量试验,验证了提出策略的高效性。下面对本文的主要工作和贡献总结如下: 首先,提出了一种全面考虑CPU处理能力及内存容量的QoS自适应框架。该框架能够在系统资源有限、数据输入速度及特征可变的情况下,使系统具有良好的自适应能力以确保高质量的QoS。框架包括上下游两个部分,其中上游部分为内存管理器,由卸载器、清洗器和调度器三个部分构成,主要负责对DSMS中的内存缓冲区进行有效管理。试验结果表明,该框架具有稳定性好、健壮性强的优点,在错失率相同的情况下,卸载率、系统资源利用率等几方面性能均优于现有其它方法。在这方面的主要内容包括: (1)将基于控制理论的PID控制器引入内存负载管理:分析现有队列管理方法的基础上,在卸载器的设计中运用了PID控制器,将队列长度维持在期望的占空比,以便达到降低排队延迟、提高吞吐量,同时保持相当的队列空间来吸收突发且重要数据的目的。将自动控制理论的相关技术引入数据流管理是我们的突出贡献点,是富有创新性且积极有效的; (2)提出了截止期.重要性优先的实时调度算法DIF:当在实际应用中需要同时考虑流数据截止期和重要性两个特征参数并为流数据分派优先级时,针对其它调度算法的不足,将数据优先级作为流数据相对截止期和重要性的线性加权平均,并同时考虑了系统的负载情况。试验表明在所有负载条件下,DIF算法相对于其它调度算法在性能方面具有明显改善; (3)提出了有效的清洗策略:运用一阶指数平滑的方法来估算每个元组平均处理时间及在队列中的平均等待时间,在此基础上提出了有效的清洗策略将不满足查询QoS要求的数据从队列中及时清除以节省系统资源。 其次,针对数据流上滑动窗口的连接操作,提出了一些新的卸载技术,使得系统在过载的情况下通过丢弃连接结果少的元组,达到减轻系统负载使系统稳定的目的,同时得到连接结果的最大子集。对合成数据集和真实数据集的全面测试表明,本文提出的卸载策略的性能均好于现有其它方法。 在这方面的主要内容包括: (1)提出双窗口模型的概念:在分析数据流基于窗口连接操作模型及代价模型的基础上,建立了包括连接窗口和辅助窗口在内的双窗口模型,前者用于两个流的连接操作,后者用于建立预估连接结果的统计信息,为语义卸载提供有效支持。分别采用了窗口计数器、预估数组和频率数组来维护相应统计信息,并在实际中使用树状数组取代频率数组以提高计算效率; (2)提出前后端卸载的策略:在双窗口模型上采用了前后端卸载的方法,经分析和推导证明了在不同数据流速情况下,通过前端卸载和后端卸载的配合使用,前端采用随机卸载而后端采用理想的语义卸载,从而得到连接结果的最大子集; (3)提出了当输入流流速比发生变化时资源重新配置策略:通过重新分配CPU资源使两个输入流能够保持同步;通过重新配置窗口大小,证明了当输入流速比发生变化时辅助窗口内的统计信息仍然保持有效性; (4)提出新颖的“后端卸载”方法:在流速达到一定阈值需要启动后端卸载时,采用让元组进入相应连接窗口不进行探测操作,在节省CPU资源的同时保证了产生尽可能多的连接结果数。
其他文献
网络蠕虫已经成为网络安全的重大威胁之一,近年来,多态蠕虫的出现以及大规模传播为网络安全带来更加严峻的挑战。多态蠕虫能够通过多种变形技术,在实现自我复制产生新的实例
信息过滤作为从信息检索衍生出来的新的研究点,越来越受到关注。针对搜索引擎返回的大量结果,使用信息过滤技术进行过滤可以大大提高索引精度,同时提供一些信息检索所不能提
随着计算机技术的发展,网络结构日趋复杂,入侵手段日趋多样化,入侵检测系统在过去几年的研究主要集中在体系架构和检测方法上,在不断取得突破的同时,也暴露出一些诸如事件风
知识管理与知识管理系统正引起广泛的关注,本文在课题组已设计实现的基于本体的可重构知识管理系统框架下,改进了其中的若干关键技术,重点对知识管理的过程模型等进行了研究,
工作流技术实现业务过程的分析、建模、优化、管理与集成,最终实现业务过程自动化。工作流管理系统则是实现这一技术的软件系统,它完成工作流的定义和管理,并按照预先定义的
计算机和网络技术的发展将人类带入信息化社会,随之而来的是倍受关注的信息安全问题,它已成为信息科学领域的一个重要的新兴学科。数字签名技术是信息安全的核心技术之一,被广泛
地理信息系统是一种集地理空间特征和各种统计信息为一体的特殊信息系统,在许多领域,如城市规划设计、资源环境管理、生态环境监测保护等都有应用。把地理信息系统技术应用于旅
综合结算系统是天津移动公司业务支撑系统的重要组成部分,天津移动与其他运营商结算、省间结算、合作伙伴结算均可由综合结算系统在统一平台上承担。本项目根据业务发展规划
随着电子政务、电子商务等信息化建设的快速发展,大量有价值的文本在网络上流动,如果这类文本被篡改,将会产生严重的后果,因此,电子文本的认证问题迫在眉睫。相对于传统的数
企业统计信息是企业管理的支柱和基石,是企业组织的“神经系统”,企业管理离不开统计信息的导引,建立和加强企业统计信息管理系统不仅仅是统计生产方式的变革,更是现代企业管理的