论文部分内容阅读
当前,分布式共享与协同技术在汇集和共享地理上分布的空间数据资源,并对其进行一体化组织、存储、管理、访问等方面发挥着越来越重要的作用。在分布式环境中,数据和查询请求在时空的分布往往是不均匀的,这导致网络某些节点负载变得过重,节点的性能下降,系统无法提供稳定而高效的访问服务。
分布式空间数据共享系统中副本复制技术是提高系统性能、实现负载均衡的重要途径。高效的副本复制通过为热点数据创建副本,转移重载节点的负载;通过访问本节点副本数据,减少远程数据传输代价,降低数据访问延迟;通过多节点的并行运算提高空间任务执行效率,提高空间任务执行的吞吐量。分布式环境中数据副本管理通常涉及:副本复制策略,和数据一致性维护及安全问题。由于分布式空间数据共享系统中,空间数据通常是由数据提供者定期批量上载,具有访问频繁而更新不频繁的特性;而且随着空间数据的在Internet中广泛应用,网络中可以安全的获取大量的民用空间数据,因此本文更关注数据副本复制策略,以优化网络整体的性能和负载均衡能力。
传统的分布式环境中静态副本分布方法预先定义好复制模式,运行时根据全局的统计信息决定副本的复制,这种自顶向下的方法是NP-难问题。由于分布式数据共享系统中节点是对等的,每个节点只能了解局部信息,难以从全局上进行有效的副本复制。基于群体智能的算法思想,本文提出一种自底向上的空间数据副本自适应复制方法。它通过各节点局部简单行为的累积,完成整个系统复杂的副本复制问题,达到整体优化的效果。此方法不存在中心控制节点,各节点根据局部信息动态向外复制或者接受频繁访问的副本,淘汰不常访问的副本,以实现系统动态负载均衡。其中,特色的工作在于:
1.提出副本复制的群体智能模型。节点抽象为环境,数据抽象为环境中的个体,不同个体在不同的环境中有不同的适应度,环境通过自然生存法则来决定内部的个体是否保留或者复制出去。整个系统中没有中心控制节点,每个节点都只了解自己的局部信息,每个节点为了使自己的利益最大化决定副本复制,整体上完成副本的自适应分布,使得经常被访问的数据保留在尽可能多的节点上,不经常被访问的数据尽可能少的被保留。
2.设计副本的选择策略和准入机制。每个节点实时统计本节点中数据的被访问信息,计算数据对节点环境的适应度;当节点需要将数据复制出去时通过物竞天择适者生存的规则选择适应环境的数据向外复制;当节点接收到数据复制进来的请求时,根据数据携带的被访问信息重新计算其在本节点中的适应度,然后根据自然生存法则决定是否接收新数据;当节点环境的空间不足时删除不适应环境的数据。
3.设计复制节点的选择策略。每次复制动作是需要耗费开销的,而且为了快速的降低节点的负载,需要有条件的挑选合适的复制节点。本文通过复制回报来刻画复制动作带来的负载的转移量,判定候选节点的边界条件,选择候选节点。
4.基于agent实现基于群体智能的副本复制方法。Agent作为一个计算实体,可以在动态复杂的分布式环境中感知环境的变化,并做出相应的反应以实现其预定的目标。Agent的自治性、对环境的适应性、以及相互间的协调能力使得它十分适合群体智能方法。论文通过引入Agent在实现了基于群体智能的数据副本复制方法。
在对空间副本管理的各项关键技术探讨和设计的基础上,本文实现了基于群体智能的分布式空间数据副本复制方法,并通过模拟实验对文中所提出的方法进行了验证。实验结果表明,上述方法能够较大程度的平衡系统负载,降低响应时间,提高系统系能。