面向大数据的发布/订阅系统缓存策略研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:rette
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
发布/订阅系统,作为一种新型的分布式架构,具有松耦合和异步通信等特点,是大数据环境下最有前景的网络架构之一。缓存机制作为发布/订阅系统的一个关键技术,关于它的研究对于解决大数据给网络所带来的难题具有重大意义。  大数据环境下,现有缓存策略存在负载不均衡、时变性差等诸多缺点,对于发布/订阅系统整体性能的提高效果欠佳。本文在缓存选择和副本分配策略(CSRAS)的基础上,针对它存在的不适应性进行了改进,提出了单副本静态缓存策略(SCSSR)。围绕发布者不在线状态和热点事件这两种常见场景,分别提出了两种不同的缓存策略,基于发布者不在线状态的混合缓存策略(MCS-POS)和基于热点事件的混合缓存策略(MCS-HE)。论文内容及工作如下:  1.结合大数据的特点,讨论了发布/订阅系统缓存策略的设计要求。在CSRAS的基础上,针对它存在的不适应性进行了改进,提出了新的缓存策略SCSSR。该策略在缓存分配时设定每一个主题至多分配一个副本,同时把基于主题和基于Map相结合,合理地增强代理节点订阅信息和广告信息的表达能力,这增加了代理节点网络缓存事件的多样性,有利于代理节点表达当前时刻真正感兴趣的事件和拥有的事件。仿真结果表明,和CSRAS相比,SCSSR可以有效地减少系统中的冗余事件和请求流量,一定程度上降低网络时延。  2.讨论了现有动态缓存策略的优缺点,说明了在静态缓存策略的基础上,增加动态缓存策略的必要性。在SCSSR的基础上,围绕发布者不在线状态和热点事件这两种常见场景,分别提出了两种不同的缓存策略,MCS-POS和MCS-HE。(1)在MCS-POS中,发布者切换到不在线状态时刻之前的一段时间内,增大不在线发布者提供事件在代理节点网络存储的概率,这有利于增加发布者处于不在线状态期间,系统缓存中不在线状态发布者提供事件的数量。仿真结果表明,相比于SCSSR,使用MCS-POS时,对不在线状态发布者提供事件的请求信息始终能够大概率地得到响应,有利于提高发布/订阅系统的服务质量。(2)在MCS-HE中,发布者/代理节点周期性地检测是否有事件成为热点事件,发现某个事件成为热点事件后,合理增加该事件在代理节点网络的副本数,副本优先缓存在该事件请求速率较大的代理节点。仿真结果显示,相比于SCSSR,使用MCS-HE时,对热点事件请求信息的缓存命中概率得到了提高,与此同时,请求信息整体上在缓存的命中概率也得到了提高,有利于负载均衡,进而提高发布/订阅系统的整体性能。  
其他文献
多输入多输出(MIMO, multiple input multiple output)技术是突破香农(Shannon)容量限制的一项有效手段。在无需拓展频谱的情况下,MIMO技术利用多接口多信道同时进行数据传输,
在复杂背景图像中,图像边缘作为图像的基本特征之一,包含着图像的大部分信息。在图像边缘检测时,轮廓作为一种非常重要的图像特征,因此轮廓特征提取也是图像特征提取非常重要的
肢体运动检测在人们的日常生活中的应用随处可见,因此精确的将人们的肢体运动检测出来有着重要的理论意义和经济价值。虽然当前肢体运动检测算法的理论研究已经逐渐成熟,但是
目前,在无线通信系统中,为了提高空中接口的可靠性,通常采用分集技术对抗信道衰落。传统分集技术是发送多个相同信号的副本,在接收端将这些衰落程度不同副本合并起来,来增加接收信
随着无线通信技术的发展,人们对多径衰落所造成的通信质量下降日益重视,并取得了很多研究成果。研究表明,分集技术是克服多径衰落的有效手段之一。其中空间分集技术将MIMO多
图像的特征提取是计算机视觉研宄领域中一个重要研宂内容,也是当前很多问题的研究基础。由于目标所在的图像之间大部分都存在旋转、视点、尺度、光照、模糊等变换,因此如何提取
近年来我国水产养殖业发展迅速,据农业部数据信息显示,我国水产养殖产量占世界总产量的70%。对水产养殖业而言,鱼塘水是鱼类赖以生存的外部环境,水质量的优劣决定着水产产量的高低
在无线通信中协作多点(CoMP)技术可以提高多个小区中边界用户的吞吐量,有限反馈技术可以减小整个系统的反馈开销,因此它们被认为4G无线通信系统的关键技术。将多点协作技术与有
随着多媒体技术的飞速发展,数字音频水印研究有很大的理论与应用价值。但是目前音频水印算法存在着水印嵌入量不高、抗攻击能力差等问题。如何使水印算法既能嵌入较多的水印信
随着3G无线网络的推广以及4G时代的到来,无线通信技术已经从根本上改变了我们的生活方式。无线通信领域中的协作中继通信技术的提出,不仅可以在每个节点之间通过虚拟的单天线进