论文部分内容阅读
随着云计算与大数据处理技术的发展,数据中心规模变得越来越大,其服务器的性能及数量呈指数模式增长;流量模式由过去的从服务器到用户节点的纵向流量为主转变为数据中心内部服务器间的通信为主。数据中心同时运行着多种类型的业务,不同类型的业务对网络的要求也不相同,有的业务要求网络能够提供高吞吐量,有的业务对时延非常敏感。数据中心同时运行多种业务导致了其网络流量具有以下特征:少量的具有较高速率和较大数据量的数据流消耗了大部分的网络带宽,数据流的发送速率变化快,流量突发性高。数据中心网络有的链路利用率不高,但有的链路却频繁出现拥塞。当发生拥塞时,导致报文传输时延增加以及网络有效吞吐量的下降,严重时甚至出现报文丢弃,影响了业务的性能和服务质量。胖树结构的网络被广泛应用于数据中心网络的搭建;这种网络结构可以为任意一对不连接到同一边缘交换机的服务器提供多条并行传输路径。根据数据中心的流量特征,使用流量均衡技术,充分利用胖树网络中丰富的并行传输路径,实现高吞吐率、低时延的网络传输,成为了满足数据中心业务传输要求的关键。本文在总结数据中心网络的研究背景和研究现状的基础上,分析了数据中心网络流量均衡机制在改善网络传输性能方面的重要作用。根据数据中心网络流量特征,以采用流量均衡机制缓解网络内部拥塞、优化网络传输性能为目标,开展了数据中心网络流量均衡关键技术的研究。提出了集中-分布式流量均衡(CDT-LB)机制,在对数据中心网络流量检测与分类的基础上,将集中式流量调度与分布式流量均衡两种机制有效结合在一起;与单独采用分布式均衡方式相比,进一步提高了数据中心网络的传输性能。在集中-分布式流量均衡机制研究与设计过程中,提出了低速率流淘汰与D-Left Hash相结合的大流检测算法、基于自同步流片段的分布式流量均衡、最少路径切换的大流调度三个创新点。数据中心网络属于高速网络,与其他高速网络具有相似的流量特征。通过对高速网络流量检测与分类研究,提出了低速率流淘汰与D-Left Hash相结合的双门限大流检测算法LRE-DH,该算法使用D-Left Hash表存储流检测的数据结构,将D-Left Hash表的存储结构与基于流速率的缓存替换算法相结合以实现高速网络中的大流检测,同时确保检测算法的准确性及最坏情形下的处理性能。在研究分布式流量均衡机制的过程中,提出了基于自同步流片段的流量均衡算法(ST-Flowlet)。由于需要同时考虑均衡的效果与报文失序问题,流量划分是流量均衡中的关键技术。有三种流量划分方法:第一种是以报文为粒度的分割,每个报文的路径分配都是独立的;第二种是以流为粒度的分割,即为同一数据流的所有报文分配同一路径;第三种是基于流片段的分割。流片段是属于同一流的一组连续报文,报文组之间通过固定的或测量得出的时间间隔划分开的。细粒度的流量均衡可以获得良好的均衡效果,但会导致高概率的报文失序。根据同一流报文间到达时间间隔的变化,ST-Flowlet将数据流分割成多个片段,在及时响应网络拥塞的同时,兼顾了报文失序问题,有效改善了数据中心网络的传输性能。在设计集中-分布式流量均衡机制过程中,提出了最少路径切换的大流调度。一方面,减少大流路径的切换,降低大流报文失序到达目的服务器的概率,避免大流自身因路径切换导致的性能下降;另一方面减少了因大流路径切换对目标链路上数据流传输的影响,以提高整个网络中数据流传输路径的稳定性,改善了网络的传输性能。为了验证集中-分布式流量均衡机制的有效性,开发了基于NS3平台的CDT-LB报文级仿真系统,一系列仿真实验表明,所提出的集中-分布式流量均衡机制可以有效改善数据中心网络的传输性能。其中基于自同步流片段的分布式流量均衡ST-Flowlet在改善网络传输性能上优于LetFlow、Drill、Presto等分布式流量均衡方案。集中-分布式流量均衡CDT-LB,通过对大流的集中式调度与非大流的分布式流量均衡,在实现高吞吐率、低时延的网络传输的同时,具有良好的可扩展性,能够适用于大规模数据中心网络。CDT-LB不仅可以实现ST-Flowlet分布式流量均衡与集中式大流调度相结合提高网络传输性能;还可以将LetFlow等基于Flowlet的分布式流量均衡与集中式大流调度相结合,进一步优化网络传输性能。本文的研究成果为实际数据中心网络中开发与部署流量均衡机制提供了重要参考。