数据中心负载均衡和流量控制技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:zhulimin520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算作为一种新型的计算模型,正逐渐改变着整个IT领域。越来越多的互联网企业,如Google, Microsoft等开始在世界各地部署大型的数据中心用以支撑其遍布全球的云计算服务。作为整个云环境最重要的硬件平台,数据中心承载了丰富多样的应用,如网页搜索,即时消息,科学计算和视频传输等。这些复杂的应用为数据中心网络的传输技术提出了新的要求。由于数据中心的高效运行直接关系到用户的体验以及服务提供商的收益,如何提高其网络的传输性能成为了云计算研究领域关注的热点。目前,大型的数据中心多依赖于负载均衡和流量控制两种技术来提升其网络性能。其中负载均衡技术关注于带宽敏感的数据流,该技术通过将长数据流均匀的分布到不同的传输路径上,来保证网络中不同路径利用率的均衡。负载均衡技术充分考虑了数据中心的网络拓扑的特性,其基于数据流的传输状态,动态地在多条路径上进行负载调度,从而提高长数据流的吞吐量。相比之下,流量控制技术关注于时延敏感的数据流。该技术根据当前传输路径上的拥塞程度来动态地调控流发送速率或者流发送的优先级。其旨在降低时延敏感的数据流在网络中经历的排队延迟,并减少其丢包率,从而达到加速短数据流传输的目的。上述两种传统的方案都能在一定程度上改善数据中心的网络传输。然而,这两种方案均不可避免地存在相应的缺陷。一方面,已有的负载均衡技术不能同时满足快速响应、细粒度、高度鲁棒和可快速部署的要求。这决定他们很难应用到生产环境的数据中心中。另一方面,当前的数据中心传输技术将流量控制和负载均衡完全分离,这导致了两种机制之间很难相互配合,从而影响了网络性能的进一步提升。上述这些缺点促使我们在本文中设计新型的数据中心传输协议来获得更好的网络性能。为了实现可部署的负载均衡技术,我们在本文中提出了一种分布式低负载的协议P athVisor。Path Visor在主机栈中利用TCP层的反馈实现传输状态的监听。这使其可以实时地感知可能出现的网络拥塞和路径异常现象。为实现细粒度的负载调度,Path Visor引入了基于flier的调度策略和反向负载均衡技术。这两项技术互相结合使得Path Visor能够更加高效地运转。我们将Path Visor整套协议完全实现在主机端,其不需任何定制的网络设备支持,因此可以极大地方便在大型数据中心中的部署。同时,在PathVisor的设计思想之上,我们提出了一种将负载均衡和流量控制相结合的传输方案OmniFlow。相比于已有的传输方案,OmniFlow有两大优势:首先,其可以同时并且精确地检测任意两个主机之间所有路径的队列延迟。这使得OmniFlow能够获取更加详细的路径拥塞信息,并获得对传输状态更好地控制。其次,OmniFlow能够适应性地集成负载均衡和流量控制模块并在他们之间共享相同的传输信息。基于不同的网络条件,OmniFlow可以动态地调度数据流来充分利用对剖带宽,或者主动地调整流发送速率来控制排队时延。因此,OmniFlow能够在保证长数据流吞吐量的前提下优化短数据流的传输时延。
其他文献
以智能手机和平板电脑为代表的移动设备,逐渐成为最主要的电子消费品,而且仍呈现出迅速发展的态势。从移动平台的角度来看,移动设备的硬件配置如处理器、内存、图像处理器、显示
在数字图像处理中,模糊图像复原具有重要的研究意义和应用价值。由于模糊图像复原是一个不适定问题,使得从模糊图像中恢复清晰图像非常困难。虽然目前大量算法已被提出,但仍然存
学位
数据包分类是按照一定的规则集和数据包的域信息,找出与数据包匹配的规则条目的过程。数据包分类技术在防火墙、入侵检测、负载均衡系统、VPN等各类网络设备中都得到了广泛的
学位
本文研究了无人机在山地环境下的航迹规划,实现了基于滚动时域控制和混合整数线性规划的航迹规划算法,并对算法进行了优化改进。本项目模块的最终目的是为了能使其用在真正的
学位
机器人导航问题是机器人技术的核心问题,经典群搜索算法如遗传算法、粒子群算法等在解决传统机器人导航问题时都有着不错的表现。本文在群搜索算法的基础上,针对社会机器人导
近年来,互联网应用的飞速发展带动了集群技术的进步。互联网数据中心通常采用横向扩展(Scale-out)的设计,即搭建大规模的集群系统,来应对亿级用户的并发访问、PB级数据的存储与
面向能耗优化的面积、功耗、带宽分配问题是处理器在未来发展中能否解决“暗硅”(Dark Silicon)问题、延续摩尔定律的关键所在。目前大规模并行负载在多核处理器上的并行开销