论文部分内容阅读
托管在远程位置并通过互联网或专用网络访问的任何应用程序或服务实质上都是一种云服务。有些云服务在向地理分布用户传递的过程中会伴有大量网络流量产生,例如占互联网流量绝大比重的Web类服务和流媒体类服务等。此类大流量云服务(以下统称云服务)的数据和用户规模呈指数增长,云服务用户体验需求和访问行为复杂性在不断提升。云计算概念出现之前,为了保证Web类和流媒体类等服务质量,该类服务的传递通常使用构造于“尽力而为”互联网之上的内容分发网络(Content Delivery Networks, CDN)。然而,在多样化云服务规模化发展和大量蜂拥行为涌现的情况下,CDN已经越来越难以满足云服务按需弹性可扩展的需求,提高CDN资源利用率与保证云服务用户质量之间的矛盾日益尖锐。本文基于对云服务传递系统中实际存在问题的分析,发现如下与确保云服务用户质量并最大化CDN资源利用率之间尖锐矛盾相关的几个问题:(1)“适应性”问题,为追求资源统计复用,多业务(即云服务)通常采用共享资源的方法,该方法容易导致多业务因抢占资源而互扰,CDN很难通过自适应调节的方式解决因多业务互扰而导致服务质量和资源利用率下降的问题;(2)“经济性”问题,蜂拥热点超过CDN单节点缓存能力导致用户访问缓存命中率低,在缓存成为新瓶颈的情况下,传统以带宽为瓶颈参数的动态资源分配方法难以实现相同资源利用率情况下确保更多用户服务质量的问题;(3)“可扩展性”问题,蜂拥云服务导致其聚合资源需求频繁超过CDN服务能力上限, CDN难以实现在其资源总量不变的前提下保证过载部分用户的服务质量;(4)“公平性”问题,CDN资源通常被优先分配给受关注度高的蜂拥云服务,在CDN的资源需求接近其服务能力上限的情况下,CDN难以确保受关注度低的云服务传递资源需求和用户服务质量。针对上述问题,本文的主要研究工作和贡献:(1)面向激增蜂拥的多业务部署方法激增蜂拥是指云服务资源需求由远低于其可用资源的水平快速跃升为远高于其可用资源水平的一类蜂拥。针对“适应性”问题,本文提出了兼顾CDN资源统计复用最大化和最大程度避免蜂拥云服务互扰的多业务共存的部署方法MACE(Multiple Applications Co-Exist)。根据不同云服务资源需求的统计规律MACE方法在对现有云服务进行分类的基础上,提出了静态资源分配、动态资源补充和资源预留等自适应调度的核心机制。MACE被应用于大规模真实CDN并进行了6个月的性能测量与评估。与传统多业务共享带宽方法相比:系统资源利用率提高近20%;统计意义上与系统效率成反比的平衡系数由12%降低至5%;因CDN不同类型业务间资源互扰引起的投诉数降低为0。(2)蜂拥热点关联的CDN资源动态分配算法针对“经济性”问题,本文将CDN服务器资源的动态分配问题建模为考虑缓存瓶颈参数的多维设备选址问题(Multidimensional Facility Location Model,MFLM)。MFLM问题是一个NP完全问题,本文提出通过增加必要的前提假设和约束改变,针对CDN中流式、下载式流媒体和各种软件升级包下载等类型应用的逻辑子服务器网络动态构造的特例,给出以多缓存协同和Peer辅助为核心的服务器选择算法。在提出评估MFLM启发式算法的性能指标和性能分析模型基础上,本文对MFLM求解算法的性能进行了全面的评估分析。(3)面向缓增蜂拥的CDN服务能力适度扩展算法针对“可扩展性”问题,本文提出了动态适度终端辅助的方法(DynamicModerate Peer-assisted Method,DMPM)。DMPM主要针对云服务聚合资源需求以缓慢的速度增长至不低于CDN系统服务能力的一类缓增蜂拥。DMPM采用时间序列预测方法和径向基神经网络预测方法预测和决策了何时以及多少服务器负载需要通过终端辅助的方法被分担,并设计了一种适度提高CDN可扩展性的新型P2P机制。本文更进一步的使用从真实CDN系统收集的日志数据作为测试集来评估了预测方法的精度和DMPM方法的有效性。(4)蜂拥效应抑制的弹性覆盖网络构造方法本文将CDN中大部分甚至全部资源都被分配给蜂拥云服务而非蜂拥云服务资源需求难以保证的现象称为蜂拥效应。针对云服务蜂拥效应下的“公平性”问题,本文以VoD为研究对象提出了基于CDN的P2P覆盖网的弹性构造方法ECM(Elastic Construction Method),有效的提高了受关注低的云服务传递质量。ECM通过将多个CDN节点内请求访问相同内容的用户有序协同构造P2P覆盖网,实现利用Peer资源辅助CDN提高其服务能力扩展性的目的。ECM以扩大覆盖网边界的方式解决Peer资源稀疏问题,考虑了传统P2P流媒体骨干网流量负载过重的问题,提出了就近弹性构造P2P覆盖网的思想。模拟实验表明与在单个CDN节点内进行覆盖网络构造相比,ECM提高了用户请求接受率约41%;与传统无CDN基础设施的纯P2P系统相比,明显降低跨骨干网络流量。综上所述,本文针对云服务规模化发展形势下实际云服务传递系统CDN所面临的新挑战,研究了与云服务蜂拥现象相关的若干关键技术,对于实现高效的云服务传递具有重要的理论意义和应用价值。