视频分发与缓存协同优化技术研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:zhypku
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在三网融合的大环境下,服务和业务的种类越来越丰富,其中视频内容的播放服务是三网融合的重要服务之一。随着整个视频服务行业的飞速发展,视频内容出现了爆炸式的增长。视频内容通过内容分发网络,分发给电视、PC、手机、PAD等内容终端。视频内容的快速增长及终端用户数量迅猛增加,与此同时基础网络传输带宽发展相对缓慢,为了保证视频服务质量,目前主要通过由内容分发和缓存系统组成的内容分发网络CDN (Content Delivery Network),完成视频内容的分发和缓存。大容量、高并发的视频服务,对视频分发、缓存技术提出了更高要求。视频内容流行度的准确预测、有效的缓存替换算法以及副本的预部署算法对CDN的性能有重要影响。本文围绕三网融合环境下的视频内容的分发与缓存关键技术展开研究工作,重点研究了CDN中视频流行度的预测,分布式缓存系统中移动视频内容缓存的替换,以及基于云存储的CDN中视频内容副本的预部署等策略。本文的主要工作与成果如下:1)针对基于“推”为主的CDN系统中,视频内容的流行度需要人为估计的问题,本文提出了一种利用贝叶斯网络模型对视频内容的流行度进行预测的方法。在保证用户体验不变的前提下,减少后期系统对视频内容副本的调整,有效减少系统负担,使CDN边缘节点的存储资源能够得到更合理的使用。该方法利用贝叶斯网络通过对视频点播数据进行知识挖掘,实现对需要分发到CDN边缘缓存节点的视频内容流行度的有效预测。实验结果表明,该方法可对视频内容流行度较为准确的预测,电影流行度准确率超过80%。2)针对分布式协同缓存系统中的内容替换问题,本文提出了一种基于全局信息的内容替换算法。通过理论推导证明了协同缓存优于独立缓存。协同缓存系统中现有的局部贪心算法假定文件长度一致,仅考虑局部的内容信息。考虑这两个不足,本文通过分析移动环境下视频的长度分布与流行度分布情况,建立了视频长度与流行度的分布模型。然后根据分布模型并结合缓存系统的自身特点,针对面向移动视频服务的分布式缓存系统,本文提出了一种基于全局效用值的缓存替换算法,简称VBG算法(Value-Based Global). VBG算法基于全局信息,同时考虑文件长度。实验结果表明,协同缓存系统在三种不同缓存预部署策略下,使用VBG算法的系统传输代价均低于局部贪心算法,在三组实验中,局部贪心算法的传输开销最高约是VBG算法的2.5倍。3)面向基于云存储的CDN视频内容预部署需求,本文提出了两种离线的副本部署算法:GUCP算法(Greedy User Core Preallocation)和PBP算法(Popularity Based Placement).GUCP算法利用用户请求信息,将副本有针对性的部署到云存储节点上,将用户快速的重定向到拥有所需副本内容的节点,从而解决原有GS (Greedy Site)算法可能引起的用户负载不均问题。实验结果表明,GUCP算法在负载均衡方面的性能优于GS算法很多。当用户数量达1000时,GUCP算法的负载状况值仅为GS算法的1/8。PBP算法则利用内容的流行度计算出副本在系统中所要部署的数量,将用户请求重定向到指定云存储节点,若该节点无法提供副本服务,则从其它节点复制副本。对比其它节点复制副本的平均调整时延和调整费用两种性能指标,PBP算法比随机预部署算法有较大优势。随着用户数量的增加,PBP算法的调整费用近似趋于随机算法的1/2,平均调整时延近似趋于随机算法的3/4。本文的研究工作及成果,依托于国家863重大项目“新一代高可信网络”课题中“新一代业务运行管控协同支撑环境的开发”课题以及华为“分布式分层Cache技术合作”基金项目,已经应用于本文所依托的两个课题(已通过验收)。
其他文献
安吉县位于浙江省西北部,总面积1886 km^2,常住人口46万,是习近平总书记"绿水青山就是金山银山"理念诞生地,是中国首个生态县和首个联合国人居奖获得县。安吉供电公司抓住浙
目的:探讨胸腰椎骨折伤椎椎弓根螺钉固定的临床效果。方法:对36例胸腰椎骨折患者给予后路伤椎及相邻椎体椎弓根螺钉固定,合并神经症状者给予椎板减压,后外侧植骨融合。结果:经过6~1
目的:基于随机对照研究探讨针灸治疗慢性前列腺炎的选穴规律及疗程特点。方法:检索2017年3月31日前中国知网、万方数据知识服务平台、维普网、中国生物医学文献数据库、PubMe
连钱草作为传统常用中药,临床疗效显著,但其所含成分繁多,本文以连钱草的物质基础为着眼点,对连钱草所含化学成分进行归类梳理,并对其质量研究做一综述,提出建立质量评价体系
目的:探讨腰丛神经阻滞治疗联合臭氧治疗对腰椎间盘突出症的疗效。方法:92例患者症状、体征及CT或MRI证实为腰椎间盘突出症,对照组46例进行单纯腰丛神经阻滞治疗,治疗组46例在
"党的政策真是好,电网改造到家门。山沟沟种上致富茶,家家户户奔小康……"采茶嫂子唱起悠扬的山歌,清脆的歌声在连绵起伏的茶园上空久久回荡。溪流潺潺,山水相映,蓝天白云飘,
目的:探讨人血白蛋白联合碘伏外涂治疗新生儿红臀的效果。方法:将100例红臀患儿随机分为治疗组和对照组各50例,两组患儿都清洁臀部后用棉签蘸取0.05%碘伏消毒待干。治疗组用棉
“海市蜃楼”作为《全反射》一课的引入自然而然,能把奇观做出实验,学生的注意力被吸引过来。调整观察的高度和物体的位置,居然看到了倒立蜃景,学生兴趣高涨,深究其因。激光笔显示
随着Internet的飞速发展,信息系统广泛采用了Web架构。由于Internet的开放特性,Web应用系统处于开放环境中,容易受到来自Internet的恶意攻击。入侵检测是一种保障Web应用系统