基于容器的大数据流处理系统的设计与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:angelgsj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息时代的到来,使得人类社会每日产生的数据量呈现出指数性增长的态势。随着数据规模的日渐庞大,数据中蕴含的价值信息的时效性却往往越来越短,因此在不改变传统的流式数据处理系统架构的基础上,势必会对流式数据处理系统的运行效率以及底层计算资源的利用率等方面提出更高的要求。传统的流式数据处理系统通常运行在物理机或虚拟机环境之上,即便是运行在以虚拟机为基础的云环境中,在流式数据处理系统的部署管理和维护、计算资源的利用率以及动态调度与扩展性等方面也存在着很大的制约。因此,在流式数据处理领域,亟需一种更高效的资源分配、隔离和调度的方案,容器技术的出现为解决此问题提供了一种新的思路。  针对上述问题,本文在深入研究云平台技术、容器技术、容器集群调度技术以及大数据流处理系统等相关技术的基础上,设计并提出了一种基于容器的、分层多模块的、弹性大数据流计算系统的技术实现方案。依据该方案,基于开源的容器引擎工具Docker和容器编排与调度系统Kubernetes,本文设计并实现了一个名为KuStream的面向于大数据流业务的分布式容器云平台系统。并更进一步的,在KuStream容器云平台系统所提供的容器调度与管理服务基础之上,本文设计并实现了一个基于流式数据计算框架Storm的大数据流系统。  实验结果表明,本文所设计的KuStream容器云平台系统能够以更细粒度的资源调度和更高效率的资源虚拟化方式,为流式计算系统带来计算能力的动态调整、计算资源的弹性配置等优点,并在一定程度上提升集群的计算资源利用率和大数据流系统处理数据的效率。
其他文献
颅骨面貌复原技术以人类的颅骨作为基本材料,借助相关领域如人类学、法医学、解剖学中的头骨和面貌间相互关系规律,来重新构建出相应的人脸模型。该技术被广泛应用于刑事侦查、
存储系统作为计算机组成的一个核心部分,其组织和管理对于计算机整体的性能和功耗有至关重要的影响。传统的计算机系统一般采用硬盘作为二级存储设备,操作系统中的存储管理技术
学位
子午工程由中国科学院牵头,教育部、信息产业部、中国地震局、国家海洋局、中国气象局等共同建设。子午工程包括空间环境监测系统、数据与通信系统、研究与预报系统,有数目众多
脑机接口(BCI)系统的目标是在人与计算机之间建立一个不依赖于人体任何外围的神经系统或肌肉组织的一个信息交互渠道。一方面在临床护理中BCI系统有着重要的应用价值,对于脑瘫
软件复用是实现高效高质的软件开发的切实可行的途径之一。软件资源库是对可复用软件资源进行管理的基础设施,提供了软件资源发布、搜集、检索等功能,为用户复用以往的软件资源
非真实感绘制(Non-Photorealistic Rendering, NPR)是近些年来快速发展的一种绘制技术。不同于传统的真实感绘制方法,它主要采用某种艺术风格(素描、水彩、油画等)对物体进行
随着我国对外经济和文化交流与合作的迅猛发展,“汉语热”在全球范围内也日渐升温。在国际交流大发展的时代背景下,国际汉语教学迎来了难得的发展机遇。而汉语的推广和普及也成
无人艇在海洋环境侦察、扫雷、港口保护、海洋科考等领域具有广阔的应用前景,越来越受到大家的关注。无人艇上通常搭载有摄像机、热像仪等光电传感器,由于受到无人艇在海洋中
学位
在以信息数字化和网络化为主要特征的时代,信息传播的深度和广度都有极大的发展,信息表达的效率与准确性也得到了很大的提高。但同时随之而来的也有一些负面影响,比如数字产
阿尔茨海默型老年痴呆症(Alzheimer’s Disease,AD)是一种神经系统退行性疾病。患者表现为近事记忆障碍,渐渐出现语言、情绪、认知等障碍,最终不能独立生活以致死亡[1]。目前