北部湾海洋科学数据处理云平台框架的研究与设计

被引量 : 0次 | 上传用户:claverchou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着北部湾海洋生态资源的开发和利用,海量海洋科学数据已经迅速涌出,这些海量数据有如下特性:海量、多样、复杂、动态变化、异构等。但是目前各项目中的海洋科学数据都没有形成统一的存储和采集的标准与规范,没有相应的数据共享平台,从而“数据孤岛”现象就形成了。怎样合理的存储和管理并高效地利用这些数据,是顺利进行海洋科学研究项目首要考虑的关键问题之一。对于大规模数据处理问题,传统的方法大多采用并行计算、分布式计算、网格计算等技术,配置计算资源耗费昂贵,而且要通过繁琐的编程才能实现大规模数据的有效分割和计算任务的合理分配。随着云计算技术的飞速发展,特别是以Hadoop分布式技术为代表的云计算数据处理技术,为上述问题的解决提供了一条有效的途径。本文基于云计算技术,围绕如何构建北部湾海洋科学数据处理云平台框架解决方案,开展了以下方面的研究工作:(1)针对北部湾海洋科学数据处理云平台的建设需求,对云计算关键技术和现有的云计算平台框架结构进行分析和总结,深入分析和研究具有代表性的云计算Hadoop分布式平台。(2)根据北部湾海洋科学数据的特点和特殊处理需求,明确北部湾海洋科学数据处理云平台的功能,理清该平台系统的操作流程,按照云计算中的“软件即服务(SaaS)”模式,设计一个符合北部湾海洋科学数据处理自身要求的云平台框架。该平台包括分布式数据库访问层、数据处理平台层、业务应用层等三个层面,可实现分布式文件系统、并行编程环境、分布式系统管理、并行数据存储的控制与调度、业务应用层应用软件的开发、用户应用接口等功能。(3)初步搭建了北部湾海洋科学数据处理云平台的原型系统,阐述了关键模块的实现方法和平台建设的具体搭建步骤。采用并行分布式计算技术、Linux集群技术、以Hadoop分布式平台作为基础,使用HDFS分布式文件系统、Map/Reduce并行编程计算模型以及HBase分布式数据库技术来处理北部湾海洋科学数据,编程实现了关键模块,实现了对云平台的分布式系统管理,可提供具备高可靠性、高稳定性的存储平台。最后,通过测试验证所提出的平台框架的可行性和有效性。本文的研究成果和设计的北部湾海洋科学数据处理云平台框架,可以为构建基于Hadoop云计算技术进行管理和存储海量海洋科学数据云平台提供了一种可行的解决方案,具有一定的实际应用价值和科学意义。
其他文献
新闻评论是报纸的两大文体之一,作为最直接的宣传手段被誉为影响和引导舆论的'旗帜'和'灵魂',越来越受到社会各界的重视和关注。伴随着各种新媒体的出现,新
目的探讨NF-κB、TNF-α及NLR在多囊卵巢综合征(PCOS)患者血清中的表达及其与糖代谢的相关性。方法前瞻性随机选取门诊就诊的90例PCOS患者为研究组,根据BMI是否≥25,将研究组分
电子信息系统作为电子设备最为集中的环境之一,也是大量信息数据存储的中心,其经常受到闪电电磁脉冲的影响而造成不可估计的损失。目前,电子信息系统安全评估主要是对其硬件
光模数转换技术和全光包交换技术在很多领域都起着重要的作用。本论文提出了一种基于四波混频效应的对高速取样脉冲序列进行并行处理的方法。该方法可以将单波长光取样序列通
分析了隔离罩的工艺特点,介绍了零件排样设计方案、模具结构及其工作过程,模具结构简单,生产效率高。用UG软件实现隔离罩级进模的三维建模过程,体现了UG软件在模具设计中的优
生物质快速热裂解技术是当今生物质能开发应用领域的前沿技术,能够将生物质转化为易储存、易运输的液体燃料,但因其复杂的成分和不稳定的化学性质限制了其作为高品位液体燃料
为了克服传统芯片中总线通信的诸多问题,片上网络(Network on Chip,NoC)作为一种新颖的解决方案被提出。随着片上网络的发展,其研究领域已经从二维扩展到三维空间,将三维技术和片上
在电动汽车集成车载驱动系统基础上,提出一种基于九开关变换器的三矢量空间矢量脉宽调制(SVPWM)算法。给出了九开关变换器27种开关状态及其在对称六相永磁同步电机电压矢量图
c-Myc是一种重要的原癌基因,它可以作为一种转录因子,在维持胚胎干细胞的生物学特性和诱导多性干细胞(induced pluripotent stem cells,iPS)形成的过程中发挥重要的作用。因
近年来,越来越多的国内外大型网站启用了HTTPS,但与此同时HTTPS并没有成为潮流,大量的中小型网站仍然没有启用HTTPS,本文对HTTPS的相关概念,交互原理,协议优缺点等方面加以介