基于云存储的数据管理软件的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:HalfHour
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国北斗事业的迅速发展,国家提出了地基增强系统的建设,在国家北斗地基增强系统建设的过程中,创建了诸多的地面基准站,与北斗卫星直接进行通信,每天输出的实时数据流比以前有了巨大的增长。现需要在原有的数据处理方式的基础之上添加一个数据管理中心,对基准站接收机输出的所有实时数据进行处理和存储,同时还要兼顾系统内部产品信息的转发和存储。在存储方式的选择上,基于二期工程对于数据分析和数据计算的需求,需要结合分布式平台对数据进行存储。基于以上需求,提出基于云存储的数据管理软件的设计。首先,分析了地基增强系统与数据中心部分相关的业务,结合系统需求给出了系统的存储选型。然后围绕着需求分析,综合分析所涉及的业务以后,将系统划分成了北斗接收机数据处理、Rinex文件云存储、北斗接收机数据播发、Rinex文件发布、北斗产品实时处理以及数据中心状态监控六个功能模块,在叙述的过程中利用系统活动图对功能进行了充分的说明,再结合系统实际使用过程中的一些要求,对系统的非功能项提出了基本的要求。其次,从系统架构设计的层次,对系统进行了设计和实现。系统主体的架构以多线程并发处理、消息队列和Hadoop之间相结合形式进行设计,各个部分之间以接口调用的形式,力争做到模块之间相互解耦。系统首先在接收数据的时候以多线程并发接收处理的方式,满足了系统数据高并发的需求,对系统实时数据流完成了接收处理;在系统数据转发的阶段,对传统的UDP的转发方式进行了更新,提出了以消息队列RabbitMQ为基础,采用“生产者——消费者”模型的方式对数据进行转发,极大限度的提高了数据转发的效率;在数据存储方面,设计以多台服务器为基础构建的Hadoop平台,为系统提供云存储的平台环境,相比较硬盘直接存储的方式,云存储的方式为系统数据提供了一个更加高效、安全的存储环境,同时也很好的满足了二期对于数据分析的平台建设需求。而对于数据发布部分,系统则采用了较为成熟的开源系统Hadoop-Over-FTP,通过中间层的处理对外发布数据服务。最后,在实际的部署环境当中对软件进行了测试,对功能性需求分模块进行了黑盒测试,验证了软件架构在实际工作环境中的稳定性、可靠性,对于非功能项需求也结合图表进行测试说明,以表格的形式对最终的测试结果进行了记录,测试结果表明当前架构下研究和实现的系统可以在实际环境当中稳定运行,满足课题提出150个框架网基准站数据处理需求,系统的有效使用时间达到99.9%以上,达到了预期的目的。
其他文献
新常态为高职专业建设带来新机遇,新机遇对专业内涵建设提出新要求,高职院校要主动适应新要求,基于PDCA"诊改"理念开展专业建设,实现持续推进专业内涵发展和人才培养质量不断
本文运用面向结构图的仿真方法,对安全系统典型保险机构从安全状态到解除保险状态的过程进行了仿真分析。运用传统计算方法求出了某一安全系统的惯性保险机构解除保险时间,进行
飞行体,包括人造地球卫星、子母弹等,工作过程的动态参数对其性能分析极其重要。飞行过程的动态参数可以辅助分析飞行体性能及其实验中所发生故障的机理,为其验证、优化设计
本课题设计一款小型火炮角度伺服控制系统,是研制高性能的火炮伺服系统、精确打击目标的科研课题的一部分。首先介绍了控制系统的总体要求,制定出PWM直流伺服控制方案,根据具
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
冠心病是临床上常见的心脏病,心脏是人体循环系统中一个重要器官,所以医学界专家越来越重视如何治疗冠心病。通过药物和手术进行治疗后,心肌梗死和心肌缺血等并发症仍然存在,
针对传统水利水电工程移民实物调查耗时长、数据质量低、缺乏空间信息的现状,研究分析了若干传统实物调查案例并提出信息化调查的调查流程及方法。通过分析不同水利水电工程
进入21世纪以来,在国家重视环保、大力开发新能源和可再生能源的政策背景下,我国太阳能电池的发展日新月异。在世界能源日趋紧张的形势下,太阳能行业的发展变得尤其重要。同时,最