论文部分内容阅读
随着我国北斗事业的迅速发展,国家提出了地基增强系统的建设,在国家北斗地基增强系统建设的过程中,创建了诸多的地面基准站,与北斗卫星直接进行通信,每天输出的实时数据流比以前有了巨大的增长。现需要在原有的数据处理方式的基础之上添加一个数据管理中心,对基准站接收机输出的所有实时数据进行处理和存储,同时还要兼顾系统内部产品信息的转发和存储。在存储方式的选择上,基于二期工程对于数据分析和数据计算的需求,需要结合分布式平台对数据进行存储。基于以上需求,提出基于云存储的数据管理软件的设计。首先,分析了地基增强系统与数据中心部分相关的业务,结合系统需求给出了系统的存储选型。然后围绕着需求分析,综合分析所涉及的业务以后,将系统划分成了北斗接收机数据处理、Rinex文件云存储、北斗接收机数据播发、Rinex文件发布、北斗产品实时处理以及数据中心状态监控六个功能模块,在叙述的过程中利用系统活动图对功能进行了充分的说明,再结合系统实际使用过程中的一些要求,对系统的非功能项提出了基本的要求。其次,从系统架构设计的层次,对系统进行了设计和实现。系统主体的架构以多线程并发处理、消息队列和Hadoop之间相结合形式进行设计,各个部分之间以接口调用的形式,力争做到模块之间相互解耦。系统首先在接收数据的时候以多线程并发接收处理的方式,满足了系统数据高并发的需求,对系统实时数据流完成了接收处理;在系统数据转发的阶段,对传统的UDP的转发方式进行了更新,提出了以消息队列RabbitMQ为基础,采用“生产者——消费者”模型的方式对数据进行转发,极大限度的提高了数据转发的效率;在数据存储方面,设计以多台服务器为基础构建的Hadoop平台,为系统提供云存储的平台环境,相比较硬盘直接存储的方式,云存储的方式为系统数据提供了一个更加高效、安全的存储环境,同时也很好的满足了二期对于数据分析的平台建设需求。而对于数据发布部分,系统则采用了较为成熟的开源系统Hadoop-Over-FTP,通过中间层的处理对外发布数据服务。最后,在实际的部署环境当中对软件进行了测试,对功能性需求分模块进行了黑盒测试,验证了软件架构在实际工作环境中的稳定性、可靠性,对于非功能项需求也结合图表进行测试说明,以表格的形式对最终的测试结果进行了记录,测试结果表明当前架构下研究和实现的系统可以在实际环境当中稳定运行,满足课题提出150个框架网基准站数据处理需求,系统的有效使用时间达到99.9%以上,达到了预期的目的。