基于MongoDB的光纤传感海量监测数据存储方法研究

来源 :武汉理工大学 | 被引量 : 5次 | 上传用户:a0602141021
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代工业技术的快速发展,重大机械装备运行状态的安全监测愈加必要,也成为业界研究热点。光纤光栅传感器以其体积小、重量轻、柔韧性好、耐高温腐蚀、强抗电磁干扰能力等优点,取代传统电测传感器,广泛应用于重大机械装备状态的智能感知与监测中。如何为这些海量光纤传感监测数据建立高并发性、高扩展性和高可用性的高效存储系统,为实时监测、信息分析和故障分析系统提供稳定可靠的数据支持,也成为目前人们关注的关键问题。本文针对基于光纤传感技术的重大机械装备运行状态在线监测系统的存储需求,结合配置管理信息与传感监测数据的不同特点,采用传统关系型数据库和NoSQL数据库实现数据的分离存储,并设计实现了多级缓冲机制以满足数据存储的高效、实时、精准性,较好的缓解了内存与磁盘I/O的响应延迟。本文主要研究工作如下:(1)针对重大机械装备运行状态在线监测系统不同功能模块的应用需求,结合各类数据特点,将存储分为多级缓存、传统关系数据库系统和NoSQL分布式数据库系统三个部分。采用多级缓存队列实现及时、精准、高效的实时数据分析与显示;采用传统关系型数据库作为系统数据库,实现具有高一致性,高结构化特点的配置管理信息的存储;采用MongoDB作为综合状态数据库,实现海量、非结构化的光纤传感监测数据的存储,为机械装备后期生命周期管理打下良好的数据基础。(2)光纤传感监测数据的海量、大规模、高并发特点势必对存储系统的高效、高并发、高响应性能提出较高需求。为协调高响应需求下高速数据接收和低速磁盘I/O延时造成的不一致性,本文设计并实现了一种高效数据接收和多级缓存模型,该模型采用基于UDP通信协议的多线程接收、Socket缓冲区调整机制来实现数据接收和解析的异步处理;采用基于表置换机制的多线程技术以及ADO.NET的批处理技术,实现对数据库读写的实时性和准确性;采用基于生产者-消费者算法建立二级数据缓存,实现临界区并发读写互斥。(3)针对光纤传感监测数据海量、小文件、松散结构的特点,本文从研究对比传统关系型数据库和NoSQL数据库的存储机制和系统性能着手,进行了全面详尽的可行性分析,从而选择MongoDB作为最优存储方案,设计并实现了基于MongoDB的光纤光栅海量传感监测数据的存储模型。同时,根据传感监测数据的海量、只读的实际应用需求,在MongoDB自动分片技术的基础上,运用基于数据操作频率的均衡算法对MongoDB高扩展性集群进行改进,采用WebService通用服务标准,实现了基于MongoDB的平台独立、多用户差异化、高可扩展性的海量数据存储接口。(4)设计和实现了海量光纤传感监测数据存储系统,并将此系统应用于大型旋转机械轴承振动监测平台。通过实验模拟亿级海量数据情况下的压力测试实验和大型旋转机械轴承振动监测平台在实际生产运行状态下的良好性能,有力证明了论文提出的存储方法的高效性和稳定性。
其他文献
本文作者介绍了新形势下企业财务管理理念,分析了新形势下企业财务管理面临的挑战,提出了新形势下财务管理的创新方法。
植物是自然场景中的重要组成部分,但由于其结构的高度复杂性,给模拟植物带来了极大的困难。分形理论的引入,为植物的建模提供了更加广阔的发展空间。随着分形理论研究的不断发展
多种标准长期并存是VoIP技术发展中不可避免的现实,目前VoIP技术涉及的主要协议有:IAX、XMPP、SIP等。VoIP不同系统的互通,已成为业界关注的一个焦点问题。论文首先讨论了VoI
基于外辐射源的双多基地雷达系统凭借其自身的优点,成为了雷达系统研究中的热点,随着数字电视各种技术的成熟,利用地面广播数字电视信号做照射源的外辐射源雷达成为现在雷达
本文作者结合实际工作经验,对几种常见的建筑工程混凝土常见问题及质量控制措施进行了探讨,同大家参考。
伴随着社会经济的飞速发展,民用高层住宅渐渐的步入了人们的生活中。在高层建筑施工中,混凝土浇筑工程对整个工程的施工质量起着一定影响因素。混凝土施工,由于混凝土一次的浇筑
本文介绍了园林绿化工程施工质量管理工作的重要性,探讨了园林绿化工程施工中质量管理和控制的措施。
随着网络和多媒体通信技术的发展,移动终端如手机,PDAs(个人数字助理)等的广泛应用,人们对移动网络服务提出了越来越高的要求。移动终端具有一些共同的特点如:显示分辨率低,
感知音频编码是一种音频压缩方法,能够利用人耳听觉系统的感知特性对失真和噪声进行整形,并使得重建信号与原始信号的差别无法被感知到。感知音频编码能够在较低编码速率的条
本文对开放式文档同构引擎进行深入研究,旨在实现一个用于底层支撑作用的文档引擎,使高层内容安全产品摆脱文档异构化和文档理解的难题,专注于自身的研究。本文首先介绍了物