论文部分内容阅读
大数据管理是智慧和生态农业的关键技术之一。传统的集中式数据管理在大数据存储与处理上存在读写效率低、可扩展性差等不足之处,这些不足制约了集中式数据库在大数据领域的推广应用。目前针对大数据的管理很多互联网公司、电商平台已经有了很好的解决方案,但是面向农业大数据管理的低成本、低能耗、高可靠的存储方案基本没有。分布式数据库是大数据存储与处理的主要解决方案之一,通过构建分布式集群,对集中式数据库中的数据进行切片,将数据分散存储到各个分片节点上,通过各节点之间的协同工作实现大数据的存储与处理。数据的分布式存储导致对数据的操作往往需要跨节点进行,造成了数据处理的复杂性,因此在实际应用中通常采用中间件作为代理的形式实现分布式存储架构设计,通过中间件管理底层的物理数据库,将底层的数据库虚拟映射成一个数据库呈现给上层用户,屏蔽了分布式数据库的数据处理问题,降低了分布式数据库的复杂性。本文分析了当前主流的分布式数据存储方案,在此基础上引入Mycat分布式数据库中间件,结合猪场管理系统存储扩展的具体需求,提出了基于Mycat的分布式数据存储设计及实现方案。本文具体工作如下:(1)对分布式存储进行了详细的理论研究。针对生态猪场数据管理时集中式存储出现的问题提出分布式存储的解决方案,并对分布式数据库的切分规则和切分方式进行了详细的分析。(2)选取Mycat中间件实现分布式数据库架构并进行性能测试。通过对目前市面上的几种分布式中间件优缺点分析比较,选取Mycat实现分布式数据库的部署,并对其进行负载测试、高并发情况下的读写测试,确定了在高并发、海量数据的情况下分布式数据库的高性能。(3)结合猪场管理系统的业务需求实现分布式存储的实际应用。对猪场管理系统的存储扩展方案进行需求分析,根据需求分析对系统的分布式数据库中的数据分片、跨分片查询、读写分离以及高可用进行设计,设计了一套针对猪场仔猪运动监控的基于Mycat实现的分布式存储方案,并对设计方案进行了实现。本文提出了 Mycat实现的分布式数据存储方案,使用MySQL作为物理数据库,Mycat作为中间层整合物理库,并对上层用户提供分布式数据库服务,在实现数据分布式存储的同时最大程度地降低了对应用的影响。最后在猪场管理系统中使用该方案进行数据库设计,验证了该方案的可行性。