基于分布式存储的生态猪场数据管理技术的应用研究

来源 :安徽农业大学 | 被引量 : 2次 | 上传用户:zqzhang_1011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据管理是智慧和生态农业的关键技术之一。传统的集中式数据管理在大数据存储与处理上存在读写效率低、可扩展性差等不足之处,这些不足制约了集中式数据库在大数据领域的推广应用。目前针对大数据的管理很多互联网公司、电商平台已经有了很好的解决方案,但是面向农业大数据管理的低成本、低能耗、高可靠的存储方案基本没有。分布式数据库是大数据存储与处理的主要解决方案之一,通过构建分布式集群,对集中式数据库中的数据进行切片,将数据分散存储到各个分片节点上,通过各节点之间的协同工作实现大数据的存储与处理。数据的分布式存储导致对数据的操作往往需要跨节点进行,造成了数据处理的复杂性,因此在实际应用中通常采用中间件作为代理的形式实现分布式存储架构设计,通过中间件管理底层的物理数据库,将底层的数据库虚拟映射成一个数据库呈现给上层用户,屏蔽了分布式数据库的数据处理问题,降低了分布式数据库的复杂性。本文分析了当前主流的分布式数据存储方案,在此基础上引入Mycat分布式数据库中间件,结合猪场管理系统存储扩展的具体需求,提出了基于Mycat的分布式数据存储设计及实现方案。本文具体工作如下:(1)对分布式存储进行了详细的理论研究。针对生态猪场数据管理时集中式存储出现的问题提出分布式存储的解决方案,并对分布式数据库的切分规则和切分方式进行了详细的分析。(2)选取Mycat中间件实现分布式数据库架构并进行性能测试。通过对目前市面上的几种分布式中间件优缺点分析比较,选取Mycat实现分布式数据库的部署,并对其进行负载测试、高并发情况下的读写测试,确定了在高并发、海量数据的情况下分布式数据库的高性能。(3)结合猪场管理系统的业务需求实现分布式存储的实际应用。对猪场管理系统的存储扩展方案进行需求分析,根据需求分析对系统的分布式数据库中的数据分片、跨分片查询、读写分离以及高可用进行设计,设计了一套针对猪场仔猪运动监控的基于Mycat实现的分布式存储方案,并对设计方案进行了实现。本文提出了 Mycat实现的分布式数据存储方案,使用MySQL作为物理数据库,Mycat作为中间层整合物理库,并对上层用户提供分布式数据库服务,在实现数据分布式存储的同时最大程度地降低了对应用的影响。最后在猪场管理系统中使用该方案进行数据库设计,验证了该方案的可行性。
其他文献
目的总结缩窄性心包炎的外科治疗方法.方法回顾分析1996年7月~2004年7月我科收治的缩窄性心包炎72例的病历资料.结果本组病例全麻下行心包剥脱术72例,治愈57例(79.2%),好转10
整形美容手术后,经常使用负压引流设备,良好的引流是防止术后感染和血肿形成的关键之一.整形美容手术的成功以及术后的并发症与术后引流的效果密切相关,近年来应用自制负压引
针对开阳磷矿在井巷掘进过程中遇到破碎岩层 ,研究总结出一套掘进支护和变形破坏治理技术措施,对破碎带有较好的支护效果,满足动压井巷治理使用要求.
鲜切果蔬因其新鲜营养、方便安全的优点,而拥有广阔的市场前景。组织损伤导致鲜切果蔬存在的营养物质外流、易受微生物污染、货架期短等问题。本文对国内外应用于鲜切果蔬的
众所周知,汽车橡胶空气悬架就像是人的腿脚,运行时可缓冲来自地面的反作用力。汽车橡胶空气悬架系统是以橡胶空气弹簧为弹性元件,通过在一个密封的容器内充入压缩空气(气压为0
由于我国水资源分布不均和近些年一系列政策的出台,节水也成为发展电力行业的重要指标之一。空冷技术节水优势显著,但直接空冷机组冬季运行时,受供热和调峰影响,排汽流量往往
介绍轮胎原材料开发和绿色轮胎、安全轮胎和低噪音轮胎的开发情况,同时介绍了轮胎生产工艺的进展情况。