论文部分内容阅读
云存储作为云计算的一种应用模式,利用服务器集群应用、网格技术或分布式文件系统等技术,将不同的存储设备通过网络集合起来协同提供数据存储方案。云存储与传统存储方案相比具有扩展性强、性价比高、接入性好等优点,为个人和企业用户带来了前所未有的便捷。企业用户对数据完全托管给公有云服务商时,在服务可靠性和可用性、服务商锁定、数据安全性及网络传输性能等方面产生的问题仍有顾虑。私有云存储则运行于企业内部数据中心的专用硬件设施上,构建成本高而且规模很难做到一步到位,面对数据增长与各种突发问题时还需要不断维护。这些都成为云存储进一步发展的障碍。本文所研究的混合云存储架构,可以将企业内部的私有云存储与公有云存储整合在一起,充分发挥出各自的优点。弥补了公有云存储在数据安全性和访问性能上的不足,同时可以满足企业业务突然爆发的峰值环境下存储需求,为用户提供必需的资源而不需要增加额外的基础设施。研究和设计数据访问无缝透明、数据存储和迁移策略高效合理、数据安全可用的混合云存储架构,对于云存储的发展具有重要的意义。本文的主要工作为:首先,对混合云环境下的基于信息分散算法的存储方案进行研究,提出了一种混合云存储架构的设计,为混合云的数据处理提供解决方案。本文阐述了架构中数据存储调度策略,包括数据存储、数据获取、数据迁移与数据访问统计的具体流程。定义了数据存储到公有云时面临的服务商选择问题,并提出了使存储总费用、数据可用性、网络传输性能等各因素之间达到平衡的存储方案的计算方法。其次,在所提混合云存储架构的基础上,设计并实现了一个小型的面向企业的混合云存储系统。本文描述了系统的部署架构,然后从功能划分、层次设计和数据库设计三方面介绍系统的总体设计方案。利用Java技术和多种开发框架完成系统的实现,按照用户管理、数据控制、云服务商和系统管理这些不同的功能模块纵向描述了系统的实现过程。最后,将系统部署在以Hadoop的HDFS作为私有云,Amazon S3、 Windows Azure、阿里云和七牛云作为公有云的环境下,对系统架构进行测试。功能测试从用户管理、数据控制等不同模块进行,性能测试从云服务商选择算法和数据处理响应两方面展开。实验数据表明,所提混合云存储架构能够在合理的时间内稳定地完成数据存取操作,验证了数据存储策略和云服务商选择算法的有效性。