论文部分内容阅读
摘 要 随着数字化校园建设的不断深入,校园网内应用资源快速增长,为了对这些数字资源进行有效的管理,就需要大容量的存储设备。云存储是一种新兴的网络存储服务,本文针对在校园网内架设私有云进行文件管控提出了个人观点,最终通过校内私有云实现资源的低成本、高效率的管理。
关键词 校园网;云存储;私有云;文件管控
中图分类号:TP3 文献标识码:A 文章编号:1671-7597(2013)14-0161-02
云存储的概念随着云计算的兴起也变得越来越被受关注。云存储所能提供的数据管理、文件管理和存储管理都非常重要,也具有很大的研究空间。与传统的存储方式相比,云存储有着扩展容量方便快捷、设备升级不中断服务和硬件冗余这样显著的优点。这些不仅能满足用户对存储安全性的要求,而且还能节省资金投入。
1 云存储的概念
云存储是在云计算概念的基础上,延伸出来的一个新概念,它是指通过集群应用、网格技术或分布式文件系统或类似网格计算等功能联合起来协同工作,并通过一定的应用软件或应用接口,对用户提供一定类型的存储服务和访问服务。让云存储成为企业私有云,使得企业能够将资源切换到需要的应用上,根据需求访问备份的数据。它将备份服务器,备份软件、存储设备集合在一起,形成云存储。云存储不是真正意义上的存储,而是一种服务。对使用者来说,云存储就像云状的网络,它不是指某一台具体的设备,而是指由很多个服务器和存储设备所构成的一个集合体。访问云存储中的资源,并不是访问具体的某一台设备,而是将整个云存储系统虚拟为统一的整体,为使用者提供一种数据访问服务。应用软件实现了云存储中存储设备向存储服务的转变,因此,云存储的核心是应用软件与存储设备的结合。所以,云存储不是单纯意义上的存储,而是一种服务。
2 校园网内架设私有云
2.1 私有云
考虑到公共云存储所存在的数据异存安全性、私密文件保护隐患方面的问题、以及校内上网行为管理执行上的需求,云存储作为一种方便快捷的文件备份方式很多企业开始在自己的网络内部架设私有的云,将云存储的服务端部署在校园的内部网络中,服务端的维护与管理可以由学校自行控制,教师及学生可以在授权范围内安全的使用私有的云存储功能。很多在公共云存储服务端无法实现的功能,都能在私有的环境下得到良好的解决。
网内私有云提供文件管控功能对校内文件管理非常重要。文件管控可以实现自动同步,即Windows客户端在指定目录下添加、修改、删除文件或目录,这种状态将会自动同步到云端。如果云端任意一个文件被添加、修改、删除,也会自动同步到当前Windows电脑;同时还可以进行选择性同步,即用户不需要把云端所有的文件都同步到Windows电脑中,可根据需要,在Windows客户端进行选择性同步,或选择一个或多个子目录进行同步;文件管控还可进行文件共享,提供目录共享,用户可在共享目录编辑文件后,自动同步到对方目录中,提供文件外链与文件分享,成员可将文件进行外部分享;快速部署功能可以通过单一安装文件完成,自动获取安装所需信息,无需用户干预;历史版本恢复功能可以对用户多次编辑文件后,根据时间找到以前的版本,并可恢复。
2.2 校园网对私有云存储的需求
全国各大高校都在内部建有局域网,信息安全管理关系着各部门工作的正常进行。我校校园网数据按存储位置有三个组成部分,其一是为各应用系统提供数据支持,存于网络管理中心机房的服务器中;其二是部门应用系统和数据文档资料,存放于各部门服务器中;其三是个人的日常工作文档资料,存放在个人电脑机中。集存于服务器的数据一般都能采取异地磁盘备份的方式确保数据的物理安全。对个人计算机的数据备份有两种手段,一是采用各种移动介质备份,对系统中重要数据进行不定期手工备份,这种方式随机性强不能保障数据安全。另一种就是利用服务器数据备份的方式进行,由于备份的目录和文件是有选择的所以备份点多,数量大,备份耗时,管理难度大,因此实现起来有一定的难度。随着信息技术的不断发展,各部门对数据安全、存储能力方面提出了更高层次的要求。在我校的学工系统、教务系统、综合信息门户系统等一些系统中,对他们来说很多产出的数据、资料都和全校教学管理运行密切相关,大部分教学、行政管理资料都需要每天对相关数据进行更新,若采用传统备份方式,在断电、断网或是硬件损坏的情况下,很难保证数据的完整性,损失也是无法快速恢复的,这就体现出云存储同步数据的重要性。
3 构建校园网文件存储的云存储系统
文件存储系统通常通过提供一些文件访问接口来实现目录与文件操作、文件访问、文件访问控制功能。对海量的非结构化数据进行处理时,非常适合使用文件存储的云存储系统来进行管理。云存储系统中可以提供文件存储的系统有两种类型:一种为:软硬件一体解决方案;另一种为:软硬件分离解决方案。第一种方案是基于X86硬件,通过专有的、定制加工设计的硬件组件,与自身分布式文件系统集成在一起,从而达到目标设计时的性能和可靠性目标;第二种方案将软件、硬件分开进行部署,基于开源的分布式文件系统,对外提供可控的存储资源,此方案可采用标准服务器硬件。
基于以上两种方案本文作者认为针对校园网内文件管理的特点与需求,可以采用软硬件分离的分布式文件系统。分布式文件系统应用较为广泛,其中,以开源的 HDFS和Google的 GFS最具体要求代表性,另外 Facebook、淘宝、腾讯等均开发了自己的分布式文件系统,用于管理其Blog、相册等数据信息。由于这类系统以自用技术或开源产品为主,因此,没有统一标准,成熟商用产品也很少,真正应用于商用领域较少。
HDFS(Hadoop)分布式文件系统是适合在通用硬件上运行的分布式文件系统。它在具备其它分布式文件系统所共有的特点外,HDFS分布式文件系统自身的特点与其它系统的区别也是很明显的。HDFS系统具备高度容错性,在廉价的机器上进行部署运行也很稳定。HDFS放宽了一部分POSIX约束,实现了文件系统数据的流式读取,因此,HDFS提供的数据访问可提供高数据吞吐量,在大规模数据集上进行应用非常适合。我校目前就使用这种方式进行文件分布式管理,即采用单一主控机加多台工作机的模式,存储系统全部元数据以及由数据的分布、复制、备份决策的实现由主控机负责,工作机在存储数据的同时,接收主控机的指令,并根据指令进行数据存储、数据迁移和数据计算。对数据分块和复制使得HDFS具备了更高的可靠性。校园网数据读多于写,我们针对这一特点,将读服务分配到多个副本所在机器,提高了系统的安全性。HDFS 提供的文件系统按树型结构进行存储,对文件的复制、改名、移动、创建、删除操作以及简单的权限管理类似Linux系统。但为了避免多个用户对同一个文件进行追加,HDFS系统提供对文件的追加功能,因此,HDFS无法提供标准的 POSIX 接口,这也是他功能上的缺失。
软硬件分离分布式文件系统解决方案,构建在标准的 x86 服务器集群之上,采用分布式架构,有效地提高了文件并发读写性能,与软硬件一体设备相比,具有更好的扩展性,同时,可有效降低建设成本,但开源软件本身的成熟度有待验证。
4 私有云存储对文件管控的优势
1)大容量存储、成本低。根据用户需求合理分配存储空间,用户不用担心空间不足。同时可以减少移动存储设备的使用,降低了运行成本。
2)扩展性强、安全可靠。根据不同时期服务器使用人数和空间需求进行扩展存储空间,不影响前端用户的使用。数据同步有效避免了介质存储数据造成丢失损坏的问题,同时对各个服务器采用磁盘阵列和脱机备份方式,保正了云存储的安全
可靠。
3)高效便捷、提高效率。校园内部构建的私有云存储,通过高速局域网提高了访问速度,提高资源利用率,将数据集中起来,用户可以在任何地点,依靠PC或移动设备随时访问数据,实现校园网内资源共享和协同工作,减少了传统的资源交换,降低了数据冗余,提高资源的利用率。
5 结束语
云存储是网络发展的必然产物,丰富了网络的应用。云存储相比传统模式的存储,有着巨大优势,这也是未来计算机存储模式的发展趋势。随着更多学术界和企业对云存储的研究,云存储技术会带给我们的生活更多的便捷,云存储技术也会更加的成熟。由于企业和高校都具有一定的数据私有性,所以私有云在各项工作应用中也将发挥出越来越大的作用。
参考文献
[1]刘贝.汤斌云存储原理及发展趋势[J].科技信息,2011(05).
[2]朱光磊.云存储技术的发展应用趋势探析[J].电脑知识与技术,2011(11).
[3]冯丹.网络存储关键技术的研究及进展[J].移动通信,2009(11).
[4]石利平.浅析基于Web的云存储技术[J].现代计算机专业版,2010.
[5]钱宏蕊.云存储技术发展及应用[J].电信工程技术与标准化,2012(4).
作者简介
赵馨(1974-),女,宁夏大学计算机网络管理中心工程师,研究方向:信息管理。
关键词 校园网;云存储;私有云;文件管控
中图分类号:TP3 文献标识码:A 文章编号:1671-7597(2013)14-0161-02
云存储的概念随着云计算的兴起也变得越来越被受关注。云存储所能提供的数据管理、文件管理和存储管理都非常重要,也具有很大的研究空间。与传统的存储方式相比,云存储有着扩展容量方便快捷、设备升级不中断服务和硬件冗余这样显著的优点。这些不仅能满足用户对存储安全性的要求,而且还能节省资金投入。
1 云存储的概念
云存储是在云计算概念的基础上,延伸出来的一个新概念,它是指通过集群应用、网格技术或分布式文件系统或类似网格计算等功能联合起来协同工作,并通过一定的应用软件或应用接口,对用户提供一定类型的存储服务和访问服务。让云存储成为企业私有云,使得企业能够将资源切换到需要的应用上,根据需求访问备份的数据。它将备份服务器,备份软件、存储设备集合在一起,形成云存储。云存储不是真正意义上的存储,而是一种服务。对使用者来说,云存储就像云状的网络,它不是指某一台具体的设备,而是指由很多个服务器和存储设备所构成的一个集合体。访问云存储中的资源,并不是访问具体的某一台设备,而是将整个云存储系统虚拟为统一的整体,为使用者提供一种数据访问服务。应用软件实现了云存储中存储设备向存储服务的转变,因此,云存储的核心是应用软件与存储设备的结合。所以,云存储不是单纯意义上的存储,而是一种服务。
2 校园网内架设私有云
2.1 私有云
考虑到公共云存储所存在的数据异存安全性、私密文件保护隐患方面的问题、以及校内上网行为管理执行上的需求,云存储作为一种方便快捷的文件备份方式很多企业开始在自己的网络内部架设私有的云,将云存储的服务端部署在校园的内部网络中,服务端的维护与管理可以由学校自行控制,教师及学生可以在授权范围内安全的使用私有的云存储功能。很多在公共云存储服务端无法实现的功能,都能在私有的环境下得到良好的解决。
网内私有云提供文件管控功能对校内文件管理非常重要。文件管控可以实现自动同步,即Windows客户端在指定目录下添加、修改、删除文件或目录,这种状态将会自动同步到云端。如果云端任意一个文件被添加、修改、删除,也会自动同步到当前Windows电脑;同时还可以进行选择性同步,即用户不需要把云端所有的文件都同步到Windows电脑中,可根据需要,在Windows客户端进行选择性同步,或选择一个或多个子目录进行同步;文件管控还可进行文件共享,提供目录共享,用户可在共享目录编辑文件后,自动同步到对方目录中,提供文件外链与文件分享,成员可将文件进行外部分享;快速部署功能可以通过单一安装文件完成,自动获取安装所需信息,无需用户干预;历史版本恢复功能可以对用户多次编辑文件后,根据时间找到以前的版本,并可恢复。
2.2 校园网对私有云存储的需求
全国各大高校都在内部建有局域网,信息安全管理关系着各部门工作的正常进行。我校校园网数据按存储位置有三个组成部分,其一是为各应用系统提供数据支持,存于网络管理中心机房的服务器中;其二是部门应用系统和数据文档资料,存放于各部门服务器中;其三是个人的日常工作文档资料,存放在个人电脑机中。集存于服务器的数据一般都能采取异地磁盘备份的方式确保数据的物理安全。对个人计算机的数据备份有两种手段,一是采用各种移动介质备份,对系统中重要数据进行不定期手工备份,这种方式随机性强不能保障数据安全。另一种就是利用服务器数据备份的方式进行,由于备份的目录和文件是有选择的所以备份点多,数量大,备份耗时,管理难度大,因此实现起来有一定的难度。随着信息技术的不断发展,各部门对数据安全、存储能力方面提出了更高层次的要求。在我校的学工系统、教务系统、综合信息门户系统等一些系统中,对他们来说很多产出的数据、资料都和全校教学管理运行密切相关,大部分教学、行政管理资料都需要每天对相关数据进行更新,若采用传统备份方式,在断电、断网或是硬件损坏的情况下,很难保证数据的完整性,损失也是无法快速恢复的,这就体现出云存储同步数据的重要性。
3 构建校园网文件存储的云存储系统
文件存储系统通常通过提供一些文件访问接口来实现目录与文件操作、文件访问、文件访问控制功能。对海量的非结构化数据进行处理时,非常适合使用文件存储的云存储系统来进行管理。云存储系统中可以提供文件存储的系统有两种类型:一种为:软硬件一体解决方案;另一种为:软硬件分离解决方案。第一种方案是基于X86硬件,通过专有的、定制加工设计的硬件组件,与自身分布式文件系统集成在一起,从而达到目标设计时的性能和可靠性目标;第二种方案将软件、硬件分开进行部署,基于开源的分布式文件系统,对外提供可控的存储资源,此方案可采用标准服务器硬件。
基于以上两种方案本文作者认为针对校园网内文件管理的特点与需求,可以采用软硬件分离的分布式文件系统。分布式文件系统应用较为广泛,其中,以开源的 HDFS和Google的 GFS最具体要求代表性,另外 Facebook、淘宝、腾讯等均开发了自己的分布式文件系统,用于管理其Blog、相册等数据信息。由于这类系统以自用技术或开源产品为主,因此,没有统一标准,成熟商用产品也很少,真正应用于商用领域较少。
HDFS(Hadoop)分布式文件系统是适合在通用硬件上运行的分布式文件系统。它在具备其它分布式文件系统所共有的特点外,HDFS分布式文件系统自身的特点与其它系统的区别也是很明显的。HDFS系统具备高度容错性,在廉价的机器上进行部署运行也很稳定。HDFS放宽了一部分POSIX约束,实现了文件系统数据的流式读取,因此,HDFS提供的数据访问可提供高数据吞吐量,在大规模数据集上进行应用非常适合。我校目前就使用这种方式进行文件分布式管理,即采用单一主控机加多台工作机的模式,存储系统全部元数据以及由数据的分布、复制、备份决策的实现由主控机负责,工作机在存储数据的同时,接收主控机的指令,并根据指令进行数据存储、数据迁移和数据计算。对数据分块和复制使得HDFS具备了更高的可靠性。校园网数据读多于写,我们针对这一特点,将读服务分配到多个副本所在机器,提高了系统的安全性。HDFS 提供的文件系统按树型结构进行存储,对文件的复制、改名、移动、创建、删除操作以及简单的权限管理类似Linux系统。但为了避免多个用户对同一个文件进行追加,HDFS系统提供对文件的追加功能,因此,HDFS无法提供标准的 POSIX 接口,这也是他功能上的缺失。
软硬件分离分布式文件系统解决方案,构建在标准的 x86 服务器集群之上,采用分布式架构,有效地提高了文件并发读写性能,与软硬件一体设备相比,具有更好的扩展性,同时,可有效降低建设成本,但开源软件本身的成熟度有待验证。
4 私有云存储对文件管控的优势
1)大容量存储、成本低。根据用户需求合理分配存储空间,用户不用担心空间不足。同时可以减少移动存储设备的使用,降低了运行成本。
2)扩展性强、安全可靠。根据不同时期服务器使用人数和空间需求进行扩展存储空间,不影响前端用户的使用。数据同步有效避免了介质存储数据造成丢失损坏的问题,同时对各个服务器采用磁盘阵列和脱机备份方式,保正了云存储的安全
可靠。
3)高效便捷、提高效率。校园内部构建的私有云存储,通过高速局域网提高了访问速度,提高资源利用率,将数据集中起来,用户可以在任何地点,依靠PC或移动设备随时访问数据,实现校园网内资源共享和协同工作,减少了传统的资源交换,降低了数据冗余,提高资源的利用率。
5 结束语
云存储是网络发展的必然产物,丰富了网络的应用。云存储相比传统模式的存储,有着巨大优势,这也是未来计算机存储模式的发展趋势。随着更多学术界和企业对云存储的研究,云存储技术会带给我们的生活更多的便捷,云存储技术也会更加的成熟。由于企业和高校都具有一定的数据私有性,所以私有云在各项工作应用中也将发挥出越来越大的作用。
参考文献
[1]刘贝.汤斌云存储原理及发展趋势[J].科技信息,2011(05).
[2]朱光磊.云存储技术的发展应用趋势探析[J].电脑知识与技术,2011(11).
[3]冯丹.网络存储关键技术的研究及进展[J].移动通信,2009(11).
[4]石利平.浅析基于Web的云存储技术[J].现代计算机专业版,2010.
[5]钱宏蕊.云存储技术发展及应用[J].电信工程技术与标准化,2012(4).
作者简介
赵馨(1974-),女,宁夏大学计算机网络管理中心工程师,研究方向:信息管理。