【摘 要】
:
在企业、政府中存在大量不同时期、由不同厂商、在不同平台上建设而成的系统,由于缺少统一规划和标准,彼此之间很难实现信息共享,形成了大量孤岛式的业务应用系统。因此,如何
【出 处】
:
中国科学院研究生院 中国科学院大学
论文部分内容阅读
在企业、政府中存在大量不同时期、由不同厂商、在不同平台上建设而成的系统,由于缺少统一规划和标准,彼此之间很难实现信息共享,形成了大量孤岛式的业务应用系统。因此,如何在各个信息系统之间建立统一、规范的接口,实现对分布、独立、异构数据的交换和共享,已经成为新型信息化应用的主要工作重点。
数据交换共享平台的产生正是针对上述需求,它基于统一的中间件平台,通过提供前置节点代理部署在应用系统上实现数据抽取、转换,并将数据传输到数据共享中心,由数据共享中心对分散的数据进行统一存储、管理、分发。数据交换共享平台在应用中主要呈现出星形结构的部署方式和交换数据类型多样化的特点,由于有众多的节点要和数据共享中心进行大量的数据交换,这给其在数据吞吐量和可靠性方面带来了巨大挑战。
为满足数据交换共享平台大数据量存储和多连接并发数据传输的需求,本文提出了一个基于HDFS的架构。在该架构中,数据交换过程被分解成元数据交换和数据文件交换两个过程,通过将数据交换请求分流到集群中的各个存储服务器上,实现数据文件的分布式、可靠存储。同时,针对数据交换共享平台的应用场景,本文还使用了基于数据访问热度的动态数据副本管理技术,动态调整热点数据的副本数,减少热点数据交换的消耗时间;面向小文件的索引优化机制,提高小文件交换效率;数据交换故障恢复机制,使得数据交换的可靠性和效率得到提高。
最后,论文给出了HDFS数据交换共享平台的设计与实现,并进行了相关实验验证了该系统的实际性能。
其他文献
本文针对在桌面虚拟机办公环境下启动应用软件响应时间过长的问题,提出一种利用固态硬盘高速缓存来改善虚拟机响应时间和交互性的方法。在传统磁盘和内存之间添加固态硬盘高
Maze是教育网内有着众多用户的P2P共享软件,由北京大学网络实验室于2005年发布,本文主要是针对Maze在系统架构上的单点失效风险以及资源索引时效性缺失的问题,设计并实现了一
函数库是一组目标文件的集合,它们被包含到需要链接它们的程序中。它为软件开发和程序运行提供丰富的库函数,成为计算机系统的重要组成部分。随着计算机系统的不断发展和应用领
分子表面对分子建模和蛋白质分子特性的研究有着重要作用。国外对分子表面计算和可视化的研究已经持续了30多年,然而目前国内还少有这方面的工作。自主研发的三维可视化软件Gr
实时嵌入式系统具有微型化、紧耦合、低功耗、专用性等特点,在规模、结构、能耗、配置等方面对实时嵌入式软件提出更高要求。同时,实时嵌入式软件往往需要满足实时性、安全性、
纵观计算机科学和技术发展的历史,可以发现计算模式已经经历了主机计算、桌面计算和普适计算三个时代。由于人类对生产效率、生活质量的不懈追求,人们开始希望能随时、随地、
信息技术的发展和普及,使越来越多的儿童有机会使用计算机,计算机的恰当使用能够指导和帮助儿童提高其认知及创造能力。编程过程可以有效地提高儿童的逻辑思维能力、想象力和
随着多核系统、集群、云计算等技术的发展,虚拟化技术在应用中体现出来的优势也日益显著,但同时虚拟化环境中的安全可信问题也面临着很大的挑战。
本文对虚拟化环境中的
随着集成电路制造工艺的不断发展,NAND Flash因其非易失性、低功耗、低成本、大容量等特点被广泛应用于各类嵌入式系统中,而设计一款通用、高效的NAND Flash控制器,开发相应的设
头发作为人体的重要特征,对于真实的表示三维虚拟人物起着不可或缺的作用。真实感的头发模拟是计算机图形学中的研究热点,并有着广泛的应用,例如:化妆造型、三维电影和虚拟游