空间数据分布式管理关键技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:yidehua_2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
空间数据(spatial data)是一种典型的多维度数据(multi-dimensional data),与传统的字符数字型数据(alphanumeric data)的显著区别在于空间(多维度)数据通常具有更复杂的结构和更大的数据集合,并且在应用领域上空间数据与传统数据也有较大的区别。这些显著的差异使得传统数据存储管理和查询处理机制无法较好地应对空间(多维度)数据管理的需求。考虑到不同应用领域更大规模的数据查询处理和存储管理的应用需求,在“十一五”863项目“基于先进计算架构的高性能空间分析中间件”和“基于新软硬件体系结构的网络地图服务器关键技术研发”的支持下,本文研究分布式环境下空间数据存储和查询处理技术,具体包括:分布式环境下的空间数据索引,分布式文件系统数据传输协议,高效空间查询算法等方面的内容。论文的主要贡献和创新点如下:   1.提出了一种高效的空间数据查询处理算法。该算法用于解决当两个查询数据集合相同时的全局最近邻(All-k-Nearest-Neighbors,AkNN)问题。不同于现有算法采用的直接遍历索引结构来获得结果,该算法分为两个阶段,在第一阶段计算局部的近邻(Nearest Neighbors,NNs)结果,然后根据第一阶段的NNs结果获得第二阶段全局查询的搜索空间。同时,为进一步提高算法效率,还提出优化策略来降低算法的I/O和CPU开销。与其他算法相比,该算法极大地提升查询处理效率和性能。实验和分析表明该算法可以高效地加速查询处理的过程,在最优的情况下,查询处理过程中的磁盘开销可以降低75%,整体查询时间可以降低60%。同时该算法可以将计算过程和MapReduce计算框架结合起来,实现算法的并行化。   2.提出并实现了针对分布式文件系统数据随机访问的协议。针对随机读取过程中所读取的数据长度变化导致的传输浪费,该协议采用允许用户在连接初始化过程中配置传输数据块(PACKET),设置最合适的传输数据块长度。引入数据节点阻塞机制避免浪费传输数据和随机读取过程中反复建立TCP连接问题。实验表明该文件传输协议能够有效提升分布式文件系统随机读取的性能,降低了数据传输过程中网络带宽的开销,避免客户端与分布式文件系统的数据节点重复建立连接所导致的开销,从而在整体上保证随机读取过程中高效的数据传输。   3.提出并实现了基于分布式文件系统的空间索引(Spatial Access Methods,SAMs)。该索引结构结合树形(tree-like)索引系统的特点和分布式文件系统的特性,优化索引的物理组织结构,调整节点分布方式,有序化索引节点内部数据,采用分级缓存机制平衡计算节点的负载和性能。该索引结构充分利用分布式文件系统的优势,为用户提供与单机系统上一致的语义,从而可以充分利用现有的空间数据查询处理算法,而不需要针对分布式索引结构重新设计查询处理算法。   4.提出并实现了基于分布式文件系统的空间矢量数据查询处理的框架。该框架以HDFS系统为存储支撑技术,将空间数据和索引文件存储在HDFS中。运行时系统包含了查询处理和索引建立模块,并提供面向索引系统的多数据集缓存管理机制。空间查询处理依托于索引结构或MapReduce计算框架,采用基于规则的方法选择最优的执行方式完成查询处理过程,上述研究成果已应用在织女星地理信息系统中。
其他文献
无线传感器网络是一种集成了传感器技术、微机微电子技术、无线通信技术和分布式处理技术的下一代新兴网络。其在军事、医疗、环境保护等方面的应用也日趋增多,而随之而来的
IT服务管理(ITSM, Information Technology Service Management)是-种以流程为导向、以客户为中心的方法,它通过整合IT服务与组织的业务,提高组织中工T服务的提供能力和服务
随着网络技术的发展,广大读者对数字图书馆的要求越来越高;数字图书馆服务提供方希望用尽可能少个资源提供尽可能丰富、灵活、安全、不间断的服务。基于读者和数字图书馆提供
元建模是构造元模型的过程,用于支持建模语言的开发与演化。元建模工具是辅助这一过程的CASE工具。它不仅用于建立元模型,还应该能够自动生成对应的建模工具代码。目前已有多种
随着互联网的快速发展,网络信息量不断增加,如何从这海量的信息中得到需要的信息就显得尤为困难。通用搜索引擎试图检索更多的网页,同时提供多样化的服务。但面对浩瀚的网页
数控系统高性能现场总线技术是确保数控系统高速、高精、开放式及智能化的关键技术。目前国外的现场总线已形成多家标准和产品竞争与共存的态势,而国内尚无成熟的技术与产品,对
基于移动IPv6的移动互联网是下一代网络的发展方向,为了保证网络安全,对接入用户实施认证、授权和计费(AAA)是一种有效的管理手段,然而,原有的Radius AAA标准协议已不能满足
近年来,点播与定制类业务给运营商和SP提供商带来巨大经济利润的同时也大大方便了用户的生活,用户越来越依赖这种予取予求的信息获取方式,与此同时对信息及时性、准确性等业
智能交通系统(ITS)随着信息技术、通信技术、模式识别和图像处理技术等学科的快速发展,在现实生活中得到极为广泛的应用,使交通管理的智能化、规范化得到了极大地提高。现有
在飞行员飞行培训过程中,飞行模拟器是必不可少的培训设备。它以不受天气影响、不需要保障人员、随时随地都可进行训练、长时间连续工作、以及无飞行事故和节省大量经费等等优