CPU/GPU平台下分布式集合求交算法的研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:typhoon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网迅速膨胀所带来信息大爆炸使得现代搜索引擎正面临前所未有的性能挑战,每天约有数百亿条用户查询请求需要处理。作为搜索引擎处理用户查询的核心功能――倒排索引交集求取,一直是研究和关注的中心。随着计算机性能的不断发展,CPU从单核朝着多核方向发展。与此同时,受游戏市场的刺激,有着众核之称的图像处理单元(GPU)也飞速发展,逐渐成为高性能计算的研究热点。本文关注将这种新型多核CPU/GPU混合系统应用到倒排索引求交问题中。在对集合求交算法和CPU/GPU混合结构进行研究的基础上,本文给出了多核CPU/GPU平台下集合求交算法,并在由Sogou实验室提供的数据上进行实验验证,系统性能提升良好。本文工作可概括为以下几方面:首先,分析当前应用于CPU端集合求交算法和试验数据一般特性,然后综合几种快速的搜索和求交算法作为本文CPU端集合求交算法。试验结果显示集合求交速度有一定提升。其次,根据CUDA计算模型,在CPU端对数据搜索区间进行划分,然后由CPU将划分结果传递给GPU进行运算。CUDA中每个块的平均搜索范围急剧减少,从而在整体上大幅提升GPU端集合求交性能。第三,分析CPU和GPU共同计算倒排索引交集时的性能瓶颈。搜索引擎中倒排索引求交为数据密集型计算,经验证数据传输占用大量时间,因此文中采用流水线作业方法将传输延时和CPU端计算时间隐藏于交集计算过程中。最后,考虑到每个GPU只需一个CPU内核与之进行通信,CPU中其余内核计算资源将被浪费掉。为此文中采用并行编程将多核CPU的空闲内核充分利用起来进行集合求交运算,此部分内核贡献出很可观的计算能力。本文成功地将多核CPU/GPU混合平台应用于搜索引擎倒排索引求交算法上,大幅提升系统计算性能,对集合求交和通用GPU计算都有一定的参考价值。
其他文献
随着信息技术的发展,人们从科学实验和生产实践中获得的三维体数据越来越多,体数据可视化的需求也日益增长。直接体绘制是体数据可视化的重要方法之一,将体数据中的体素映射为颜
由于自然因素和人为因素的影响,我国古建筑已受到了严重的破坏。为了平衡旅游经济的发展和文化保护的要求,通过对古建筑的虚拟三维建模来模拟其真实场景已经得到了广泛应用。纹
信息技术的飞速发展和互联网的广泛普及使得人们越来越容易地得到信息。然而,互联网的信息往往是包括各个行业的文本数据,为了高效地获取相关类别的中文文本信息,有必要对中文文
近年来自然灾害频发,灾难所带来的危害严重影响到人民的生命和财产安全,引起了全社会的广泛关注。RoboCup救援仿真系统通过计算机模拟现实中的城市灾难场景,通过仿真机器人来完
本课题系国家科技重大专项项目"TD-SCDMA行业信息化应用方案开发与产业化”。随着3G技术的不断成熟,3G视频应用变得越来越广泛。但是由于无线网络的开放性,给信息安全以及内
近年来有不少学者对图像配准技术进行研究,并提出了一系列相关算法。其中ASIFT算法被证明是具有完全的仿射不变性的图像配准算法。相对于经典的尺度不变的SIFT算法,ASIFT算法
随着计算机及网络技术的快速发展,对重要而敏感信息的保护受到高度的关注。门限签名是现代密码学的重要分支,在保证数据的完整性、私有性等方面有着极其重要的作用。门限签名可
胎儿心电(Fetal Electrocardiogram:FECG)中包含着大量的生理信息,能够直观的反应围产期胎儿的生长发育和健康状况,达到对疾病及时发现、及时治疗的目的。目前FECG的主要检测
流形学习方法的研究逐渐成为了机器学习领域里的一个重要分支。针对图像特征流形的问题,本文提出了图像特征流形的谱估计学习框架,包括:(1)分析了图像流形拓扑不变性的相关谱
随着计算机技术的不断发展,软件测试渐渐成为一项耗费大量资源的活动,因此人们一直在研究使用何种方法来降低软件测试的成本。经验及实践表明,组合测试是一种实际而有效的测