【摘 要】
：
伴随着大数据时代的到来,天文观测数据的规模也取得了显著增长。来源于500米口径球面射电望远镜（Five-hundred-meter Aperture Spherical radio Telescope,FAST）的射电天文数据规模庞大,结构和特征复杂,为天文观测系统中数据的存储、分析和传输过程带来了严峻的挑战。面向FAST天文观测数据进行定制化的压缩算法设计和系统实现,能够针对性地改善数据压缩的质
论文部分内容阅读
伴随着大数据时代的到来,天文观测数据的规模也取得了显著增长。来源于500米口径球面射电望远镜（Five-hundred-meter Aperture Spherical radio Telescope,FAST）的射电天文数据规模庞大,结构和特征复杂,为天文观测系统中数据的存储、分析和传输过程带来了严峻的挑战。面向FAST天文观测数据进行定制化的压缩算法设计和系统实现,能够针对性地改善数据压缩的质量和性能,显著提高天文观测系统中的数据处理的效率,具有重要的研究价值和意义。本课题以FAST射电观测数据为研究对象,完成了压缩算法设计与实现的完整过程。本文首先阐述了压缩算法的经典理论和设计思想,并具体讨论了LZ系列无损压缩编码算法和SZ有损压缩编码[5]。依据天文数据特征分析的结果,本文面向无损压缩和有损压缩标准,分别提出并优化了基于移位运算的无损压缩预处理算法和基于整数小波变换的有损压缩预处理算法,并将预处理算法与相应种类的压缩编码算法结合,设计了完整的无损和有损压缩算法的具体流程,并进行了软件实现。相比不采用预处理算法的现有压缩算法,本文设计的无损压缩算法能够取得最高达到30%的压缩比提升,有损压缩算法能够取得平均超过30%的压缩比提升。接下来,本文采用OpenCL异构计算框架对于无损压缩预处理算法进行了系统设计,并分别在CPU架构和GPU架构下进行了算法实现。相比传统架构软件算法实现的运行结果,基于不同异构平台的算法实现能够取得不同程度的性能提升。
其他文献
工作流技术是一种起源于办公自动化系统的技术。作为过程自动化与协同技术的一种,工作流技术已经在很多领域（如金融业、制造业、科学界等）得到广泛的应用。为了提高工作效率,许多业务过程都会采用工作流技术,其关键是应用计算机技术把业务过程抽象出来,建立对应的工作流模型来实现自动化处理。随着云计算的发展,服务架构从传统的平台即服务（Platform as a Service,Paa S）慢慢演变到无服务器（以
面对爆炸式增长的学科信息以及相关的文献资料,科研工作者亟需构建系统且完善的领域型学科知识图谱,从而高效应对海量数据,快速获取有效信息,精准快速把握核心知识点。目前学科知识图谱的构建多从文献计量学角度,分析学科知识的统计学特性,基于关键词完成信息挖掘。另一方面,自然语言处理技术（Natural language process,NLP）作为一种新兴的文本挖掘方法,能够快速提取学科文献中的核心内容。本
近年来,粗粒度可重构阵列由于其能够在特定应用领域实现高能效而受到广泛关注。粗粒度可重构阵列通过主核传递的任务信息进行配置,利用可重构的处理单元和互联实现不同应用所需的计算功能。随着领域和规模的不断扩展,应用的数据流图变得愈加复杂,导致在大规模阵列空间结构上的映射变得更加困难。在阵列执行过程中,数据流由于受到控制、访存等因素影响,具有不同的执行速率。这些不同速率的数据流在阵列空间结构上的耦合同步导致
随着交管信息系统数据量增长,亟需从Oracle数据库切换到分布式数据库,切换过程中首先面临的是历史数据的迁移。由于系统允许的停机升级时间较短,待迁移的数据量大,主要面临以下两个问题:一是海量异构数据,历史数据和实时数据都要迁移,传统的迁移方案脚本执行失败高、传输时间非常长;二是数据安全性、一致性无法保障,数据传输时数据容易丢失,传输文件未加密。针对以上问题,本文提出了一种实现跨平台,整合异构数据的
近几年来,随着各项行业和产业信息化的发展,大量的依托计算机和网络技术的信息系统成规模的投入使用。能够方便快捷的传输文字、语音、视频流、文件等信息的通用IM软件,例如:腾讯开发的QQ、微信等,也被广泛地用来满足办公通讯需求。这些产品在一定程度上满足了基本的通讯需求,但其功能设计对于政府部门所需,依旧存在相当的差异。由于客观实际,政府部门需要在确保安全的情况下,使用一套专门设计的IM通讯系统来应对自己
排列3彩票具有奖组小、几率大、奖金高的特点,受到广大彩民的欢迎和喜爱。由于排列3为单注固定奖金,为了确保彩民利益以及单注奖金不减少,排列3施行了“限号”政策。针对限号问题以及购彩软件的安全性攸关的特点,我们研究和开发了一款排列3购彩系统。系统采用B/S架构,由客户端和服务端组成,本文负责基于Android的客户端APP的研发,实现了充值、提现、购彩、追号、预约投注、迭代预约等功能。它既能实时接收到
作为新一代驾驶辅助技术的核心,融合算法借助感知传感器和控制器实现了车外目标的精确定位和分类。这些目标信息帮助整车控制系统实现了车辆的安全行驶。融合算法作为一款嵌入式算法软件,在测试阶段通常使用硬件在环（Hardware In The Loop）（简称HIL）测试对它的功能进行验证和评估。传统的HIL测试使用昂贵的软硬件来模拟各种路况,这些路况最终被转化为传感器的电气信号用以模拟实际的感知数据并与控
输卵管是女性子宫与卵巢之间的一对弯曲细长的肌肉管道,在生殖方面起到重要作用。然而,目前常见的输卵管临床检测手段为影像学检查、输卵管镜检查与血清CA125水平检测,这些方法无法实现输卵管内壁在体高分辨率三维形态结构实时检测,对输卵管的深度病灶无法实时在体观察。针对以上不足,本课题对光学相干层析（Optical Coherence Tomography,OCT）内窥系统进行优化设计与成像实验研究。OC
随着云计算的蓬勃发展,越来越多高性能、高价值的数据和应用被迁移到云端。目前,云端采用虚拟机和容器两种技术来隔离不同用户的不同应用。相较传统虚拟机,容器技术启动速度快,资源利用率高,易于用户部署。容器技术可以使用户专注于业务逻辑而无需考虑系统运行环境等因素,提升了用户效率。与虚拟机拥有独立客户操作系统（Guest Operating System,简称Guest OS）不同,容器共享主机操作系统,导
随着当前面向特定领域加速器设计的快速发展,基于加速器的异构系统是计算架构设计发展的新趋势。但复杂的异构系统对编程方式、任务调度以及处理器和加速器之间的高效交互是一种新的挑战。如何描述主处理器和加速器的计算任务,降低两者之间的数据传输代价,并让处理器高效地完成对加速器的任务管理调度是保证异构系统性能的关键技术。此外,在异构系统中,任务调度算法对加速器的利用率有着很大的影响,合适的算法会让加速器更加高