赛博—物理空间中数据分布式聚合与大规模处理关键技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:choww
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
赛博-物理空间作为信息空间和物理空间的融合,可以使得具有信息感知、信息交换以及计算能力的实体根据应用需求互相关联。这种实体间的关联关系涵盖了从物理域、信息域到社会域多维度的信息,具有大规模、分布、动态等多种特性。在这样一种融合空间中开展、开发应用越来越成为科学工作者关注的话题。在赛博-物理空间中,从信息感知的角度来讲,需要面对大规模实体信息及实体间关系的分布式发现及聚合的挑战。这里实体间关系包括了根据应用需求从不同维度进行描述的信息,例如实体在物理空间中的相对位置关系、由和用户相关的社会属性所表达的逻辑关系等。而从信息聚合的角度来讲,需要面对实体及实体间关系动态性所带来的挑战。这里动态性包括实体状态变化、实体位置变化等引起的实体属性值的动态性,以及由此引起的实体间关联关系的动态性等。而从信息处理的角度来讲,需要面对大规模异构数据高效处理带来的挑战,包括特定类型大规模数据处理的设计,以及多样化业务模式对大规模数据处理平台需求方面的设计等。本文从赛博-物理空间应用中如何进行有效的信息聚合和高效的大规模数据处理两个角度展开,研究如何高效地以分布式方式对实体间关系的发现,面向赛博-物理空间中实体及实体间的动态性,研究如何满足应用对实体稳定关系发现的需求,即如何有效构建稳定子网络,针对数据处理需求如何进行特定类型数据处理模型的设计,以及面向多样化业务模式如何进行数据处理平台融合和任务调度优化。本文工作主要分为以下四个方面:1.基于分布式聚合模型的低负载实体关系发现机制:通过建立赛博-物理空间中分布式的关系发现模型,考虑到多重关系同时发现的需求,设计了基于生成树的分布式关系发现算法MSTRD,使得赛博-物理空间中实体间关系从传统的集中式发现转变为分布式发现,同时保证关系发现过程的高效性,即降低关系发现过程的数据传输量和时间耗费。实验结果表明MSTRD方法不管是从关系发现过程中数据传输总量还是时间耗费上来讲都比集中式的处理方式性能更优,最大数据传输量可节省1/3左右,同时在极端情况下可节省近一半的时间耗费。2.面向分布式动态聚合网络的稳定子网构建机制:通过建立面向赛博-物理空间中应用的分布式实体模型,设计了分布式的实体集合选择算法MRMC,通过该分布式实体集合选择算法,可以在实体集合规模增长有限的情况下提高实体间关系保持不变的时间RUT,即稳定子网络。大量的模拟实验对MRMC算法进行了正确性和有效性验证,结果表明,MRMC算法可以对实体间关系保持不变时间RUT的提升最大达一倍左右。3.基于矩阵抽象的赛博-物理空间大规模数据处理框架:本文设计了面向矩阵运算的通用计算框架Matrix Map,构造了横跨内存和外存的可扩展的数据结构块式键值矩阵BKM,设计了针对算法并行性的数据重组和异步计算的优化策略,以及针对通用矩阵运算的一元、二元操作符。实验结果表明,针对一些常见的图处理算法,Matrix Map比Spark等流行系统在处理速度上最多可以快10倍左右。4.面向赛博-物理空间应用多样化业务模式的大数据平台融合技术:针对大数据处理平台的多样性和繁杂性,通过分析当前主流大数据处理平台的优劣,提出了对不同大数据处理平台进行融合的方案,设计了针对不同数据处理任务在融合系统内的调度框架,设计了基于遗传算法的任务分簇和调度优化策略MMRC,进而提高数据处理效率、降低资源耗费。模拟实验结果表明,和单一系统处理相比,MMRC方法可以对任务的处理时间减少10%左右,资源耗费仅占所有节点资源30%左右。通过上述四个方面的研究,我们可以在很大程度上对赛博-物理空间中应用提供基础性支持,可以为赛博-物理空间中应用的拓展提供有效地支撑。
其他文献
为了实现党在新形势下的强军目标,加速推进院校教学工作向实战聚焦、向部队靠拢,"通信原理"课程建设以"着眼实战化教学转型,强调理论与装备融合,突出信息指挥能力"为理念,具
以玉米为实验材料,研究不同浓度的油菜素内酯(BR)、拉肖皂苷元(LA)及拉肖皂苷C(IG-C)对玉米种子萌发及幼苗生长的影响。结果表明,不同处理浓度对玉米种子萌发及幼苗生长有显著差异,浓
随着移动机器人的广泛应用,其种类与应用环境在不断增加,正逐步从室内环境向室外环境扩展。对于在室外工作的自主移动机器人,包括无人驾驶汽车,能够具有良好的环境感知和场景
党中央关于大学生思想政治教育的目标对加强和改进独立学院学生思想政治教育提出了紧迫要求。独立学院学生党建和思想政治理论课教学作为思想政治教育的两种方式,有机地结合
水下图像在水下探测中具有重要意义,通过对直观图像的研究可以获得各种未知环境的信息。由于水下信道环境复杂,以及水下图像成像设备的特性导致了成像结果对比度低、图像质量
基于第十三次中国私营企业调查数据,报告回溯2008—2018年中国私营企业履行企业社会责任状况,对其发展趋势进行了描述性统计和分析。报告发现,过去10年,私营企业在员工权益、
设计了风洞内支架式三自由度频率可调的弹簧悬挂装置,针对D形覆冰六分裂导线节段气弹模型分别在3种典型风攻角下进行了5种竖/扭自振频率比的变风速舞动试验,通过单目测试技术
近年来,随着信息技术的飞速发展,互联网中的图像、音视频、文本以及生物信息数据往往呈现高维特征,这种高维度输入数据往往会导致现有机器学习模型性能大幅下降或不适定问题