动态异构数据分布式处理与特征提取

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:wuchen112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的发展和智能终端的普及,可收集的数据以前所未有的速度增长。数据量的剧增给分析和处理带来了前所未有的挑战。如何高效地处理大量数据,以及提取数据中的特征信息成了目前的一个研究热点。分布式处理已经成为一个流行的大数据分析工具,许多相关问题要求人们根据需求来实现合适的分布式算法。本论文重点研究了两个与大数据相关的问题,分别针对动态的在线社交网络信息传播与在线用户行为特征。经过分析,我们实现相应的分布式解法。在线社交网络的普及使得信息传播变得迅速。在本文的研究中,我们重点关注如何在有限的成本限制下选取合适的信息传递点,使得信息的影响力最大化。经过对异构的网络数据进行分析,我们提取了其中的关键网络动态特征,并明确了优化问题。针对网络的动态性,本论文利用递进式的社区发现来划分网络,同时提出了动态选取节点的算法来跟踪网络的实时变化,使得信息传播在不同的条件下都得到影响力优化。实验显示动态的算法能够更好地利用实时的信息传播状态来推广信息。在线的时序行为数据能够表现出用户的兴趣。论文重点研究了一个公开的电子商务数据,对超过千万的用户点击行为与购物记录建立联系。通过对数据的基本统计分析,本文获取了一些重要的行为特征指标。根据这些指标,本文提出了一个含有隐变量的图模型,旨在刻画出用户在线浏览商品时的动机和心态,然后来预测其购买具体商品的概率。实验证明该模型相比经典的算法有更高的精确度和鲁棒性。
其他文献
随着移动通信技术的快速发展,智能终端功能越来越丰富,逐渐取代传统计算机称为新一代的数据处理平台。Android系统是智能终端系统中占比最大最受欢迎的系统,而且正逐渐开始影
社会主义教育运动是我国20世纪60年代初开展的一场以“反修防修”为宗旨的政治运动,运动以解决当时农村广泛存在的干部作风问题为初衷,但在多方因素的影响下,最终走向了“左
目的:贝尔麻痹(BP)是一种特发性周围面神经瘫痪,大部分患者面神经功能可获得完全恢复,但仍有一部分患者在积极药物治疗后仍有可能遗留面瘫或出现面肌痉挛。在贝尔麻痹起病早
背景帕金森病(Parkinson’s Disease,PD)是一种常见的神经系统退行性疾病。目前该病的病因与发病机制尚不完全清楚,多数学者认为PD的发生是遗传与环境因素相互作用的结果,其
本文研究了图的几类能量的界.分别为双星图的拉普拉斯能量与拟拉普拉斯能量的上界,以及一般图的无符号拉普拉斯能量的界,图的距离能量、距离拉普拉斯能量以及距离无符号拉普
地震体可视化作为石油勘探中非常重要的技术,辅助该领域人员进行地质的探索分析。其中三维层面模型作为关键的分析对象,支持地质层位的提取、显示和预测等工作。而大规模地震体通常需要进行多分辨率可视化,使得贯穿于整个体空间中的层位也要面对分块组织的数据空间。如何对层位进行交互式地快速提取与可视化成为亟待解决的问题。本文面向普通计算平台,针对大规模多分辨率地震体,对于给定网格的层位提出了基于多层级优化的快速生
随着社会的不断发展,因环境保护而产生的清洁能源需求越来越大。天然气作为清洁能源之一,国内近两年的需求量增长速度超过20%,发展潜力巨大。经过多年的勘探,三湖坳陷北斜坡蕴含丰富的天然气,且以生物成因天然气为主,由于其埋藏深度浅、单井产能高、经济效益好,成为国内天然气勘探的主战场之一。由于三湖坳陷北斜坡的天然气为生物成因气,气柱高度较大,导致地震剖面上存在大量的气囱现象,而气囱范围内地震波成像效果差、
石墨烯(Graphene)是由碳原子构成的似蜂窝状的片层晶格结构,是组成其他碳族材料的基本构型。由于其具备优异的热、光、磁、电以及力学特性,近年来有关石墨烯结构型与功能型聚
疾病的发生通常都伴随着相关分子、细胞以及组织的异变,在疾病初期往往可以观察到生物组织异变。从组织异变的发现到确定是否为疾病则需要科学的诊断分析,面对疾病,早发现早确诊早治疗,是最好的处理方式。现如今,拉曼光谱技术已经在分析生物组织和样品中发挥越来越重要的作用,从分子水平上判别组织异变从而诊断疾病将成为一种新的医学诊断方法。本文将实验论证拉曼光谱用于探测和区分结直肠异变及乳腺癌的能力;设计一款可内窥
传染病是由病原体引发的,可直接或间接地从一个人传播到另一个人,它已夺去不计其数的生命,威胁着全人类的生命健康安全。据柳叶刀杂志的重要研究显示,2017年传染病、孕产妇和