【摘 要】
:
随着互联网的飞速发展,微博作为一种社交媒体已经获得了社会各界的广泛关注。但是如何从海量、不规则的微博数据中高效地提取出有效的信息来进行话题发现,仍然是目前亟待解决的问题。因此,使用主题模型挖掘微博数据的方法得以产生。目前,学者们已经对于主题模型进行了大量的研究,但现有的方法技术仍然存在一些不足,主要体现在:一是计算的复杂度太高,对于大数据级别的微博数据计算的效率不高;二是使用一些主题模型(比如传统
论文部分内容阅读
随着互联网的飞速发展,微博作为一种社交媒体已经获得了社会各界的广泛关注。但是如何从海量、不规则的微博数据中高效地提取出有效的信息来进行话题发现,仍然是目前亟待解决的问题。因此,使用主题模型挖掘微博数据的方法得以产生。目前,学者们已经对于主题模型进行了大量的研究,但现有的方法技术仍然存在一些不足,主要体现在:一是计算的复杂度太高,对于大数据级别的微博数据计算的效率不高;二是使用一些主题模型(比如传统的LDA模型)对微博这种短文把数据进行聚类后的准确度不高等。基于此,本文提出了一种基于Weibo2vec和适合微博数据的聚类方法的新浪微博数据挖掘方法,在保证计算微博数据效率的同时,提高微博数据挖掘的准确度。
本文对Weibo2vec主题模型的微博数据挖掘方法进行了研究,研究内容主要分为微博数据的预处理、Weibo2vec建模、适合微博的聚类方法三个部分。其中,微博数据的预处理包括分词、去停用词、删除噪音数据等过程,并将预处理的结果存入PostgreSql数据库,作为下一步主题建模的输入。在Weibo2vec建模过程中,首先对数据预处理的结果进行不断地迭代,得到文档矩阵、词矩阵、用户矩阵和时间矩阵。然后选取适合微博的聚类方法对建模结果进行聚类分析,最后采用准确率、召回率和F1值对实验结果进行分析评价。使用Weibo2vec主题模型进行建模的方法避免了微博数据稀疏性的缺陷,且模型产物包括用户的向量表示和时间的向量表示。
通过实验,本文对Doc2vec主题模型和本文提出的Weibo2vec主题模型的微博热点话题发现效果进行对比分析,以两个主题模型的准确率、召回率和F1值为对比分析的依据,发现本文提出的Weibo2vec主题模型在各个评价因素中都优于Doc2vec主题模型的微博热点话题发现效果,从而证明了本文使用的主题模型对微博数据进行建模和聚类方法的有效性。
其他文献
银行业是与大众经济生活关系最紧密的行业,银行业的不稳定将会导致整个金融行业出现问题。根据国际货币基金组织对其189成员国从1980年以来的银行数据进行统计,一共有133个国家遭受过严重金融问题或金融危机的侵害,占所有成员国的70.37%。在最为典型的108起金融问题或金融危机中,确定是由银行业不良资产导致的就有72例,占比66.67%由此可见研究银行业不良贷款率的影响因素,分析各个影响因素的作用机
近年来,文化传媒行业受到国家政策红利导向的支持,已经迎来其重要发展的新机遇。作为第三产业的领头羊,文化传媒行业正在弯道超车,不断提升在我国市场中的地位。然而由于文化传媒行业的历史原因和其特殊属性,以常规渠道上市比较困难,因而越来越多具有发展潜力的企业把目光投向了借壳上市,试图以此种间接的上市手段来实现融资和企业的快速发展。然而此种方式也存在一定的风险和弊端,不是所有的企业都适合借壳上市,上市后其业
中国商业银行竞争环境的变化会对实体经济中企业的创新行为带来哪些影响既是一个关系到国家经济发展模式从要素粗放型转向创新驱动型的问题,又是一个事关未来国家金融体制改革方向的重要问题。在这种背景下,本文结合“十三五”规划,将国家战略新兴产业中的文化传媒产业作为研究对象,探究近年来我国商业银行竞争环境的变动对该类企业创新行为的影响。本文采用2011年至2016年13家国内最主要的全国性商业银行的每年行业集
网贷基金产品作为我国近几年新兴的网贷金融理财产品,从上线之初就受到了投资者青睐,发展势头强劲,在短时间内实现了市场的高速扩张。基金风格是广大投资者进行高效、便利化投资的重要参考,是基金产品管理者实现产品量化控制的重要工具。 本文首先对网贷基金这一新兴行业做出了基本描述,综述了研究基金风格的常用方法并着重介绍了基于投资组合的基金风格实证分析方法,通过对比分析确定了以晨星风格箱方法作为网贷基金风格分
自上世纪九十年代沪深交易所成立以来,中国股市走过了浓墨重彩的二十余年,逐渐发展成熟。股票价格表现是贯穿中国股市发展始终的热点问题,吸引着大量的研究关注。2016年随着IPO提速和医改新政的推出,医药行业俨然变成了资本的宠儿,医改新政推出至今短短不到两年的时间,已有58家医药类企业成功IPO,而新医改推出之前的十年仅有98家医药类企业IPO。在这样的背景下,我们不得不重新审视医药行业IPO定价和后市
共享经济近年来在中国发展迅猛,极大地改变了人们的生活方式。共享经济在中国尚处于起步阶段,但在车辆共享方面发展比较成熟,出现了网络租约车、共享汽车、共享单车、共享电动车等多种模式,网络顺风车就是其中独特的一种模式,但也面临着一些挑战,因针对网络租约车的监管政策的不断出台,提高了准入门槛,导致网络顺风车的数量有所下降,随之而来就导致了价格的上升,从而导致网络顺风车的用户粘性下降,使用人数减少。 前人
随着Web2.0技术的不断普及,弹幕视频逐渐兴起,主流视频网站开始增加弹幕功能,用户越来越依赖于使用弹幕表达意见和情感。弹幕具有互动性强、语言更新快、与视频内容联系紧密等特点,为分析和预测弹幕视频的热度提供了新的特征。目前对于弹幕的研究较多体现在文化传播领域,也有学者从词频统计等角度对弹幕文本进行了初步研究,然而从语义理解尤其是情感分析的角度对弹幕文本进行深入研究的成果较少。 针对弹幕文本的非正
如今,新三板是挂牌公司进行融资的重要平台,同时泛娱乐产业已成为推动我国经济发展的重要力量。然而,目前泛娱乐新三板挂牌公司的融资面临着新三板定向增发疲软和企业利用IP进行融资的意识不明确两大难题。此外,学界对于泛娱乐企业融资能力的研究十分匮乏,仅有的一些模型中,其建模的数据来自于问卷调查与专家打分,缺少客观数据的支撑。 本文研究泛娱乐这一特定领域内新三板挂牌公司定向增发能力的指标体系具有重要的现实
随着社会和经济的不断进步,社会的关联度越来越高,任何局部危机都有可能造成整个社会的危机。危机情境是指一种低概率发生、具有严重威胁的不确定性情境,在给定时间内,人员必须解决该事件的紧急情况。面对危机,人员如何快速、高效解决危机迫在眉睫;此时,团队模式受到学者们的关注。团队是一些为了共同目标而奉献自己的少数人的集合。团队成员为实现共同目标而通力协作。 在危机情境中,团队如何做出高效、正确的团队决策,
在线音乐平台是拥有网页端和移动端的在线音乐媒体平台,与人们的娱乐生活联系密切,随着我国对于音乐版权保护法规的不断健全,在线音乐平台在逐步丰富音乐资源和拓展用户规模的同时,也在不断实现从免费模式向付费模式的转型。在线音乐平台付费资源与付费服务类型呈现增长态势,用户对于在线音乐平台的使用行为频率提高,网民尤其对于移动设备收听音乐十分青睐,虽然在线音乐平台盈利收入中用户付费收入所占的比例逐渐增加,但是用