基于Hadoop的微博推荐系统的设计及实现

被引量 : 8次 | 上传用户:woodma
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博是一个拥有庞大用户群体和海量数据的社交网络。以新浪微博为例,目前的注册人数已经超过2.5亿,每天大约会有1亿条左右的微博内容产生。面对如此庞大的信息会让用户感到非常茫然,如果有一套系统来给用户推荐一些他可能关心的人或者热点新闻,那么即可以帮助用户快速建立起社交圈子,又可以让用户更高效的使用微博。本文研究了基于Hadoop的微博推荐系统的设计及实现,主要工作如下:首先分析了个性化推荐系统的研究进展,并分析了系统相关技术,包括Hadoop分布式计算框架、NoSql数据库、分词技术和聚类推荐算法等。其次,针对微博的特点,从数据预处理、分析、存储和展示的步骤入手,给出了微博推荐系统的框架设计,包括数据收集,数据处理,数据展示三个子系统:其中数据收集子系统包含爬虫、ETL和MongoDB三个模块;数据处理子系统包括关键词推荐、用户推荐和微博推荐三个主要模块;数据展示子系统有用户管理、关键词推荐、用户推荐、微博推荐四个关键模块。以及数据处理中所用系统表的设计。基于Hadoop平台,设计并实现了相应的模块。最后搭建了基于Hadoop的测试平台,对平台进行了性能测试,并对数据抓取,分析,推荐结果等关键阶段进行了分析和验证,结果表明系统达到了设计要求。该系统采用分布式架构设计,可靠性高,可扩展能力、计算能力强,适合对海量微博数据的离线快速处理。可以帮助微博用户更方便的使用微博,增加系统对用户的粘度,同时可以给企业或者科研工作提供及时准确的数据支持。
其他文献
目的 探讨小儿乳糜胸的护理。方法 回顾 2 0例患儿均采用胸腔引流、禁食、胃肠外营养等护理方法 ,6例还给予胸腔内给药闭瘘护理。结果  2 0例乳糜胸中 ,经引流、禁食、胃
目的:本课题采用博莱霉素所致的大鼠肺纤维化模型,研究丹贝益肺方对肺纤维化大鼠肺系数、肺组织病理形态的改变及对肺纤维化大鼠血清中IL-4、IFN-γ含量的影响,为评价丹贝益肺方
<正>新型城镇化是生态文明建设的重要载体,生态文明是新型城镇化的重要标杆。进入新世纪特别是近几年,苏州市吴江区把握新机遇,适应新常态,着力推动新型城镇化与生态文明融合
阐述了某公路特大桥边跨现浇段支架方案设计和优化,指出在确定一个设计方案时需要考虑多方面的因素,如:材料的成本、施工难易程度、施工工期等,为同类公路特大桥边跨现浇段支
中学生的德育问题一直是国家及社会关注的重点话题,青少年的道德水平决定整个民族的未来。德育不能仅依赖于思想品德课来完成,学科教学应与德育相结合。初中音乐教学中同样蕴含
<正>杭州钢铁集团公司董事长、党委书记童云芳有一条语录可谓掷地有声:"凡要做成功一件事,有三个环节是不可或缺的:一是想干,二是敢干,三是会干。不想干就没有积极性,不敢干
目的了解支气管哮喘患者对吸入激素类药物的使用情况,探讨影响成年支气管哮喘患者吸入激素类药物治疗的依从性相关因素,从而为进一步如何控制并逐渐提高哮喘患者控制率奠定基础
随着中国经济的快速发展,人们的生活水平显著提升,对于日常纺织用品也有了更多更高的需求,而且这些新需求来自于民用和军用两个领域,防寒服就是其中之一。传统的防寒服中采用的保