【摘 要】
:
在数据规模呈现出指数增长趋势的今天,如何借助数据挖掘技术从海量数据中快速准确地抽取最精简、最有价值的信息,已经成为当前的研究热点。同时,如何利用数据挖掘技术来提高推荐系统的推荐准确度也成为了重要课题。本文重点对模糊聚类算法及其在协同过滤推荐中的应用进行研究。首先以提高模糊聚类算法的效率为目标,利用大数据处理平台Spark的特点进行了模糊聚类算法FCM的并行化方案设计与实现,该方案用HDFS对底层数
论文部分内容阅读
在数据规模呈现出指数增长趋势的今天,如何借助数据挖掘技术从海量数据中快速准确地抽取最精简、最有价值的信息,已经成为当前的研究热点。同时,如何利用数据挖掘技术来提高推荐系统的推荐准确度也成为了重要课题。本文重点对模糊聚类算法及其在协同过滤推荐中的应用进行研究。首先以提高模糊聚类算法的效率为目标,利用大数据处理平台Spark的特点进行了模糊聚类算法FCM的并行化方案设计与实现,该方案用HDFS对底层数据进行分布式存储,用RDD机制进行计算过程中的数据转换,用持久化技术实现中间结果的重用;在KDD CUP99数据集上的聚类实验结果验证了基于Spark平台的并行化FCM算法具有更好的聚类精度和时效性。然后,将并行化的FCM算法与基于用户的协同过滤推荐算法UserCF相结合,设计了融合FCM的UserCF算法,命名为FCM-UserCF算法,该算法首先使用FCM算法将所有用户聚类成几个局部用户群,使UserCF算法查找最近邻居的计算从全局变为局部;用Slope One算法填充用户-项目评分矩阵,以改善数据稀疏性和计算的实时性;用UserCF算法计算用户间的相似度和最近邻,产生预测评分和进行TOP-N推荐;在MovieLens数据集上的推荐实验结果验证了FCM-UserCF算法有效地解决了数据稀疏性问题,提高了推荐的准确度。最后,开发了一个简单的电子商城推荐原型系统,将FCM-UserCF算法应用于该系统的推荐模块。实验与应用结果都体现了本文所做工作的有效性和实用价值。
其他文献
测试是整个软件项目流程中非常重要的环节。在现在的互联网公司中,很多业务服务在不成熟的情况下,给用户提供的服务形态还不稳定,因此需要不断修改上线来完善服务,同时根据用
金属有机配位聚合物在近几年已经成为研究工作者深入探讨的话题,越来越多的配合物框架被争相报道。诸多的文献显示,柔性吡啶鎓盐羧酸类有机配体在合成配合物时,以其灵活多变
再见夏禾是在高中同学的婚礼上.她漂亮了很多,纵然六年未见,我依然一眼就认出了她. “冬雪,好久不见.”我犹豫良久的话,被她抢先说出口,就像当年我们成为同桌,我还没和她打招
研究目的:观察温经通络汤治疗膝骨关节炎(寒湿痹阻证)的临床疗效。研究方法:本研究选取2019年2月至2020年2月于江苏省中医院骨伤科门诊就诊被诊断为寒湿痹阻证膝骨关节炎的患
白云母是工业应用中重要的原料之一,故研究者们围绕白云母的选别进行了大量研究,但已有研究多集中于浮选的应用试验,而关于在油酸钠体系下白云母与调整剂作用机理缺乏系统研
近年来,随着城市化进程的不断加快,我国旅游业得到迅速发展,客流量的快速增长给各旅游景区的环境与安全管理带来了一系列挑战,而精准的景区客流预测预警有助于景区的科学管理,降低密集人群带来的风险。因此,建立准确的客流预测模型与高效的客流预警平台对于旅游发展政策制定、旅游市场资源优化配置、旅游企业战略实施等方面都有着重要意义。针对以往景区客流预测数据源单一,传统时间序列模型对数据分布稳定性的依赖等问题,本
最高人民检察院部署开展“监督维护在押人员合法权益专项活动”以来,湖北省荆州市江北地区检察院秉持检察机关宪法定位,依法办理涉及在押人员权益保障类刑事执行监督案件,保障在