论文部分内容阅读
云计算、物联网、智能终端等等新技术在最近十年被研究了很多,这促使了大数据时代的来临。在大数据的时代背景下,推荐系统用户的数量及被推荐物品的数量都呈几何倍数增长。传统的基于用户相似度的协同过滤推荐算法为推荐引擎的推荐系统,在大数据集下的推荐时间容忍度、空间容忍度和推荐精度都让人难以接受。因此,本文着力提出一种面向大数据集的推荐系统架构,并在该架构上实现了改进的基于用户相似度的协同过滤算法,力求从推荐的精度和推荐的效率上有所提高。首先,通过对当前的推荐系统现状和在大数据集相关技术进行作了研究与分析,设计出了一种面向大数据集的,具有可靠性、扩展性、能支持海量用户数和物品数的推荐系统架构。该架构采用分层模式,分为用户交互层,推荐引擎层和计算存储层。各层之间低耦合、高类聚,采取推荐与业务分离,存储与计算分离等技术策略,实现了模块之间灵活组合。其次,针对传统的协同过滤推荐算法在大数据集下存在数据集稀疏性、冷启动、推荐算法效率不高,推荐精度随着数据量的增大而下降等问题,对传统的基于协同过滤算法进行了优化改进。通过计算项目相似度,根据用户之间的项目相似度计算用户的未评分项目,使数据的稀疏性下降,接着使算法可以并行运行在海量廉价机器构成的集群上,提高了算法的运行效率和改善了算法的扩展性。最后,对推荐系统设计了相关实验方案,根据实验结果得出结论,证明改进的算法在精度上要优于传统的协同过滤算法,同时并行后的算法执行效率更高。