基于Flink的分布式电商推荐系统研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:yayanorman
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面对互联网与日俱增的数据量,用户为了寻找某些信息而遍历整个互联网是不可能的。推荐系统是解决这种问题的方法之一,在新闻、音乐、电影、短视频等领域都有着出色的表现,为相关企业带来了巨大的商业价值。但是由于电商网站中影响用户决策的因素有很多,相关推荐算法仍然有巨大的研究价值和现实意义。论文的主要工作有:(1)本文设计了 一种推荐框架,该框架借助Flink的批流统一特性将离线批处理训练和实时增量更新结合在一起,并且可以提供实时推荐服务。(2)在传统离线推荐算法中,当用户实时评分之后,由于一条数据对整个数据集的影响不大,即使更新推荐模型,产生的推荐结果与用户评分之前的结果相似,并且它们不能专注于用户的短期兴趣。本文提出了一种实时推荐算法,在矩阵分解的模型之上,考虑用户近期的评分,使产生的推荐结果可以很好的迎合用户兴趣呈时间局部性的特征。(3)由于传统的矩阵分解方法通常基于静态数据集,对于新数据的到来,必须整合到历史数据集中重新训练来更新模型,难以适应数据流环境并且不能满足实时性的需求。本文对传统矩阵分解模型进行了数据分区并行化以及在线增量更新的改进。构造InNode和OutNode信息对数据进行分区,降低节点之间数据的依赖关系,大大减少算法运行中的通信成本;针对电商网站的特点,对传统ALS迭代方式进行改进,使之适应于流数据环境中的增量更新。(4)本文对当下主流分布式大数据平台架构进行改进,设计并搭建了分布式集群,然后,为了满足电子商务网站的各种推荐需求,基于Flink实现了分布式电商混合推荐系统。实验表明,本文各个算法在保证一定预测准确度的情况下,对新颖度、通信复杂度、运行时间等多个方面表现出色。
其他文献
目的:分析A型肉毒毒素(保妥适)联合透明质酸钠(玻尿酸)微整形注射在重塑颜面部轮廓中的效果.方法:回顾性分析2018年7月-2019年9月于笔者医院行面部轮廓微整形注射的118例就医者的临床资料.从采用A型肉毒毒素注射联合自体脂肪填充的就医者中随机选取59例设为对照组,从采用A型肉毒毒素注射联合透明质酸钠填充的就医者中随机选取59例纳入观察组.比较两组就医者注射前及注射后3个月时的面下部轮廓变化[面下部宽度(WLF)、面下部长度(LLF)、面下部宽度与长度比值(WLF/LLF)、面中长度、下颏夹角∠AOB
尘螨种类多,分布广,是引起人类变态反应性疾病最常见变应原的来源生物之一.每克灰尘中含有2μg的屋尘螨变应原第一组分就可能引起过敏及哮喘,达到10μg(每克灰尘中含有500只螨虫)就被视为过敏体质者发生急性哮喘的主要风险因素.收集室内灰尘进行尘螨分离及其变应原检测,可用于评价尘螨孳生数量、分布情况,了解尘螨与变态反应性疾病的关系,有助于尘螨防控及变态反应性疾病研究.采用合适的方法对尘样进行收集和检测十分重要.该文对灰尘收集、尘螨分离和检测方法进行综述,为尘螨相关研究奠定基础.
目的:探究负压封闭引流(Vacuum sealing drainage,VSD)促进慢性难愈性烧伤创面愈合的效果.方法:选择2018年1月-2020年12月在徐州市第一人民医院烧伤整形科接受治疗的慢性难愈性烧伤创面患者64例的病历资料回顾性分析.全部患者根据治疗方法的差异分为对照组和观察组,两组均有32名患者.对照组采用常规创面处理方法.观察组在对照组治疗方法基础上使用VSD技术.对比两组治疗14d后的创面愈合率、创面完全愈合时间、创面完全愈合后的瘢痕评分情况(皮肤均一性评分,皮肤松弛度评分,皮肤瘢痕严重
目的:研究肉毒毒素联合光动力疗法对增生性瘢痕免疫应答与预后的影响.方法:本研究采取前瞻性研究,以2017年2月-2020年1月在笔者医院进行诊断并进行治疗的110例增生性瘢痕患者作为研究对象,按照随机分组原则,将以上患者随机分为观察组以及对照组,每组55例,所有患者均采取光动力疗法,观察组在对照组基础上,在病灶部位的周边进行肉毒毒素进行单次注射.比较两组患者的治疗效果、免疫功能、炎性反应、疼痛情况、皮损厚度以及不良反应之间的差异.结果:观察组(89.09%)患者的治疗总有效率显著高于对照组(72.73%)
目标跟踪是计算机视觉领域的核心任务之一。给定一个连续视频帧序列和待跟踪目标在第一帧中的空间位置,目标跟踪任务要求模型找到目标在所有帧中的位置。目标跟踪不仅需要对目标进行分类和定位,还需要综合每一帧的时序上下文信息进行分析,需要综合计算机视觉领域中的多种技术。尽管目标跟踪领域近年来受到了广泛的研究,但由于目标跟踪任务本身的困难性和复杂性,其至今为止仍是一个具有挑战性的问题。本文提出了基于光流场的目标
近年来互联网技术已经逐渐成熟,与此同时5G和云计算技术也蓬勃发展,云通信作为一种基于移动互联网的音视频即时通信服务,这种新兴的服务模式有着广阔的应用前景。本文旨在为云通信系统的管理人员,设计并实现一个基于B/S结构的云通信管理平台。本系统前端使用JavaScript的Vue框架和MVVM模式、服务器端使用JAVA的SpringBoot框架实现前后端分离开发,辅以MySQL搭建整个平台,实现了系统中
目的:探讨上睑下垂合并内眦赘皮一次性矫正的临床效果观察.方法:选取2018年3月-2020年3月笔者科室收治的先天性上睑下垂合并内眦赘皮患者107例(132只眼)进行治疗.提上睑肌肌力小于4mm67例(69只眼)采用CFS悬吊提上睑肌缩短联合“Z”成形术,提上睑肌肌力大于4mm40例(63只眼)采用提上睑肌缩短或折叠联合“Z”成形术.术后观察睑裂长度、睑裂高度、睑裂倾斜度、内眦宽度及复发率、并发症.结果:本组107例患者(132只眼)术前、术后对比,睑裂长度平均增加(2.0±1.0)mm,内眦宽度平均缩小
目的:探究皮内缝合联合皮肤黏合剂关闭切口对全膝关节置换术(Total knee arthroplasty,TKA)患者切口愈合、瘢痕情况及膝关节活动度的影响.方法:选取笔者医院2017年5月-2019年6月行TKA患者114例(126膝),按照随机数字表法分为观察组与对照组.采取皮内缝合联合皮肤黏合剂关闭切口的57例(64膝)作为观察组,采取传统缝合关闭切口的57例(62膝)作为对照组.比较两组切口缝合时间、换药次数、住院时间、术后切口疼痛(Visual analogue scale,VAS)评分、Hol
目的:探讨下睑缩肌移位术单用及联合眼睑轮匝肌折叠缩短术治疗老年性下睑内翻的临床效果.方法:将2016年5月-2020年5月在笔者所在医院收治的老年性下睑内翻患者86例(116眼)作为研究对象,并将其分为观察组(43例,57眼)和对照组(43例,59眼),观察组给予下睑缩肌移位术+眼睑轮匝肌折叠缩短术联合治疗,对照组给予下睑缩肌移位术,评估两组术后近、远期临床疗效、眼睑美观的满意度评分,并记录两组术后并发症,比较术后1年的复发率.结果:术后1周、3个月,两组的短期疗效对比、眼睑美观的满意度评分比较,差异均无
目的:探讨切缘上方的眼轮匝肌与眶隔组织瓣固定在重睑成形术中的临床应用及效果.方法:选取在2017年2月-2020年10月于日照市人民医院医疗美容科就诊的重睑成形术就医者76例,所有就医者均采用切缘上方眼轮匝肌与眶隔组织瓣固定的方法行重睑成形术.对手术效果、患者满意度和术后并发症等进行评价.结果:术后随访3~12个月,76例就医者手术效果满意或者比较满意,双侧重睑弧度均流畅.结论:切缘上方的眼轮匝肌与眶隔组织瓣固定的重睑成形术方式,临床疗效佳,患者满意度高,术后并发症少,值得临床推广.