【摘 要】
：
数据隐私保护问题已成为推荐系统面临的主要挑战之一.随着《中华人民共和国网络安全法》的颁布和欧盟《通用数据保护条例》的实施,数据隐私和安全成为了世界性的趋势.联邦学习可通过不交换数据训练全局模型,不会泄露用户隐私.但是联邦学习存在每台设备数据量少、模型容易过拟合、数据稀疏导致训练好的模型很难达到较高的预测精度等问题.同时,随着5G(the 5th generation mobile communication technology)时代的到来,个人设备数据量和传输速率预计比当前提高10～100倍,因此要求模
【机 构】
：
浙江省同花顺人工智能研究院,浙江 杭州 310012
论文部分内容阅读
数据隐私保护问题已成为推荐系统面临的主要挑战之一.随着《中华人民共和国网络安全法》的颁布和欧盟《通用数据保护条例》的实施,数据隐私和安全成为了世界性的趋势.联邦学习可通过不交换数据训练全局模型,不会泄露用户隐私.但是联邦学习存在每台设备数据量少、模型容易过拟合、数据稀疏导致训练好的模型很难达到较高的预测精度等问题.同时,随着5G(the 5th generation mobile communication technology)时代的到来,个人设备数据量和传输速率预计比当前提高10～100倍,因此要求模型执行效率更高.针对此问题,知识蒸馏可以将教师模型中的知识迁移到更为紧凑的学生模型中去,让学生模型能尽可能逼近或是超过教师网络,从而有效解决模型参数多和通信开销大的问题.但往往蒸馏后的学生模型在精度上会低于教师模型.提出一种面向推荐系统的联邦蒸馏方法,该方法首先在联邦蒸馏的目标函数中加入Kullback-Leibler散度和正则项,减少教师网络和学生网络间的差异性影响;引入多头注意力机制丰富编码信息,提升模型精度;并提出一个改进的自适应学习率训练策略来自动切换优化算法,选择合适的学习率,提升模型的收敛速度.实验验证了该方法的有效性:相比基准算法,模型的训练时间缩短52％,模型的准确率提升了13％,平均误差减少17％,NDCG值提升了10％.
其他文献
二维带形装箱问题是一个经典的NP-hard的组合优化问题,该问题在实际的生活和工业生产中有着广泛的应用.研究该问题,对企业节约成本、节约资源以及提高生产效率有着重要的意义.提出了一个强化学习求解算法.新颖地使用强化学习为启发式算法提供一个初始的装箱序列,有效地改善启发式冷启动的问题.该强化学习模型能进行自我驱动学习,仅使用启发式计算的解决方案的目标值作为奖励信号来优化网络,使网络能学习到更好的装箱序列.使用简化版的指针网络来解码输出装箱序列,该模型由嵌入层、解码器和注意力机制组成.使用Actor-Crit
智能家居赋予家庭设备以智能,受到用户的广泛欢迎.由于用户需求不同,服务提供商采用“触发-动作”编程(TAP)模式以支持用户定制规则.然而,现在TAP编程和智能家居执行引擎中流行的Event-State时序范式极易出错,且难以修改规则和追踪运行错误.对TAP缺陷的原因进行系统分析之后,提出一种编写和修改难度较低、且能够检测规则运行异常的方案,记为SSRules.SSRules允许用户以一种改进的State-State时序范式输入规则,并基于Z3定理证明器将其翻译为Event-State时序范式,且为开源智能
针对粗粒度锁会严重影响并发程序的可伸缩性问题,提出一种面向细粒度锁的自动重构方法.该方法借助访问者模式分析、别名分析、负面效应分析等多种程序分析技术获取临界区代码的读写模式,然后使用下推自动机构建不同锁模式的识别方法,根据识别结果进行代码重构.与以往锁重构方法的不同之处在于,该方法考虑了锁降级模式,使重构适用性更广.基于此方法,在Eclipse JDT框架下,以插件的形式实现了自动重构工具FLock.在实验中,从重构个数、改变的代码行数、重构时间、准确性和重构后程序性能等方面对FLock进行了评估,并与已
随着SOA技术的发展,Web服务被广泛应用,服务数量增长迅速.正确高效地对Web服务进行分类,对于提高服务发现质量、促进服务组合效率非常重要.然而,现有的Web服务分类技术存在描述文本稀疏、未充分考虑属性信息以及结构关系等问题,难以有效提升Web服务分类的精度.针对此问题,提出一种基于GAT2VEC的Web服务分类方法.首先,针对Web服务之间的结构关系和自身的属性信息分别构建出多个相对应的结构关系图和属性二分图,并采用随机游走算法生成Web服务的结构上下文和属性上下文;然后,利用SkipGram模型对联
零指代是汉语中普遍存在的一个现象,在汉英机器翻译、文本摘要以及阅读理解等众多自然语言处理任务中都起着重要作用,目前已成为自然语言处理领域的一个研究热点.提出了篇章视角的汉语零指代表示体系,从服务于篇章分析的角度出发,首先以基本篇章单元为考察对象,判别其是否包含零元素;再根据零元素在基本篇章单元中承担的角色将零元素划分成主干类和修饰类两类;接着以段落对应的篇章修辞结构树为考察指代关系的基本单元,依据先行词与零元素间的位置关系将指代关系分成基本篇章单元内和基本篇章单元间两种,并针对基本篇章单元间的指代关系,根
虚拟云高性能向高效能计算演进,已是环境保护、人类可持续发展的迫切需求.然而目前,一方面,硬件级物理节能空间需要适度延展;另一方面,以遗传或人工免疫算法为代表的元启发式调度中间件大多存在进化动力不足,以致收敛性和分布性冲突难平衡等瓶颈.事实上,每个候选解(调度方案)都蕴含一定的物理反馈效应,而拟配资源的非线性和异构性,则意味着不同方案间与能效相关的实时动态反馈的巨大差异化.因此,尊重科学规律,巧妙地借力于硬件节能原理,给算法优化动力注入新能量,并进一步增强软件方法的节能主导性,是本文研究方法;继而提出一种着
受限玻尔兹曼机(restricted Boltzmann machine,简称RBM)是一种概率无向图,传统的RBM模型假设隐藏层单元是二值的,二值单元的优势在于计算过程和采样过程相对简单,然而二值化会对基于隐藏层单元的特征提取和数据重构过程带来信息损失.因此,将RBM的可见层单元和隐藏层单元实值化并保持模型训练的有效性,是目前RBM理论研究的重点问题.为了解决这个问题,将二值单元拓展为实值单元,利用实值单元建模数据并提取特征.具体而言,在可见层单元和隐藏层单元之间增加辅助单元,然后将图正则化项引入到能量
案件舆情摘要是从涉及特定案件的新闻文本簇中,抽取能够概括其主题信息的几个句子作为摘要.案件舆情摘要可以看作特定领域的多文档摘要,与一般的摘要任务相比,可以通过一些贯穿于整个文本簇的案件要素来表征其主题信息.在文本簇中,由于句子与句子之间存在关联关系,案件要素与句子亦存在着不同程度的关联关系,这些关联关系对摘要句的抽取有着重要的作用.提出了基于案件要素句子关联图卷积的案件文本摘要方法,采用图的结构来对多文本簇进行建模,句子作为主节点,词和案件要素作为辅助节点来增强句子之间的关联关系,利用多种特征计算不同节点
代理辅助进化算法(SAEA)是目前解决昂贵优化问题的一种有效途径.提出一种基于多样性的代理辅助进化算法(DSAEA)来解决昂贵多目标优化问题.DSAEA采用Kriging模型近似每个目标来代替原目标函数进行评估,加速了进化算法的优化过程.其引入参考向量把问题分解为多个子问题,根据解与参考向量之间的角度大小建立它们的相关性,然后计算出最小相关解集.在此基础上,候选解生成算子和选择算子会趋向于保留多样性的解.另外,训练集A在每次迭代后会进行更新,根据多样性删除价值不大的样本以减少建模时间.实验部分对DSAEA
随着滴滴、Uber等出租车服务的日益普及,用户的乘车需求预测逐渐成为智慧城市、智慧交通的重要组成部分.准确的预测模型既可以满足用户的出行需求,也可以降低道路车辆空载率,有效地避免资源浪费,并缓解交通压力.车辆服务商可以收集到大量GPS数据及用户需求数据,然而,如何合理运用数据进行需求预测,是关键且实用的问题.提出一种结合城市POI的可变形卷积时空网络(DCSN)模型来预测区域乘车需求,模型包括两部分——可变形卷积时空模型与POI需求关联模型:前者即通过DCN与LSTM建模未来需求与时空之间的相关性,后者则