【摘 要】
:
实体抽取是自然语言处理的一项关键技术。现有研究多采用深度学习模型处理实体抽取任务,需要充足的实体标注数据进行训练,但单个客户端的实体标注数据通常是有限的,并且客户端之间的数据往往需要隐私保护而不能直接共享。现有研究提出利用联邦学习解决共享实体标注数据的隐私安全问题,但存在以下两点问题:一是客户端数据若呈非独立同分布会导致模型准确度下降,二是实体抽取模型结构复杂导致联邦学习训练的通信成本高。本课题提
论文部分内容阅读
实体抽取是自然语言处理的一项关键技术。现有研究多采用深度学习模型处理实体抽取任务,需要充足的实体标注数据进行训练,但单个客户端的实体标注数据通常是有限的,并且客户端之间的数据往往需要隐私保护而不能直接共享。现有研究提出利用联邦学习解决共享实体标注数据的隐私安全问题,但存在以下两点问题:一是客户端数据若呈非独立同分布会导致模型准确度下降,二是实体抽取模型结构复杂导致联邦学习训练的通信成本高。本课题提出一种基于联邦学习的实体抽取方法Fed SE,并进一步优化模型的准确度和训练通信成本。本文选取ALBERT-Bi LSTM-CRF作为实体抽取模型,并在此基础上构建横向联邦学习框架,在各客户端数据不交换的条件下协同训练实体抽取模型。模型框架包括以下四步,分别是客户端选择、模型训练、模型优化和模型聚合。本文重点改进模型优化和模型聚合两个模块。对于模型优化模块,本文提出了基于共享数据的联邦优化算法,首先基于客户端的共享数据集构建近似独立同分布实体标注数据集,其次使用该数据集训练模型作为额外的客户端模型,参与后续的模型聚合模块,解决了客户端数据呈非独立同分布时导致模型准确度下降的问题。对于模型聚合模块,本文提出基于实体信息的模型聚合算法,该算法在不泄露数据隐私的前提下,收集客户端实体标注数据集相关信息,并基于此设置合适的模型聚合权重,提高模型聚合的有效性。实验结果表明,所提方法能够有效克服非独立同分布数据下模型准确度下降的问题、并能够降低模型训练的通信成本,在降低数据隐私泄漏风险的前提下,模型准确度接近于集中式训练模型,模型F1值仅低于集中式训练模型1.18%。与现有基于联邦学习的实体抽取方法Fed NER相比,所提方法在Boson数据集和微博数据集上的模型F1值有显著提升,单个客户端总数据传输量有显著下降;特别地,随着参与客户端比例和本地训练迭代次数的增大,模型性能的提升更加显著。
其他文献
<正>在ChatGPT给现实世界带来的各种冲击中,新闻业所受的影响尤为突出。这在很大程度上缘于二者“写作劳动”的共同属性,也在一定程度上折射出人与机器在信息和知识生产方面的再次博弈。作为一项令世人惊艳的AI生成技术,ChatGPT造就了一种新的跨人机关系,在这种关系中,人工智能借助过去人类生产的文本来生成和编写新的文本。这使得大量涉及“写作劳动”的职业不可避免地受到影响,
目的 探讨芹菜素对骨保护素(OPG)/核因子κB受体活化因子配体(RANKL)/核因子κB受体活化因子(RANK)信号通路的调控作用及对创伤性骨折大鼠骨折愈合的影响。方法 采用闭合式股骨干骨折术构建创伤性骨折大鼠模型,将造模成功的大鼠随机分为模型组、芹菜素低、中、高剂量组和阳性对照组,每组10只,另取10只健康大鼠作为对照组。各组给予相应干预30 d。采用计算机断层扫描测定大鼠骨小梁密度和厚度,番
当前,数字人民币已经成为中国式现代化进程中有待深入研究的关键元素;同时,基于中国式现代化理论发展和实践演进,数字人民币的发行流通及相关机制的建设既迎来诸多机遇,也面临新的挑战。为宏观决策提供微观基础、提升货币政策效力及其与财政政策配合度、推动普惠金融提质增效、促进绿色金融发展、加速人民币国际化等角色分别对应于中国式现代化的五个重要特征。在我国发展的重要战略机遇期内,中国式现代化对数字经济的要求、人
基础教育阶段是学生思想道德意识形成的重要时期,结合小学英语课堂教学实际,将思想政治教育渗透到教学活动中,实现价值引领与知识传授的有效结合,达到课程与思想政治理论课同向同行,形成协同效应,同时帮助学生提升英语思辨能力、培养学生文化自觉意识,增强对本国文化的认同,坚定文化自信,才能在文化交流中兼容并蓄,求同存异,达到和而不同的目的。
我们对西宁植物园不同园区、不同种质等方面的植物生长情况进行了调查。结果显示:植物隶属于81科、232属、503种。从青海省其它地方、甘肃省、陕西省引种的种质资源更适宜植物园内生长,其栽培种比野生种更容易生长。通过调查分析可为青海省西宁植物园种质资源开发利用、树种选择提供参考。
政党协商具有特殊的性质和地位,由此决定了民主党派参加政党协商除了遵循基本的协商规则和协商程序以外,还必须具有特定的协商意识。这种意识是保障民主党派参加政党协商活动的重要先导,是保障民主党派有效参加政党协商活动而又不偏离正确方向的自觉思维。根据新时代政党协商制度的具体实践,民主党派参加政党协商应该具有政治意识、政党意识和大局意识。
课程思政是我国学校的特色育人方式,将思政教育融于各门课程教学之中。笔者对78名小学英语教师进行调查发现:小学英语教师对课程思政的认知度不高,课程思政的实施现状不佳。不同身份的小学英语教师,其课程思政能力存在差异,教育培训机构的小学英语教师课程思政能力明显落后。因此,需要增强小学英语教师的课程思政意识,提高小学英语教师的课程思政实施能力,还需加强教育培训机构的师资队伍建设。
<正>使用肥皂搓洗20秒是保护人体不受细菌病毒伤害的最佳方法之一,但肥皂泡沫究竟是如何杀死感染人类的细菌病毒的呢?依据美国加州大学伯克利分校传染病和疫苗系主任李·莱利博士的观点,肥皂杀菌的超能力内置在其独特的分子结构中——“头部”连着一条细长的“尾巴”,头部是亲水性的,而尾巴是疏水性的。疏水性尾巴对脂肪具有亲和力,包括新冠病毒在内的所有细菌病毒都有一层脂膜,从而很容易受到肥皂分子的攻击。
大力提高交通运输和物流效率是党中央国务院高度重视的一项工作,新型ETC门架系统能够显著提高高速公路计费运营效率,对于提升高速公路系统智能化程度具有积极的作用。新型ETC门架系统有别于传统人工收费模式,具有高效化、智能化、系统化的优势,但由于新型ETC门架系统涵盖了数千台新增设备及其数据,在出现突发问题时需要迅速确定位故障点且维修故障,否则对于高速公路运营数据的分析和正常计费将产生不利影响。因此,高