【摘 要】
：
Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法(DQN-SSPO),将Spark Streaming参数优化
【机 构】
：
贵州大学计算机科学与技术学院,贵州省软件工程与信息安全特色重点实验室,科大讯飞股份有限公司
【基金项目】
：
国家自然科学基金资助项目(62062022),贵州省科学技术基金资助项目(黔科合基础[2017]1051),国家重点研发计划项目(2018YFC0807701)。
论文部分内容阅读
Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法(DQN-SSPO),将Spark Streaming参数优化
其他文献
无人驾驶近年来成为了学术界和工业界的研究热点,无人驾驶汽车的环境感知则是其中的重要基础.仅通过提升无人驾驶汽车上的传感器数量和精度并不能完全消除车辆的感知盲区,因此无人驾驶汽车与路边基础设施进行协同环境感知越来越受到关注.通过车路协同感知,无人驾驶汽车的感知范围能够得到有效扩展,有助于消除感知盲区,对于提升无人驾驶的安全性具有重要意义.在各类环境感知信息中,摄像头拍摄的视频占有最重要的地位.然而,
无人机多机协同控制系统近年来已被广泛地应用在军事打击、海洋监测、陆地航拍和灾情探测等领域.针对无人机协同多任务分配问题,为了更加准确地描述无人机协同多任务分配场景,本文考虑实际应用场景下的多种复杂约束,并以无人机飞行总航程最少和任务完成时间最短为优化目标,构建了混合变量多约束的无人机协同多任务分配问题模型M-CMTAP.为了高效求解上述模型,本文提出一种基于协同进化的混合变量多目标粒子群优化算法C-MOPSO.C-MOPSO采用基于任务分配和路径规划的编码方法表示无人机的任务分配结果和路径规划结果及基于约
近年来，临沂市跨境电子商务发展迅速，市政府已开始推动临沂综合保税区加快跨境电商产业园建设，促使一般贸易转型跨境电子商务。在此背景下，临沂市逐渐暴露出跨境电商类人才供给不足的问题，本文通过分析临沂市跨境电商人才现状，提出了加强校企合作、推进企业内部培养和加强政策支持等建议，对解决临沂市跨境电商人才供给问题提供了一些思路。 临沂市跨境电子商务近几年一直保持了较高的增长水平，随着跨境电商的飞速发展，临
针对智慧交通和自动驾驶系统中利用车辆关键点获取车辆3D姿态的需求,提出一种基于CPN网络的车辆关键点检测模型。模型以Res Net50为主干网络,利用U型结构融合深层的语义信息和浅层的空间分辨率信息构建高斯热力图金子塔,随后采用Soft Argmax在高斯热力图中端到端地解码关键点坐标。在20万张的训练集上训练得到车辆关键点检测模型,模型能够同时预测定义的轿车和SUV车型上的78个关键点的坐标和可
安全多方计算是国际密码学界研究的热点,计算一组数据的最大(小)值问题是一个基本的计算问题,保密计算最大(小)值是安全多方计算的一个基础问题,在电子商务、保密招投标、保密数据挖掘等方面有广泛的应用,还可以作为基本模块用于构造更多的安全多方计算协议如各种保密优化协议、保密推荐协议、保密选优协议.目前这个问题的解决方案都只能抵抗被动攻击,尚没有见到能够抵抗主动攻击的解决方案.抵抗被动攻击的解决方案只能提供最基本的安全保障,在有可能遭受主动攻击的实际应用场景中无法保证安全.抵抗主动攻击的解决方案安全性更强,可以为
近日，一则疑似出自工信部的消息在各大互联网、直播电商社群传播。流传消息显示，8月1日起，天猫、京东、淘宝、抖音、快手、拼多多和头条等所有电商平台均要求加密客户信息，从平台方、商户和快递公司等所有环节的商家均无法获取客户的相关信息。 传言一时风声鹤唳，对此，相关监管部门回应称，报道不实。同时表示，这是（电商平台）企业自己的行为，没有其他监管部门要求，这是他们为了防止用户信息泄露被诈骗分子利用，自身
2021年7月27日，网经社电子商务研究中心发布《2021年（上）中国互联网大健康市场数据报告》，通过数据解读2021上半年互联网大健康发展情况，报告根据网经社“电数宝”大数据库（DATA.100EC.CN）编制而成。 网经社电子商务研究中心生活服务电商分析师陈礼腾认为，互联网大健康是以互联网为载体，实现医疗、医药和医保等多个环节在线化、智能化，主要包括互联网医疗（在线问诊、在线挂号、健康管理、
在正交频分复用(OFDM)系统的信道估计过程中,传统信道插值算法是建立在假设导频附近处的估计值存在关联的基础上,当信道特征因无线信道的时变、频变特性而不连续时,估计结果将不理想。针对这一问题,本文引入超分辨率重建模型SRGAN的改进模型——SRWGAN,替代信道估计中的插值处理。在SRWGAN模型中,将导频处的最小二乘(LS)估计值类比于低分辨率图像中的像素点,先通过卷积网络提取信道特征,再通过多个残差网络学习映射关系,然后经上采样层放大,最后通过判别网络WGAN不断判别并提升估计效果。实验结果表明,基于
近日，国家市场监管总局通报，依法对腾讯控股有限公司作出责令解除网络音乐独家版权等处罚。对此，网经社电子商务研究中心发布快评供记者参考。 放弃独家版权对腾讯的音乐市场影响深刻 网经社电子商务研究中心特约研究员、上海正策律师事务所董毅智律师表示，放弃独家版权的话，我觉得对腾讯的影响是很深刻的，因为实际上这种垄断的独家版权地位，对整个这个腾讯的音乐来说是核心竞争力。腾讯也一直以来通过这个版权的保护来
云存储带来了许多优势,例如,可节省用户的硬件购买成本,并提供实时在线数据存储服务。越来越多的人选择将数据存储在云上。为了提高数据安全性和数据隐私性,Wu等人在Yang的方案的基础上,给出了一种扩展的多权限云存储数据访问控制方案(NEDAC-MACS)。本文给出一种攻击方法,以证明被撤消的用户仍然可以解密NEDAC-MACS中的新密文,并提出一种增强NEDAC-MACS安全性的方案,该方案可以抵抗云服务器与用户之间的串通攻击。加密分析表明,该方案能够抵抗串通攻击并且是可行的。