【摘 要】
：
针对传统深度强化学习中移动机器人在稀疏奖励环境下只有在规定时间步内到达目标位置才能得到积极奖励,中间过程的每一步都是负面奖励的路径规划问题.提出了基于改进深度Q网络的路径规划方法,在移动机器人在探索过程中,对以真实目标为条件的轨迹进行采样,在经验回放过程中,把移动机器人已经到达的状态来代替真正的目标,这样移动机器人可以获得足够的积极奖励信号来开始学习.通过深度卷积神经网络模型,将原始RGB图像作为输入,通过端对端的方法训练,利用置信区间上界探索策略和小批量样本的方法训练神经网络参数,最后得到上、下、左、右
【机 构】
：
沈阳化工大学计算机科学与技术学院 沈阳110142;辽宁省化工过程工业智能化技术重点实验室 沈阳110142
论文部分内容阅读
针对传统深度强化学习中移动机器人在稀疏奖励环境下只有在规定时间步内到达目标位置才能得到积极奖励,中间过程的每一步都是负面奖励的路径规划问题.提出了基于改进深度Q网络的路径规划方法,在移动机器人在探索过程中,对以真实目标为条件的轨迹进行采样,在经验回放过程中,把移动机器人已经到达的状态来代替真正的目标,这样移动机器人可以获得足够的积极奖励信号来开始学习.通过深度卷积神经网络模型,将原始RGB图像作为输入,通过端对端的方法训练,利用置信区间上界探索策略和小批量样本的方法训练神经网络参数,最后得到上、下、左、右4个动作的Q值.在相同的仿真环境中结果表明,该算法提升了采样效率,训练迭代更快,并且更容易收敛,避开障碍物到达终点的成功率增加40％左右,一定程度上解决了稀疏奖励带来的问题.
其他文献
能源互联网运作的各个环节都越来越需要精准的时间同步,而现有的绝对时间同步技术在无线业务场景下,因为终端的数量、移动性、无线信道质量等原因,无法达到业务需求的同步精度.因此,文章提出了面向无线时敏电力业务的时间同步技术,以满足业务对高精度时间同步的需求.通过分析电网服务对无线时间同步的需求,结合移动边缘计算技术及基于无线物理层的绝对时间同步技术,实现更灵活的时间分配机制和更准确的时间同步精度.同时,分析了终端设备采用上述技术时同步误差对业务流的影响,并提出了一种在网络边缘使用时间敏感型整形器的优化方案,有效
通过分析电力行业对北斗卫星导航系统的应用需求,综合考虑保障北斗地基增强站点的基建、交通、供电、通信及建站征地和后续运维等因素,文章提出将站点选址在变电站内,并通过在35 kV、110 kV和220 kV不同电压等级变电站内进行电磁干扰测试和分析,论证了在复杂电磁环境下变电站内建设北斗地基增强站的可行性,并对现行的北斗地基增强站国家标准内的相关技术指标提出排除建议.
为解决电力信息系统运行维护阶段测试验证工作量大、重复性强、劳动强度大等问题,文章在分析软件自动化测试技术适用情况的基础上,提出了面向运行阶段的电力信息系统业务自动化测试验证方案,采用开源软件搭建面向企业级Web系统的业务自动化测试验证系统,编写自动化测试脚本.系统在国家电网有限公司重要信息系统运行维护工作中得到了应用,实现了信息系统业务验证的标准化和自动化,有效提高了信息系统运维的自动化水平和工作效率.
针对传统分析方法难以分析非线性非稳态电网实测信号的缺点,文章提出了一种基于希尔伯特–黄变换(Hilbert-Huang Transform,HHT)提取电流相位的方法.为应对经验模态分解(Empirical Mode Decomposition,EMD)在分解过程中普遍存在的模态混叠现象,该方法通过添加基于原电流信号相关参数构造的辅助信号,将新电流信号分解为一系列固有模态函数(Intrinsic Mode Functions,IMF),若模态混迭现象去除,则将高频信号滤除,若未去除,迭代新辅助信号进行分析
针对当前变电站巡检作业中所面临的现场作业安全和人员到位情况管控难等问题,文章提出了一种基于北斗定位的变电站作业人员行为安全管控系统.该系统首先利用先进的三维激光扫描技术对变电站进行三维建模,构建三维数字地图,再利用超宽带UWB+北斗的一体化定位技术,实现变电站作业人员室内外高精度定位,最后将智能手环、北斗定位终端与电力工作票创新结合,将手环、北斗定位终端与工作负责人以及工作班成员进行一一关联,从而实现对变电站作业人员的实时定位、行为安全的实时监测,远程有效管控整个作业现场情况,把控作业安全风险.
随着调度业务的增长,双机同组技术逐渐暴露出因通道带宽受限而存在消息拥塞或丢失的风险.为解决上述问题,文章提出了多机同组技术,即将2个及以上不同交换机的下属调度台定义在同一个调度组内,调度组内通过信息共享实现调度交换系统的多级冗余备份.同时,还对比了双机同组系统的技术异同点,从硬件架构、逻辑架构、功能协议等方面研究了多机同组技术的设计与实现原理,并对该项技术在国家电网电力调度系统的实际应用案例进行深入分析,展望了多机同组技术在电力调度生产业务中的应用,为公司电力业务的大融合提供可行的意见.
温度参数是电力系统运行状态中需要监控的重要物理量之一,光纤温度传感相较于其他温度传感技术,具有耐腐蚀、抗电磁干扰、低能耗、无源、易部署等诸多优势.文章分析了基于光纤的多种温度测量和传感技术原理、发展及其各自适用的应用场景,讨论了光纤测温技术在电力系统的工程使用情况,得出不同光纤测温技术的应用优势,并展望了光纤测温技术在电力系统应用的发展趋势.
风险预警是系统安全的关键,急需开发与当前大规模风险预警要求相适应的分析计算系统.文章提出了基于故障率和云平台的电网实时风险预警系统策略,从软件和硬件角度提高大规模风险预警的准确性和实时性,分析设备工况变化情况下的实时故障率,将高风险设备逐一进行N–1安全校核,构建实时预想事故集合,进而通过对预想事故的分析实现电网风险预警,并在基于Docker技术的云平台中实现.最后通过运行实例验证了该策略的有效性和快速性.
视频监控业务能够对智能电网中输电线路、变电站等进行监控,实现高效的电力网络运维以及安全生产.考虑视频监控业务的实时性要求、多维用户体验(Quality of Experience,QoE)指标联合优化需求以及资源配置的不协调,文章提出了视频监控业务上下行资源联合分配方法.在该方法中,首先联合考虑上行链路资源、下行链路资源以及计算资源的分配,以多维QoE指标(包括视频监控业务的切换频率和卡顿等)优化为目标,建立了基于视频内容处理低时延保障的问题;其次设计了基于凸优化的资源分配搜索方法对所提问题进行求解,最后
固件空中升级(FOTA)是一种利用无线通信实现电子控制单元软件升级的技术.FOTA在汽车电子控制器中的大规模应用,使得汽车控制系统面临来自于公共网络中的安全威胁日益增多,而目前主流的FOTA方案着重关注固件从服务端到汽车端的远程传输,车内固件的安全性处理仍是薄弱环节.本文提出一种固件安全多重校验方案,服务端通过基于ECC的数字签名算法签名固件得到两个校验码,分别用于远程传输以及车内处理流程中的固件完整性和身份验证,以保证FOTA全流程的安全.实验结果表明所提的方案可以很好的识别固件远程传输和存储时篡改的风