基于深度强化学习的路径规划算法研究

来源 :长春理工大学 | 被引量 : 4次 | 上传用户:get_to_do
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前的路径规划方法在面对未知复杂的环境时不具有迅速响应复杂环境变化的能力、不能实时路径规划、收敛速度慢等缺点。近年来,随着深度学习和强化学习的不断发展,以深度强化学习来实现移动机器人路径规划任务一直是人工智能领域的研究热点。传统的路径规划算法应用到未知复杂的环境时,要寻到一条全程无碰撞的路径是很困难的。而深度强化学习可以使智能体在探索环境的同时,学习到相关经验、避障能力以及趋向目标点的能力,使机器人通过不断“试错”的方式,获得一条最优路径。因此本课题开展了基于深度强化学习的路径规划算法研究问题,论文主要研究如下:(1)由于深度Q网络算法经验回放机制的存储方式是先进先出,且后期回放训练的采样方式是平均采样,这会造成经验回放效率较低,导致移动机器人趋向目标和寻路过程缓慢;以及由于贪婪策略导致探索地图信息不完整,提出了PER-Noisy Net DQN算法模型。在存储样本的时候,赋予样本权重,按照优先级顺序送入网络进行样本训练,同时经验回放缓存区保留重要性数据序列,移除相似度较高的序列;将深度Q网络的全连接层改为噪声层,来提高智能体的探索能力。通过Open AI Gym平台验证了总奖励值比原始深度Q网络的奖励值提高了10%左右,证明移动机器人趋向目标点的准确率变高。(2)针对深度Q网络动作选择策略的方式,造成局部最优值解,导致移动机器人的路径轨迹不是最优的,提出了PER-Dueling DQN算法模型。在网络结构中引入对抗网络机制,解决智能体在选择动作时,判断该动作是否能得到正的奖励值,使总收益最大。通过Open AI Gym平台和二维栅格地图实验结果表明,PER-Dueling DQN比原始深度Q网络算法收敛效率高,比PER-Noisy Net DQN算法模型稳定,且总奖励值提高了11%~13%左右。后续选择基于PER-Dueling DQN算法做路径规划研究。(3)最后,基于ROS和Gazebo平台搭建三维无障碍环境和有障碍环境,通过Turtle Bot3移动机器人平台进行三维仿真实验,从实验结果分析总奖励值趋于稳定在4000左右,最大Q值也在探索过程中逐步上升,证明了PER-Dueling DQN算法模型稳定且智能体能学习到目标趋向能力和避障能力,能有效完成路径规划任务。将训练好的模型移植到机器人平台,进行实物场景测试,实现了路径规划任务。
其他文献
用高压液相色谱同步分析测定了用固定化多酚氧化酶生化反应器生产的茶色素产品的茶黄素和儿茶素的含量和组成.产品的茶黄素总量为78.94%,其中TF5.89%、TF3G14.54%、TF3′G11.
回顾初中语文教材中的文学作品,不难发现鲁迅作品的数量占有一定的比例,由此我们可以看出鲁迅作品在初中阶段的重要性。鲁迅作品中独特的语言魅力、创作风格,以及其深刻的思想,都成为语文教学的重要资源。学校是文化传承的重要场所,学习鲁迅作品与鲁迅精神是一项重要的教学任务。然而在实际初中语文课堂教学中,仍存在教师难教和学生难学的现象,这不利于语文教育和学生的发展。随着新课改中语文核心素养概念的提出,对教师教学
我国保险市场自2008年进入全面开放时代后,逐渐成为时下蒸蒸日上的朝阳行业。面对市场不断变化的竞争环境,不断增加的经营主体,C寿险公司在快速发展的过程中势必将面对日趋激烈的市场竞争。在保费和人力高速发展的同时,由于基础工作不够扎实,暴露出了公司在人才战略上捉襟见肘,储备不足的局面,尤其是在寿险营销人员培训体系方面,面临各种困难。新员工伙伴们的出单举绩率、转正率、晋升率、留存率,都已成为管理人员,尤
《生物化学与生物物理进展》(以下简称《进展》)创刊佑于1974年,至今已30周年.恰逢此时,以青年为主体的新一届编委会也正式成立.这预示着《进展》正在进入一个历史发展的新阶
深度强化学习通过深度学习提取高维数据特征,结合强化学习算法,在无需预处理输入数据的情况下可以处理复杂的大规模连续状态空间任务。行动者评论家算法作为深度强化学习中的
屡见不鲜的蜂蜜掺假现象对养蜂行业产生了巨大的冲击,制约了蜂蜜市场的健康发展。近年来越来越多的养蜂者为加快蜂蜜生产进度,不等自然封盖即进行频繁摇蜜,产出的未成熟蜂蜜
杀伤细胞抑制性受体(KIR)为细胞表面糖蛋白受体,主要在NK细胞和T细胞表达。KIR特异性与靶细胞表面MHC Ⅰ类分子相应区域结合,传递负性信号抑制T细胞的细胞毒活性。当KIR所识
会议
肾外型肾盏即肾大盏及肾盂完全暴露于肾实质外,是一种较罕见的先天畸形,国内外报道较少。宁波市鄞州区第二医院近期收治1例肾外型肾盏合并肾盂输尿管连接处狭窄患者,采用腹腔镜