基于深度增强学习的博弈决策机制研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:lijia6685621
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
博弈决策是人工智能领域的重要问题,在棋类娱乐、商业管理、军事模拟等方面都发挥着重要作用。传统的博弈决策过程常建模为一颗博弈树,树的每个节点都是一个局面,节点引申出来的边是在该局面下所做的决策,决策使得一个局面迁移到另一个局面。运用计算机强大的计算能力,模拟所有的局面和在该局面下做的决策,辅以对搜索算法的剪枝优化、置换表空间换时间、提高并行化等手段,也取得了不错的成果,但由于博弈决策中存在巨量搜索空间,导致当前计算机博弈决策距离顶级的人类专家还是有一定距离,而且基于搜索的博弈决策算法难以获得较大进步空间。针对上述问题,本文提出了一个基于深度增强学习的博弈决策机制,应用当下较为热门的深度增强学习技术,将博弈决策过程抽象为智能体(如决策智能)与环境(如状态空间)之间的交互过程,实现了一个基于深度增强学习的博弈决策系统。论文主要工作包括:1)将深度增强学习算法引入博弈决策机制的策略生成和局面估值,提高策略和估值函数的拟合质量。2)设计基于深度增强学习的博弈决策系统架构,神经网络模块、自对弈模块、评估器模块,使得模块间耦合度低,实现简洁。3)实现基于深度增强学习的博弈决策系统,并对系统的功能和性能进行分析测试。基于本文所实现的五子棋AI功能完整且棋力较强。最终在自由开局模式下,在QQ五子棋高手区中达到了 90%的胜率,对弈心五子棋的胜率约为55%。
其他文献
随着贸易全球化和金融一体化的推进,如何抵御跨国金融风险冲击成为各国政府面临的共同挑战。作为改革开放的重要举措,我国金融开放程度的不断提升使得我国银行业面临的跨境金融风险势必日益加大。银行业作为我国金融体系最重要的组成部分,其如何在金融开放进程中,防范化解外部金融冲击是个重要的研究课题。因此以银行这一微观视角研究如何正确识别外部金融风险及厘清其作用机制,抵御外部金融压力溢出,防范金融系统性风险,具有
脑机接口(Brain Computer Interface,BCI)可通过识别和处理人的生物信号来操控电脑及其他外部设备,是一个包含硬件和软件的完整系统。BCI系统最直接的应用便是辅助神经肌肉损伤和神经退行性疾病患者的日常生活。基于视觉诱发的BCI系统因其具备训练时间少,信息量大以及准确率高的优势而深受研究者的喜爱。但视觉诱发BCI系统在实际控制应用场景中仍存在环境噪声大、初始相位干扰及非线性信号
2015年党的十八届五中全会设立了“2020年我国现行标准下农村贫困人口实现脱贫,贫困县全部摘帽,解决区域性整体贫困”的目标。时至今日,伴随着2020年的到来,全面消除绝对贫困的目标已经基本实现。但是,相对贫困的现象仍然广泛存在,这也成为了影响我国居民全面奔赴小康的主要阻碍。对此,党和国家继续推出了一系列扶贫脱困政策,同时加大了困境家庭的帮扶力度,以期实现“扶贫路上,不让任何一人掉队。”为了落实这
十九大提出“推进能源生产和消费革命,构建清洁低碳、安全高效的能源体系战略任务”,发展天然气成为战略性的民生工程。“一带一路倡议”(BRI)以能源合作为首任,保障油气资源国市场安全、油气消费国供应安全,保障互补诉求,为区域天然气市场的合作和融合提供新机遇。本文通过分析“一带一路”沿线64国的天然气资源概况、中国与沿线国家的天然气产业链合作现状得知沿线国家对保障我国天然气供应安全有重要作用。因此,本文
自动制造系统中的死锁可能会造成生产率下降以及某些不可挽回的结果,所以有必要对死锁问题进行研究。Petri网可以有效的对自动制造系统进行建模和死锁分析,因此得到广泛运用。计算复杂性是设计死锁控制策略时必须面对的问题。本文提出基于共享资源的Petri网分解控制方法,能够有效的解决计算复杂性的问题。该方法首先使用共享资源的方式把一个较大的网模型分解成两个子网模型,并使用已有的死锁预防策略分别为每个子网模
鲜水河—小江断裂系是位于青藏高原东南缘的一条强烈活动的地震构造带,控制川滇块体的北东-东边界。受川西地区中下地壳管道流的影响,鲜水河—小江断裂系强烈活动,大地震频发。然而,自1973年炉霍7.6级地震以来,鲜水河—小江断裂带上大地震已沉寂了近50年。其未来强震危险,一直备受国内外学者所关注。计算机数值模拟表明大地震多发生在断裂带端部或断裂走向转换的区域。石棉一带,是鲜水河—小江断裂系北段鲜水河断裂
出口型企业对我国经济增长做出了巨大贡献,是拉动中国经济增长的重要动力之一。近年来,在国家推行“一带一路”的背景下,出口型企业的发展面临新的机遇和挑战,企业面临的风险和不确定因素增加。因此,加强出口型企业的风险管理显得尤为重要。保险作为企业规避风险的重要工具在这一过程中发挥着重要作用。本文将研究出口型企业的财产保险受哪些因素的影响,这些因素如何影响出口型企业的财产保险需求。本文在归纳梳理前人研究成果
电火花特种加工具有高能耗、高精度、高排放和低效率等特点,主要应用于汽车工业、航空航天和核工业的超硬异形等难加工零部件的加工中。但是电火花线切割加工高排放、低效率的特性导致该加工工艺仍然存在可持续性发展方面的问题,因此针对电火花线切割加工工艺的可持续性研究具有实际意义。本文通过建立考虑环境影响、加工性能及经济性的可持续性分析模型,实现对电火花线切割加工的可持续性评价。根据中走丝数控电火花线切割加工工
节水灌溉是灌区现代化发展程度的重要标志之一,科学合理地规划与管理灌溉水资源对提高水资源利用率、保障粮食安全和实现水资源的可持续利用意义重大。随着灌区续建配套工程
“精准农业”是农业生产上的研究热点,随着计算机信息技术以及传感器技术的不断发展,农业生产效率得到了提高,生产成本降低,科学技术手段的革新有力地推动了农业生产的现代化和智能化。变量喷药技术是智慧农业的一个研究热点,有的变量喷药系统已经投入农业生产中。但是目前的变量喷药控制系统存在一定的弊端,针对这一现状,本文基于STM32控制器设计了新型变量喷药控制系统,并对精准变量喷药控制算法进行了深入的研究和探