【摘 要】
:
近年来,无线多跳网络由于其在军事和民用领域的广泛应用而备受关注。在过去的几十年里,针对无线网络提出了大量的机会路由算法。人们普遍认为,深度强化学习是提高无线网络性能的一个很有前途的方式。然而,现有的关于无线网络和深度强化学习的研究大多是独立进行的,无法充分利用强化学习技术的学习能力来自适应地优化网络路由。这极大地限制了深度强化学习技术改善无线网络性能的潜力。为了体现深度强化学习技术在无线系统中的优
【出 处】
:
中国科学院大学(中国科学院大学工程科学学院)
论文部分内容阅读
近年来,无线多跳网络由于其在军事和民用领域的广泛应用而备受关注。在过去的几十年里,针对无线网络提出了大量的机会路由算法。人们普遍认为,深度强化学习是提高无线网络性能的一个很有前途的方式。然而,现有的关于无线网络和深度强化学习的研究大多是独立进行的,无法充分利用强化学习技术的学习能力来自适应地优化网络路由。这极大地限制了深度强化学习技术改善无线网络性能的潜力。为了体现深度强化学习技术在无线系统中的优势,进一步提高无线网络的智能化程度,满足未来无线通信网络发展的需求,本文提出了一种基于深度强化学习的无线多跳网络能量高效机会路由算法,该算法能够通过训练智能体来学习路由策略以减少数据包的传输时间,同时有效地平衡能耗以延长网络寿命。此外,本文提出的算法还可以显著缓解冷启动问题,获得较好的初始性能。仿真结果表明,与无线多跳网络环境中的现有解决方案相比,本文提出的算法具有更好的路由性能和能耗性能。本文的主要工作和贡献如下:·将无线多跳网络中的机会路由问题定义为马尔可夫决策过程,并定义了相应的状态空间、动作空间和奖励函数。·提出了一种利用深度强化学习解决无线多跳网络中分组路由问题的新型高效机会路由算法,可以有效地平衡路由性能和能耗。·提出的路由算法能够有效缓解传统的基于DQN(Deep Q Network)算法的冷启动问题,提高智能体早期的学习性能。·进行了大量的计算机仿真,结果表明,与现有的工作相比,本文算法能够显著改善路由性能。
其他文献
在1980年,Neumaier首次提出了t(1/2)-设计的概念,并且对t≥ 2的t(1/2)-设计进行了完全的分类.因此,对于t(1/2)-设计的研究就可以转化为对于1(1/2)-设计的研究,随后,许多数学
太阳日冕的活动使我们可以在行星际太阳风中的日球层电流片(HCS)和其伴生的日球层等离子体片(HPS)的附近观测到一些结构和波动。在文献调研之后我们发现HCS和HPS附近的磁流体
东濮凹陷具有构造复杂、断块破碎、储层薄、变化快、油藏高度小等地质特征,目前的勘探开发中主要存在着以下几个问题:复杂断块成像效果差,小段块圈闭把握不准、信噪比和分辨
近年来,人们对红曲米的潜在的利用价值越来越感兴趣,大量的研究表明红曲米中Monacolin K的含量相对较低,却具有改善动物高脂血症的功能。推测红曲米中可能有一些改善血脂的活
煤层注水技术对于降低粉尘浓度、防火和降温、井下预防冲击地压、预防煤与瓦斯突出等方面具有重要作用,可有效改善工作面生产环境。自2014年7月,高家堡矿建设施工以来,大巷开挖过程中出现了多次冲击地压动力显现现象。具体表现为底板迅速鼓起,两帮突然鼓出,肩窝及顶板出现下沉,锚杆(索)出现断裂现象,同时伴随有响亮的煤炮声,冲击地压灾害形式十分严峻;同时开采坚硬煤层中还产生大量粉尘,开采时大量的吸入粉尘颗粒,
一直以来,吲哚酮化合物因其独特的生物活性被广泛应用于天然产物和生物医药的合成中,同时吲哚酮化合物自身的合成也受到广泛的关注。目前,吲哚酮化合物的合成主要集中在后过
沉浸式视频是一种可以使用户自由探索全方位视角,与视频内容交互并产生真实沉浸感的新型媒体。近年来,沉浸式视频得到了飞速的发展。沉浸式视频在现有网络上传输时面临巨大的带宽消耗和严格的时延要求。传输完整的沉浸式视频比传输普通2D视频要多付出超过300倍的带宽资源,为避免用户产生强烈的晕眩感需要使时延低于20ms。这个传输要求超过了现有网络可以支持的能力。例如,LTE系统在20MHz带宽的下行峰值速率为1
目前,市场上的墙体保温材料主要分有机和无机两大类,有机保温材料由于燃烧性能不能达到A级不燃水平而必须退出外墙保温市场。与传统保温材料相比,发泡水泥保温材料不但高强质
令Fq为q元有限域,q是一个素数幂.Fqn为Fq上的n维行向量空间.令Wl为Fq上n维仿射空间AG(n,Fq)中不过原点的l-flat的集合.用Hi∈Wr标记行,用Pj∈Ws标记列,构造矩阵H(r,s,n,q)=(c
在煤炭装船过程中,为避免堆积,需要及时调整大铲(煤炭输出口)的位置。当前采用的工作方式是:观察员甲站在甲板上负责观察船舱底部煤炭堆积情况,并提前将情况通过步话机传递给操作员乙,乙在控制室做出响应,再调整大铲位置。这种方式存在的缺陷有:(1)甲乙配合工作不协调,可能导致方位调整不准确、不及时;(2)浪费企业人力资源。针对以上问题,本文设计了专门的小词汇量语音识别系统来替代乙的工作。甲将调整指令发送到