【摘 要】
：
针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法.首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度.然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器的收敛性.最后,通过随机初始状态及随机动压变化下蒙特卡洛打靶试验和数学仿真来验证ALRIRL算法,仿真结果表明提出的方法能够根据参考状态跟踪误差振荡情况自适应调整学习率参数,实现飞行姿态稳定
【机 构】
：
北京理工大学宇航学院,北京100081;北京理工大学飞行器动力学与控制教育部重点实验室,北京100081;中国运载火箭技术研究院,北京100076
论文部分内容阅读
针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法.首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度.然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器的收敛性.最后,通过随机初始状态及随机动压变化下蒙特卡洛打靶试验和数学仿真来验证ALRIRL算法,仿真结果表明提出的方法能够根据参考状态跟踪误差振荡情况自适应调整学习率参数,实现飞行姿态稳定跟踪控制,提高强化学习飞行控制器的成功率.该方法减轻了 IRL飞行控制算法对预先设定学习率超参数的依赖,拓宽了 IRL在飞行器大范围动力学参数变化情况下的应用.
其他文献
对天问一号双目视觉避障技术的组成、方案及原理进行了介绍,通过图像障碍识别和双目立体地形感知完成天问一号降落过程中的安全着陆点自动选取.通过高分辨率双目匹配和亚像素插值处理,提高远距离双目测量精度;在计算资源严格受限的条件下,采用FPGA作为硬件加速平台,通过功能模块的并行化和流水线设计,提高计算视差和三维信息的速度;为克服在轨恶劣环境导致的参数变化,设计在轨自标定方法实现双目对正参数表的自主更新;开展了地面试验和在轨应用,验证了双目视觉避障技术的有效性,实现2 K×2 K高分辨率双目稠密匹配,匹配用时1
针对天问一号探测器软着陆的安全性和稳定性问题,提出了一种高容错自主触火关机策略.首先考虑探测器进入、下降和着陆过程中大冲击、高动态、强振动环境,造成触火开关误触发的问题,设计了以触火信号、加速度信息以及高精度导航数据相结合的软着陆在线决策方法.通过自主故障诊断和处理策略提高了决策的正确性.然后,利用基于事件触发的发动机关机时序控制策略实现了火星着陆巡视器触火关机动作执行的自主管理及容错重构.最后试验和在轨结果表明:本文设计的高容错触火关机策略能够满足软着陆触火关机的需要.
针对天问一号着陆器的进入、下降与着陆(EDL)过程,考虑伞降动态特性,建立包含大底与背罩分离过程的EDL全过程高保真仿真模型.对着陆器跨越高超声速到亚声速的飞行过程,特别是伞降过程中降落伞、着陆器、大底、背罩的相互作用进行建模,建立了着陆器六自由度刚体动力学模型、降落伞-着陆器(背罩)组合体模型、大底(背罩)-着陆器组合体模型.结合着陆器、降落伞的力学环境模型以及大气进入与着陆过程的制导策略,构建了着陆器EDL全过程的仿真模型.通过弹道仿真分析了天问一号着陆器在进入与着陆过程中的动态特性,仿真结果表明,飞
考虑到火星探测任务着陆过程动态变化大,稀薄大气环境下开伞会对探测器产生剧烈晃动,为此天问一号探测器研制了一套高动态着陆惯导系统,从硬件产品、使用时序到导航算法方面均进行了针对性设计,以适应着陆过程中的高动态环境.此外,为验证天问一号探测器高动态着陆惯导系统的性能,设计了模拟火星开伞工况的火箭弹高空开伞试验,结果表明该高动态着陆惯导系统的设计满足火星探测任务需求.
针对天问一号着陆器大底分离过程,建立大底分离动力学模型并分析分离安全性,基于分析结果设计了大底分离策略.利用大底分离动力学模型和近距离扰动气动模型,分析了分离过程的相对速度和姿态运动规律,根据大底与着陆器的正分离要求确定了大底分离的最小弹射速度.考虑到着陆器姿态运动影响分离安全性,对着陆器施加角速度阻尼控制并限制了最短控制时间.在此基础上结合安全分离判据确定了大底分离触发的可用马赫数和可用时间,设计了累积速度作为触发条件并施加了时间约束.伞降过程蒙特卡洛仿真结果表明,在天问一号着陆器的系统参数和大底分离触
多发性骨髓瘤(MM)是一种起源于骨髓的浆细胞恶性克隆增殖性疾病,好发于中老年人[1],发病率逐年增加,是血液系统较为常见恶性肿瘤.大多数患者随着近些年来免疫调节剂和蛋白酶体抑制剂的临床应用后总体生存率有显著提高,患者生存质量得以改善,然而难治性和复发性骨髓瘤患者的治疗效果不尽如人意.人CD38抗原为单链Ⅱ型跨膜糖蛋白,长度为45kDa,调节细胞活化、分化和增殖[2],通常在造血干细胞、T细胞、NK细胞和树突细胞中表达,外周血中性粒细胞和B淋巴细胞不表达,骨髓瘤细胞高量表达,成为MM免疫靶向治疗药物作用的新
酒文化已然成为人们在社会交际活动中必不可少的一项文化,而因长期大量饮酒、酗酒、嗜酒所引发的酒精中毒性疾病也在逐年升高,威胁人们的生命健康及生活质量.据流行病学调查显示,在我国酒精滥用现象亦呈增长趋势,酒精中毒的患病率为31.7%,并呈现年轻化趋势[1].本研究通过制备大鼠酒精中毒模型,探讨酒精中毒后导致线粒体膜通透性改变的作用机制.
交流发电机普遍应用于通航中小型固定翼飞机和直升机,作为飞机电源系统中最重要的部件,其工作状态直接影响到飞行安全.文章以Cessna172飞机的9910591-11/RX型交流发电机为例,从结构和工作原理入手,通过统计近几年送修交流发电机故障数据,分析发电机重点零部件故障成因,提出如何基于可靠性管理方法优化现有维修方案,提高发电机的维修质量和延长设备使用寿命.
针对天问一号探测器火星着陆过程多体运动及表面地形不确定性强的任务特点,提出了粗避障与伞-背罩组合体规避的协同控制策略以及激光三维配以双目立体视觉的精避障策略,介绍了障碍检测与规避系统的硬件配置、飞行过程、障碍检测与规避部分算法,并通过地面悬停避障专项试验验证了障碍检测与规避策略的有效性,可为后续火星采样返回任务和载人火星探测任务的着陆过程提供一定参考.
肾脏肿瘤或者肾动脉瘤破裂、钝性或穿透性肾脏损伤均可导致致命性肾脏出血.临床诊疗操作过程中,肾脏出血也时有发生,例如肾脏活检(PKB)、经皮肾造瘘、肾脏部分切除术(PN)、经皮肾镜取石术(PCNL)、肾动脉血管腔内成形术(PTRA)等[1-4].肾脏出血的自发止血率仅为11%[5],保守处理疗效欠佳.1973年首次报道了肾动脉栓塞(RAE)对PKB相关动静脉瘘(AVF)进行干预[6].为进一步探讨与RAE相关的临床问题,本文进行了病例回顾分析,报道如下.