无人机的飞行环境日益复杂,飞行任务要求越来越高,利用信息共享和资源优化建立多平台自主任务协同成为无人机技术发展的趋势。针对无人机执行协同任务及进行航迹规划的需要,在无人机四维飞行航迹规划相关研究的理论基础上,提出了一种更适合满足无人机航迹规划需求的改进的tau-H制导策略,在此基础上进行协同任务下的航迹规划求解。为了增强无人机的自主化程度,提升航迹对环境的适应性,使其能够通过经验积累对航迹进行快速决策,提出了一种结合强化学习的航迹规划方法,通过建立状态动作映射使改进的tau-H制导策略方法得到关联。通过仿真算例分析对该方法进行了可行性的验证。基于改进的tau-H制导策略的四维航迹规划方法,在常用的tau-H运动策略的基础上,通过在运动间距表达式中引入初速度的相关项,克服了其固有的仅能考虑始末速度为零的情况的缺陷,可实现无人机始末非静止的到达时间和速度的四维运动匹配。采用改进的tau-H制导策略规划多无人机协同的四维航迹,结合优化目标和各约束条件将多无人机的航迹规划问题转化为目标费用函数极值问题,简化求解难度;利用粒子群算法搜索各无人机初始耦合系数,形成全局航迹预规划;基于建立各无人机间通信拓扑,采用间隔采样与冲突判断的滚动优化方法求解局部再规划问题实现航迹不断更新。通过飞行任务仿真四维航迹的有效性进行仿真和对比,验证了该方法进行多无人机四维航迹规划及优化的有效性。为了提升航迹规划的灵活性,加强航迹的学习能力,提出了一种采用确定性策略梯度方法进行四维航迹规划的方法。通过对改进的tau-H制导策略结合强化学习理论进行状态动作的航迹关系映射,在此基础上选择采用深度强化学习方法结合确定性策略梯度方法的DDPG法作为无人机四维航迹的学习算法。通过建立强化学习网络结合状态动作映射,同时通过建立回报奖励函数,进行连续动作与连续值函数的训练。通过对传统飞行任务的仿真对比对算法进行有效性分析,结果表明该方法能够提供有效满足可行性与安全性的四维航迹。以上研究方法和结果可为无人机的多机协同与路径规划提供一定参考。