城市空域载人航空器的飞行避撞研究

城市空域载人航空器的飞行避撞研究

刘岩松,李傥,秦增

沈阳航空航天大学民用航空学院

摘要：城市空域载人航空器的出现，为未来城市立体交通体系提供了新的思路，为了保证载人航空器在城市空域的安全运行，躲避城市静态障碍的同时避免与其他航空器的碰撞，本文提出了一种基于马尔可夫决策过程的载人航空器飞行建模，并通过蒙特卡洛搜索树（Monte Carlo Tree Search，MTCS）算法对模型进行求解。数值实验的结果表示，该算法在解决该模型问题时具有较好的效果，可以帮助载人航空器更快速地到达目的地，并避免与其他航空器的冲突。

关键词：城市空域；载人航空器；避撞决策；蒙特卡洛搜索树；

1. 前言

随着人口的增长和城市化的加速，城市交通拥堵问题日益严重，这也促使人们开始寻求利用空中交通工具来缓解地面交通拥堵的问题。NASA、Uber、空客包括中国的亿航智能等公司一直在探索新兴的城市空中交通新概念，并各自推出了电子垂直起降航空器（e-VTOL），小鹏等汽车制造公司也推出了旗下的飞行汽车，以布局未来的城市空中交通体系。在可以预见的未来，城市低空空域中载人航空器数量将越来越来越多，为航空器建立安全高效的路径规划和飞行避撞决策方法，可以有效提高运输效率和安全性[1]。

本文将载人航空器的点到点载人运输任务描述成马尔可夫决策过程（Markov Decision Process，MDP），提出了一种基于蒙特卡洛搜索树（Monte Carlo Tree Search，MTCS）的载人航空器飞行避撞方法[2]，载人航空器感知其他航空器的位置、速度和飞行方向，执行在线顺序决策，通过机载航电设备实时选择行动。这一系列的行动将产生一个航行轨迹，可以引导飞机快速到达目的地并避免潜在的冲突。

2. 模型建立和求解

为便于操作，本文将航空器避撞问题考虑为二维避撞问题，并且所有入侵机只能以固定速度直线飞行，只有一架飞机(己方飞机)配备了MCTS算法并试图达到目标，且没有考虑入侵者之间的碰撞问题。

2.1状态空间

状态空间包括无人机和所有入侵飞机的位置和速度，以及目标位置。位置使用（x,y）进行确定，速度由（）确定，同时需要确定无人机的航向角。

如果入侵机的位置和速度是（）和（）,目标无人机的位置和速度是（）和（），航向角是，目标状态的位置是（），那么整个状态空间可以表示为（）。

2.2动作空间设计

无人机在同高度层中运行时的避撞问题被建模为二维平面的避撞问题，无人机并不进行高度的改变来避撞，因此不考虑爬升/下降动作，动作空间的设计为：A={-2°/s，0°/s，2°/s}。

2.3奖励函数设计

一个好的奖励函数应该尽量只包含需要完成目标的行动逻辑，避免因奖励函数不符合实际情况导致训练结果不能达到预期效果。最基本的奖励函数R可以用简单的状态判定获得，即：

R=  

2.4MCTS算法设计

MCTS是Anytime算法，可以在任意时刻被打断，MCTS根据当前树上的值函数报告一个最优动作供智能体执行。以上特性，决定了MCTS可以适用于规模特别巨大的实际问题的潜力[3]。

UCT（UCB applied to Tree）可以说是目前最流行的MCTS实现之一。UCT方法通过将UCB（upper confidence bound）方法和蒙特卡洛模拟相结合对搜索状态进行扩展。其实现方法如下：

第一步是选择。每次目标无人机位于树中时，它都会选择具有最大奖励值的子节点。

其中是节点j的平均回报，是被访问的次数，n为其父节点被访问的次数。

UCT算法的第二步是扩展，当无人机位于它以前从未访问过的新节点时会发生扩展。这个步骤只是将这个新节点添加到父节点（以前的状态）下的当前树中，并将其访问数设置为1，将累计奖励设置为0。

第三步是模拟。选择随机动作后，应确定下一个状态以推进模拟。由于状态空间包含所有信息（所有飞机的位置和速度以及目标位置），因此可以将此过程视为马尔可夫过程，这意味着可以直接根据当前状态和所选动作确定下一个状态。

最后一步是反向传播。将整个过程模拟到一个终端状态后，向新添加的节点赋予最终奖励，并将此分数备份到新添加节点的所有父节点。

3. 结论

通过数值仿真实验，可以发现，载人航空器发生碰撞的概率极低，且能快速到达目的地。实验证明该模型和求解算法在相对密集的空中交通场景下，经过训练的智能体能快速有效地避开地图中的障碍物与侵入航空器。

同时，还需要注意的是，本文所提出的算法仅在简化的场景下进行测试，所有入侵机都以确定性的方式执行其飞行计划。未来的工作将在实际地图环境中测试该算法。

参考文献

[1]Xiang Yu,Youmin Zhang. Sense and avoid technologies with applications to unmanned aircraft systems: Review and prospects[J]. Progress in Aerospace Sciences,2015,74.

[2]Browne, C. B.,Powley, E.,Whitehouse, D.,Lucas, S. M.,Cowling, P. I.,Rohlfshagen, P.,Tavener, S.,Perez, D.,Samothrakis, S.,Colton, S.. A Survey of Monte Carlo Tree Search Methods[J]. IEEE transactions on computational intelligence and AI in games,2012,4(1).

[3] 刘培根. 蒙特卡洛树搜索方法及其在隐身飞机自主任务规划中的应用[D].国防科学技术大学,2015.

[4]李诚龙,屈文秋,李彦冬,黄龙杨,卫鹏.面向eVTOL航空器的城市空中运输交通管理综述[J].交通运输工程学报,2020,20(04):35-54.DOI:10.19818/j.cnki.1671-1637.2020.04.003.

[5]张洪海,邹依原,张启钱,刘皞.未来城市空中交通管理研究综述[J].航空学报,2021,42(07):82-106.