Deep learning-based spacecraft relative navigation methods A survey

本文是基于深度学习的飞行器相对导航算法的综述。相比地面任务，飞行器导航需要高可靠性，同时又缺乏大规模的数据集。本文围绕飞行器交互对接（spacecraft rendezvous）、小天体探索、地形导航三个方面，对现有的DL-Based算法进行介绍。

Introduction

相机传感器地位的提升，使得Deep-Learning方法在宇航任务中存在应用的可能。在未来，DL-Based方法将在以下三个领域实现广泛应用：

1. 非合作目标的交互对接(Non-Cooperative rendezvous)；
2. 降落与着陆过程的地形导航；
3. 小天体的探索与patch pinpoint点定位

在前人的研究中，Kothari等人的论文中主要讨论了spacecraft positioning onboard system在入坞(docking)与着落(landing)过程中所应该实现的目标。Cassinis(注意不是Cassini号)等人则针对非合作飞行器交会对接方面，首次对DL方法进行了整理与综述。

下图中，从上述三个应用方向，对现有的DL-Based相对定位方法进行了整理。

注意，图中的代表方法都以参考文献的方式写出，需要到对应的参考文献列表中查阅论文

相对导航中的DL位姿估计算法

本部分主要介绍S/C rendezvous中基于深度学习的相对导航算法。位姿估计算法分为直接法与间接法，直接法即E2E的网络，网络输入图像，输出位姿，间接法则将位姿估计分为特征提取与位姿估计两部分，输入图像先提取特征，再通过另一中方法或另一个网络来估计出位置与姿态，如下图所示：

地基DL相对定位算法相关研究

讨论深度学习算法，离不开地基相对位姿估计算法的研究，因为大部分情况下，深度学习的飞行器位姿估计算法都是从现有的地基载具定位算法发展而来。本文中提到的方法如下：

1. Kendall[], PoseNet，将GoogleNet中的softmax分类器换为affine regressor，实现对姿态四元数和位置向量的估计，该方法在大尺度outdoor场景下能够实现2m、3deg的精度，在indoor场景下能够实现0.5m、5deg的精度；
2. Wang[]，DeepVO，一个单目视觉里程计(Monocular Visual Odometry)，这个方法的pipeline为一个DRCNN结构[]，首先使用一个预训练的FlowNet从RGB图像序列中提取出特征，接着使用LSTM对特征进行处理，估计出位姿，本文端到端的DRCNN能够将整个轨迹的位置和姿态RMSE控制在5.96%和6.12deg（论文中所提到的条件的100m-800m长度的轨迹，这里尚未弄清楚该轨迹是什么轨迹）；
3. Rad and Lepetit[]，BB8，使用卷积网络来回归8个三维空间点的二维位置，用来定义PnP算法的bounding box，使用PnP算法来恢复位姿，文章中使用VGG来作为基础网络，使用经典的重投影误差来作为loss function。

空间DL相对定位算法面临的挑战

地基适用的算法与空间适用的算法依然有着很大的区别。这些区别主要是由于空间环境、飞行器本身条件所导致的，主要有以下六个：

1. 行星与恒星运动对导航系统产生的干扰（这里应该说的是相对的，因为恒星的绝对位置认为是不动的）
2. 缺少大气和光线的散射，对成像条件形成了挑战
3. 更strong的阴影与光比更大的光照条件，会产生对比度更为极端、信噪比更低的图像
4. 星载硬件的功率计算资源的匮乏使得DL算法很难处理
5. 训练数据集几乎没有（scarce）
6. 对DL技术可靠性的担忧

事实上，相比传统方法，深度学习方法一定程度上能够减轻上述的挑战（文章作者观点，本人持有“Talk is cheap, show me code”的态度）。例如，基于DNN的算法在动态光照条件下表现出更高的鲁棒性，部署高性能处理设备（可能是指Nvidia Jetson系列的开发板）不仅能够减小计算复杂度，同时还可以降低复杂动态模型的必要性（Need of complicated dynamic models），对于定位结果的可靠性，DL算法也可以输出不同的结果，通过融合其他传感器的数据——例如使用滤波算法——提高定位的可靠性。

ESA在2019年发起了KPEC(Kelvins Pose Estimate Challenge)竞赛，目的在于吸引研究者们开发适用于人造卫星相对定位的算法。该竞赛使用两个数据集，其中一个为斯坦福大学构建的SPEED(Spacecraft Pose Estimation Dataset)仿真合成数据集，另一个是在实验室中进行缩比模拟的数据集。

查一查这个数据集是怎么做出来的
ESA的KPEC竞赛在2021年也办了一次，这次他们对数据集进行了扩展

直接法空间飞行器相对姿态估计算法

Spacecraft rendezvous如下图所示：

相对位姿估计的最终目的，是从图像序列中获取目标target在chaser坐标系$\mathop{\mathcal{F}}\limits_{\rightarrow^{c}}$下的6自由度姿态$\mathop{\mathcal{F}}\limits_{\rightarrow^{t}}$。