SwiftVLN 中文文档

简体中文 | English

本页按照使用目标组织 SwiftVLN 文档。首次使用从“安装与首次运行”开始；已经具备 环境和数据时，可直接进入训练或评测。

SatNav 场景支持申请下载现成 GeoTIFF，或使用自己的 API 凭据生成。

实现原理

• 双层记忆与滑动窗口：观测、动作块、窗口更新与训练监督。

• 历史记忆与 token 压缩：采样、池化、GridToMe、GTC 和 STC 的计算过程。

• 地图记忆：探索掩码、全局/局部图与 token 预算。

• 输入增强与 UAV 适配：起始帧、位姿 FiLM 与 Stage-A 对齐目标。

1. 安装与首次运行

1. 安装：分别准备训练环境与评测环境；

2. 模型与 Checkpoint：下载 Qwen 基础模型和 SwiftVLN checkpoint；

3. SatNav 训练数据：准备 Episode、GeoTIFF 和离线轨迹；

4. Habitat 训练数据：准备 R2R、RxR 和 EnvDrop 轨迹；

5. 评测数据准备：准备 SatNav 与 Habitat 在线评测数据。

2. 训练

• 模型与 Checkpoint：准备基础模型或已训练的 SatNav 模型；

• SwiftVLN 训练：主线模型的训练配置、完整训练和恢复；

• Memory 训练配置：配置历史帧采样、输入增强与长期 Memory 压缩；

• Satellite-to-UAV Stage-A：SatDronePair manifest、adapter 训练和 retrieval 评测；

• SatDronePair 数据生产：生成 Satellite-to-UAV Stage-A 使用的 UAV–Satellite 配对数据；

• SatNav 训练数据：生成并校验 SatNav 离线轨迹；

• Habitat 训练数据：生成并校验 R2R、RxR 和 EnvDrop 轨迹。

3. 评测

• 模型与 Checkpoint：下载 SatNav 默认模型与 ablation checkpoint；

• 评测数据准备：准备 SatNav Episode、GeoTIFF、R2R 和 MP3D；

• SwiftVLN 评测：SatNav/Habitat、单卡/多卡、resume、视频和指标。

4. 开发与扩展

• 代码架构：训练链路、评测链路、模块边界和依赖方向；

• 扩展 SwiftVLN：新增环境 backend、history processor、 embedding enhancement 或模型族。

5. 按目标查找

目标	文档
从源码安装	安装
下载基础模型或 checkpoint	模型与 Checkpoint
准备 SatNav 训练轨迹	SatNav 训练数据
准备 Habitat 训练轨迹	Habitat 训练数据
准备 SatNav/Habitat 评测数据	评测数据准备
训练 SwiftVLN	SwiftVLN 训练
配置 Memory 实验	Memory 训练配置
准备 Satellite-to-UAV SatDronePair 数据	SatDronePair 数据生产
训练 Satellite-to-UAV adapter	Satellite-to-UAV Stage-A
评测 checkpoint	SwiftVLN 评测
修改核心代码	代码架构

6. 文档约定

• 命令默认从 SwiftVLN 仓库根目录运行；

• /path/to/... 表示需要替换的本机路径；

• 机器路径、模型、数据和凭据不写入公共配置；

• smoke 只验证链路，不用于报告模型性能；

• 所有命令同时给出预期输出或可验证的完成条件。