模型与 Checkpoint
简体中文 | English
本章介绍 SwiftVLN 基础模型与已训练 checkpoint 的下载和配置。
1. 安装下载工具
python -m pip install --upgrade huggingface_hub
hf --help
2. Qwen 基础模型
2.1 支持的模型
SwiftVLN 支持以下基础模型：
|
Hugging Face 模型 |
SwiftVLN 配置变量 |
|---|---|---|
|
|
|
|
|
2.2 下载 Checkpoint
SatNav 默认模型与 ablation 模型基于 Qwen2.5-VL 3B。下载该基础模型：
export SWIFTVLN_MODEL_ROOT=/path/to/models
hf download Qwen/Qwen2.5-VL-3B-Instruct \
--local-dir "${SWIFTVLN_MODEL_ROOT}/Qwen2.5-VL-3B-Instruct"
下载 Qwen3-VL：
hf download Qwen/Qwen3-VL-2B-Instruct \
--local-dir "${SWIFTVLN_MODEL_ROOT}/Qwen3-VL-2B-Instruct"
2.3 配置模型路径
在 ${SWIFTVLN_ROOT}/.local/env.sh 中配置模型路径：
export SWIFTVLN_QWEN25_MODEL_PATH="/path/to/models/Qwen2.5-VL-3B-Instruct"
export SWIFTVLN_QWEN3_MODEL_PATH="/path/to/models/Qwen3-VL-2B-Instruct"
基础模型的训练配置与启动方式见 SwiftVLN 训练。
4. Habitat 模型
4.1 已发布模型
SwiftVLN 已发布两个采用 reference Memory 配置的 Habitat 模型：
模型 |
Backbone |
起始 Checkpoint |
|---|---|---|
|
Qwen2.5-VL 3B |
|
|
Qwen3-VL 2B |
|
两个模型共享以下训练配置：
配置 |
值 |
|---|---|
训练环境 |
Habitat |
训练数据 |
R2R、RxR、EnvDrop expert trajectories |
Epoch |
|
轨迹窗口 |
|
每轮动作数 |
|
窗口重叠 |
|
Memory |
均匀采样 8 张历史帧，per-frame average pooling，stride 2 |
Embedding enhancement |
|
Learning rate |
|
4.2 下载 Checkpoint
选择模型并下载到 SwiftVLN 模型目录。以下命令下载 Qwen2.5-VL 3B 模型：
export MODEL_NAME=swiftvln-habitat-3b-1ep-f32s4-overlap0-pf-h8-pool-s2-noembed
export SWIFTVLN_HF_MODEL_ROOT="${SWIFTVLN_ROOT}/output/model_zoo/swiftvln/HF_model"
export SWIFTVLN_HABITAT_MODEL_PATH="${SWIFTVLN_HF_MODEL_ROOT}/${MODEL_NAME}"
hf download "Eku127/${MODEL_NAME}" \
--local-dir "${SWIFTVLN_HABITAT_MODEL_PATH}"
下载 Qwen3-VL 2B 模型时替换模型名称：
export MODEL_NAME=swiftvln-habitat-qwen3vl-2b-1ep-f32s4-overlap0-pf-h8-pool-s2-noembed
export SWIFTVLN_HABITAT_MODEL_PATH="${SWIFTVLN_HF_MODEL_ROOT}/${MODEL_NAME}"
hf download "Eku127/${MODEL_NAME}" \
--local-dir "${SWIFTVLN_HABITAT_MODEL_PATH}"
检查模型配置与权重索引：
test -f "${SWIFTVLN_HABITAT_MODEL_PATH}/config.json"
test -f "${SWIFTVLN_HABITAT_MODEL_PATH}/model.safetensors.index.json"
下载后的模型可以直接用于 Habitat 在线评测，也可以作为后续训练的初始化 checkpoint。 具体命令见 SwiftVLN 评测和SwiftVLN 训练。
4.3 模型名称
两个模型名称中的公共字段表示相同的 Habitat 训练与 Memory 配置：
swiftvln-habitat-3b-1ep-f32s4-overlap0-pf-h8-pool-s2-noembed
│ │ │ │ │ │ │ └─ 无 embedding enhancement
│ │ │ │ │ │ └───────── pooling stride 2
│ │ │ │ │ └─────────────── per-frame，8 张历史帧
│ │ │ │ └───────────────────── 窗口无重叠
│ │ │ └────────────────────────────── 32 帧窗口，每轮 4 个动作
│ │ └──────────────────────────────────── 训练 1 epoch
│ └──────────────────────────────────────── Qwen2.5-VL 3B
└───────────────────────────────────────────────── Habitat
Qwen3-VL 模型使用 qwen3vl-2b 标识模型族与规模。评测时保留 Hugging Face 仓库中的
完整模型名称，eval_by_name.sh 会自动选择对应模型族与 Habitat backend。