第一作者陳昌和是美國密歇根大學的研究生，師從 Nima Fazeli 教授，研究方向包括基礎模型、機器人學習與具身人工智能，專注于機器人操控、物理交互與控制優化。

第二作者徐曉豪是美國密歇根大學機器人學院博士生，研究涵蓋3D 感知、視覺語言模型驅動的多模態異常檢測及魯棒三維重建。

共同第一作者 Quantao Yang 是瑞典皇家理工學院博士后，師從 Olov Andersson 教授，研究聚焦于利用視覺語言模型與大型語言模型提升自主系統在動態環境中的感知與導航能力。

密歇根大學和瑞典皇家理工學院的研究團隊提出了 ViSA-Flow 框架，這是一種革命性的機器人技能學習方法，能夠從大規模人類視頻中提取語義動作流，顯著提升機器人在數據稀缺情況下的學習效率。該方法在 CALVIN 基準測試中表現卓越，僅使用 10% 的訓練數據就超越了使用 100% 數據的現有最佳方法。

• 作者： Changhe Chen, Quantao Yang, Xiaohao Xu, Nima Fazeli, Olov Andersson
• 機構： 密歇根大學、瑞典皇家理工學院
• 網頁： https://visaflow-web.github.io/ViSAFLOW
• 論文鏈接：https://arxiv.org/abs/2505.01288
• 代碼開源： 即將發布

研究背景與挑戰

機器人模仿學習在使機器人獲得復雜操作技能方面取得了顯著成功，但傳統方法面臨一個根本性限制：需要大量精心策劃的機器人數據集，收集成本極其昂貴。這已成為開發能夠執行多樣化現實世界任務的機器人的關鍵瓶頸。

相比之下，人類展現出通過觀察他人學習新技能的非凡能力。無論是面對面學習、觀看教學視頻還是體育轉播，人類本能地專注于語義相關的組件。例如，學習網球時，我們自然地關注球員的身體動作、球拍處理技巧和球的軌跡，同時有效過濾無關的背景信息。

核心創新：語義動作流表示

人類和機器人操作共享相似原子動作

ViSA-Flow 框架的核心創新在于引入了語義動作流（Semantic Action Flow）作為中間表示，捕捉操作器 - 物體交互的本質時空特征，且不受表面視覺差異影響。該框架包含以下關鍵組件：

1. 語義實體定位

利用預訓練的視覺語言模型（VLM）對操作器（如 "手"、"夾具"）和任務相關物體（如 "紅色方塊"）進行文本描述定位，然后使用分割模型（如 SAM）生成初始分割掩碼。

2. 手 - 物體交互跟蹤

由于語義分割在連續幀間的不穩定性，研究團隊提出跟蹤正確分割的手 - 物體交互掩碼。通過在初始掩碼內密集采樣點，使用點跟蹤器（如 CoTracker）估計這些點在序列中的 2D 圖像軌跡。

3. 流條件特征編碼

為產生最終的 ViSA-Flow 表示，研究團隊將流信息編碼為豐富的特征向量，同時保留視覺上下文。使用跟蹤點軌跡生成空間局部化放大掩碼，通過放大因子調制感興趣區域內的像素強度。

ViSA-Flow 架構和策略學習框架圖

兩階段學習框架

第一階段：預訓練 - 學習 ViSA-Flow 動態先驗

使用大規模人類視頻數據集，預訓練生成模型以建模 ViSA-Flow 空間內的動態。模型學習基于過去上下文和語言指令預測未來表示，目標函數為：

L_pretrain (ψ) = E [||g_ψ(z≤t, l)[OBS] - z_{t+1:t+n}||2]

第二階段：微調 - 策略適應

使用少量機器人演示數據集微調模型，學習目標策略。采用多任務目標函數，結合動作預測和持續動態建模：

L_finetune (ψ) = E [L_act + λ_fwd*L_obs + λ_prog*L_prog]

實驗評估

CALVIN 仿真實驗

研究團隊在 CALVIN 基準測試上進行了全面評估，使用 ABC→D 分割，在環境 A、B、C 上訓練，在未見環境 D 上進行零樣本評估。

預訓練，微調以及評估所使用數據集

CALVIN ABC→D 基準測試的對比評估結果

關鍵發現

1. 數據效率優勢：ViSA-Flow 僅使用 10% 的注釋機器人軌跡（1,768 個），就超越了所有基線方法，包括使用 100% 數據的方法。

2. 連續任務性能：在 5 個連續任務完成方面，ViSA-Flow 達到 31.4% 的成功率，幾乎是使用 10% 數據的次佳方法 GR-MG（16.2%）的兩倍，甚至超過了使用 100% 數據訓練的SuSIE（26.0%）。

3. 平均序列長度：2.96 的平均序列長度進一步證明了 ViSA-Flow 在處理長時程操作任務方面的有效性。

消融研究

評估 ViSA-Flow 關鍵組件貢獻的消融研究結果

消融研究結果表明：

• 移除語義實體定位顯著降低性能，5 任務序列成功率從 31.4% 降至 9.6%
• 省略時間跟蹤階段使平均成功長度從 2.96 降至 2.78
• 排除操作器定位導致適度性能下降

真機實驗

研究團隊在真實世界環境中評估了 ViSA-Flow 的性能，包括兩個單階段操作任務和一個長時程操作任務。

實驗設置：

• 使用 7 自由度 Franka Emika Panda 機械臂
• 通過 Oculus 應用程序進行遙操作數據收集
• 雙攝像頭設置（眼內、眼外）提供 RGB 觀察

真機實驗設置

結果分析：

真實世界實驗結果圖表

• 單階段任務：ViSA-Flow 在 MoveContainer 和 PickEggplant 任務上顯著優于 GR-MG
• 長時程任務：ViSA-Flow 達到 56.3% 的整體成功率，而 GR-MG 和 DP 分別僅達到 8.3% 和 13.8%

定性分析

真實世界長時程任務的定性結果可視化

定性結果顯示，ViSA-Flow 的單步預測在整個長時程執行過程中與真實流保持緊密對齊：

• 模型持續聚焦于機器人夾具和任務相關物體
• 空間支持隨場景轉換平滑連貫地演化
• 在兩個連續子任務中保持相同的準確性水平

獎勵差異水平的性能分析

為評估 LLM 在不同難度水平下選擇更優設計的能力，研究團隊采用了難度加權準確率 (DWA) 指標進行分析。結果顯示，ViSA-Flow 在處理細微性能差異的任務時表現更穩定，證明了語義動作表示的有效性。

提示設計分析

研究還探索了不同組件對框架性能的影響：

1. 語義分割的重要性：準確的語義實體識別是框架成功的關鍵

2. 時間跟蹤的必要性：一致的點對應關系對保持時間動態至關重要

3. 跨域泛化能力：語義表示有效緩解了視覺外觀差異的影響

技術優勢與局限性

技術優勢

1. 數據效率：僅需少量機器人演示數據即可達到優異性能

2. 跨域泛化：有效利用人類視頻知識轉移到機器人執行

3. 長時程穩定性：在復雜序列任務中保持穩定表現

4. 語義一致性：關注任務關鍵交互而非視覺外觀

當前局限性

1.3D 幾何建模缺失：缺乏顯式的 3D 幾何和接觸動力學建模

2. 預訓練組件依賴：依賴預訓練 VLM 組件可能限制新領域適應性

3. 物理交互精度：在需要精細物理交互的任務中可能存在限制

未來發展方向

1. 物理建模增強：將接觸物理學整合到 ViSA-Flow 表示中

2. 端到端訓練：減少對預訓練組件的依賴，實現聯合訓練

3. 強化學習集成：將 ViSA-Flow 先驗與強化學習算法結合

4. 大規模預訓練：擴展到網絡規模的視頻語料庫進行預訓練

研究意義與展望

ViSA-Flow 為機器人學習領域帶來了重要突破，證明了從大規模人類視頻中提取語義表示進行機器人技能學習的可行性。該方法不僅在理論上具有創新性，在實際應用中也展現出強大的性能優勢。

通過引入語義動作流這一中間表示，ViSA-Flow 成功橋接了人類演示視頻觀察與機器人執行之間的差距，為構建更加智能、高效的機器人學習系統開辟了新的研究方向。

隨著技術的進一步發展和完善，ViSA-Flow 有望在工業自動化、家庭服務機器人、醫療輔助等多個領域發揮重要作用，推動機器人技術向更加智能化和普適化的方向發展。

參考文獻

本研究基于機器人操作、模仿學習和視頻學習等多個前沿領域的最新進展，為推動機器人智能化發展提供了重要的理論基礎和技術支撐。