本文的作者均來自新加坡國立大學 LinS Lab。本文第一作者為新加坡國立大學博士生高崇凱，其余作者為北京大學實習生張浩卓，新加坡國立大學博士生徐志軒，新加坡國立大學碩士生蔡哲豪。本文的通訊作者為新加坡國立大學助理教授邵林。

人類具有通用的、解決長時序復雜任務的規劃能力，這在我們處理生活中的復雜操作任務時很有用。這種能力可以被描述為這樣的過程：首先，人們會在面臨一個任務時思考當前可能的動作，然后通過想象能力預測這些步驟可能帶來的結果，最后基于常識對這些結果進行打分，選擇最佳動作來執行并完成任務。這種基于世界模型的搜索算法是人類解決開放世界操作任務的能力基礎。這種能力背后的核心在于，人類大腦構建了一個關于物理世界的 “世界模型” 和一個通用的價值函數，他們模型賦予了我們對于物體未來狀態的想象能力和規劃能力。那么，機器人能否也具備這樣的對物理世界的理解和想像能力，使得能夠在執行任務之前就能規劃好未來的步驟？

近年來，機器人技術飛速發展，我們見證了越來越多智能化機器人的出現。然而，與人類相比，現有機器人在處理復雜、多階段任務時仍顯得力不從心。它們往往依賴于特定任務的數據和預設指令，或者借助大模型在簡單的抓取技能上進行規劃，難以像人類一樣靈活地規劃和執行復雜通用的操作任務。如何為機器人構建類似于人類的 “世界模型”，從而實現通用任務規劃能力，一直是機器人研究中的核心挑戰。

近日，來自新加坡國立大學的邵林團隊提出了 FLIP：一種基于世界模型的視頻空間任務搜索和規劃框架。該方法能夠適用于通用的機器人操作任務上，包括可行變物體操作和靈巧手操作任務。該方法直接基于機器人視覺空間進行任務規劃，通過特殊設計的動作提出模塊、動力學預測模塊、和價值函數預測模塊進行基于世界模型的任務規劃，且具有模型參數量的可擴展性。該論文已發表在 ICLR 2025 上，并在 CoRL 2024 LEAP Workshop 中被選為 Oral Presentation。

• 論文標題：FLIP : Flow-Centric Generative Planning as General-Purpose Manipulation World Model
• 項目主頁：https://nus-lins-lab.github.io/flipweb/
• 論文鏈接：https://arxiv.org/abs/2412.08261
• 代碼鏈接：https://github.com/HeegerGao/FLIP

一、引言

世界模型（World Models）指的是基于學習的方法，用于模擬環境的表示或模型。借助世界模型，智能體可以在模型內部進行想象、推理和規劃，從而更加安全且高效地完成任務。近期生成模型的進展，特別是在視頻生成領域，展示了利用互聯網規模的訓練數據生成高質量視頻，以作為世界模擬器的應用潛力。世界模型在多個領域開辟了新途徑，尤其是在機器人操縱任務方面，這也是本文的研究重點。

通用機器人的智能主要分為兩個層次：第一，通過多模態輸入對任務進行高層次的抽象規劃；第二，通過與現實環境交互實現計劃的具體執行。設計良好的世界模型能夠有效地實現第一個功能，即實現基于模型的規劃。這種模型需要具備交互性，能夠根據給定的動作來模擬環境狀態。框架的核心在于找到一種通用且可擴展的動作表示，連接高層規劃和低層執行。這種動作表示需滿足兩個要求：一是能表達場景中不同物體、機器人及任務的多種運動；二是容易獲得大量的訓練數據以支持擴展。現有方法或是依賴語言描述作為高層動作，或是直接采用底層的機器人動作與世界模型互動，但這些方法存在一些限制，比如需要額外的數據或標注過程，或者無法描述精細復雜的動作細節，例如靈巧手的精細動作。這些限制激勵我們探索其他更有效的動作表示。同時，現有的世界模型缺乏合適的價值函數作為結果的評價標準，對未來的規劃常常限制在貪心搜索層面，難以實現真正的任務空間的搜索能力。

圖像流是一種描述圖像中像素隨時間變化的動態表示，能夠通用且簡潔地表示不同機器人和物體的運動，比語言更加精細和準確。此外，圖像流可以直接通過已有的視頻追蹤工具從視頻數據中獲取。同時，已有研究表明，圖像流對于訓練低層次的操控策略也具有很高的有效性。因此，圖像流非常適合作為世界模型的動作表示。然而，目前如何使用圖像流來規劃機器人操控任務仍有待探索。

在本文中，我們提出了以圖像流為中心的通用機器人操控規劃方法（FLIP）。具體而言，我們從帶有語言標注的視頻數據中訓練出以圖像流為核心的世界模型。該世界模型包括三個模塊：一是負責動作生成的圖像流生成網絡；二是根據圖像流生成視頻的動力學模型；三是進行視覺語言評估的價值模型。我們設計了一種新的訓練方式，用于整合這三個模塊，以實現基于模型的規劃：給定初始圖像和任務目標，動作模塊生成多個圖像流方案，動力學模型預測短期視頻結果，價值模塊評估視頻生成結果的優劣，通過樹搜索方法合成長期規劃。

實驗結果表明，FLIP 方法不僅可以成功解決模擬和真實環境下的多種機器人操控任務，如布料折疊、展開等，還能生成高質量的長期視頻結果。同時，這些圖像流和視頻規劃也能用于指導低層次策略的訓練。此外，我們還證明了 FLIP 的三個模塊均優于現有相關方法。進一步的實驗也顯示，FLIP 能有效模擬各種復雜的機器人操控任務，展現了其良好的交互性、零樣本遷移和可擴展能力。本文的主要貢獻如下：

• 提出了以圖像流為中心的通用機器人操控規劃方法（FLIP），實現了交互式的世界模型。
• 設計了圖像流生成網絡、流條件視頻生成網絡，以及一種新的視覺語言表示模型訓練方法作為 FLIP 的核心模塊。
• 通過實驗驗證了 FLIP 方法在多種任務上的通用性與優越性，展現了出色的長期規劃能力、視頻生成質量和策略指導能力。

圖 1 FLIP 框架介紹

二、FLIP 的三個模塊

我們把機器人操作任務建模為 MDP，我們旨在通過學習一個世界模型和一個低層策略來解決這一問題。世界模型在圖像和圖像流空間上進行基于模型的規劃，以最大化回報，合成長時程的規劃方案；而低層策略則負責在真實環境中執行這些規劃。我們計劃僅使用帶有語言標注的視頻數據集來訓練世界模型，使其具備通用性和可擴展性，而低層策略則利用少量帶有動作標注的數據集進行訓練。為了實現基于模型的規劃，我們的世界模型包含以下三個關鍵模塊，具體將在接下來的章節中介紹。

2.1 圖像流生成作為通用的動作模塊

FLIP 的動作模塊是一個圖像流生成網絡，其作用是生成圖像流（即查詢點在未來時刻的軌跡）作為規劃的動作。我們之所以使用生成模型而非預測模型，是因為在基于模型的規劃過程中，動作模塊需要提供多種不同的動作候選，以用于基于采樣的規劃方法。具體來說，給定時刻 t 之前 h 步的圖像觀測歷史、語言目標，以及一組二維查詢點坐標，圖像流生成網絡會生成未來 L 個時間步內（含當前時間步）的查詢點坐標。

一個關鍵的問題是訓練數據標注。查詢點的圖像流可以直接使用現有的視頻點跟蹤模型（例如 CoTracker）從純視頻數據中提取。然而，如何選取查詢點成為問題。以往的方法或是使用自動分割模型在感興趣區域選取查詢點，或是按照預定義的比例在運動和靜止區域選取查詢點。這些方法存在兩個問題：一是現代分割模型（例如 SAM）很難在復雜場景下準確無誤地分割出目標區域；二是在長時間的視頻中，可能出現物體的進入或離開，僅使用初始幀的查詢點會產生問題。因此，我們在每個時間步對整幅圖像均勻采樣密集的網格查詢點，以解決第一個問題；同時，僅對短時程的視頻片段進行跟蹤，即從長視頻的每一幀開始進行短時程跟蹤，以緩解第二個問題。這樣，即便有物體進出，其影響也被限制在短時程內。具體來說，對數據集中每一幀，我們均勻采樣一個候選點網格，并利用現有的 Co-Tracker 工具生成未來 L 步的視頻片段中的圖像流。

如圖 2 所示，我們設計了一個以 Transformer 架構為基礎的條件變分自編碼器（VAE）進行圖像流生成。與之前預測絕對坐標的方法不同，我們發現預測相對位移的表現更好，即預測每個查詢點的坐標變化量。在 VAE 編碼器端，我們對真實圖像流進行編碼，將觀測歷史轉換成圖像區塊（patches），并利用語言模型 Llama 進行語言嵌入編碼成 token，將它們與一個用于信息匯聚的 CLS token 拼接后送入 Transformer 編碼器，將 CLS 位置的輸出提取為 VAE 的隱變量。在 VAE 解碼器端，我們首先將當前時刻 t 的查詢點編碼成查詢 token，將它們與圖像和語言 token 以及重參數化采樣出的隱變量 z 拼接后送入另一個 Transformer 編碼器，提取查詢 token 位置的輸出，通過兩個 MLP 網絡預測未來 L 步的位移幅度和位移方向，從而逐步重構完整的未來圖像流。同時，我們還對圖像 token 位置的輸出進行圖像重建任務的輔助訓練，這被證明對提高模型訓練的準確性有幫助。

圖 2 動作模塊和動力學模塊

2.2 基于圖像流的視頻生成模型作為動力學模塊

我們的第二個模塊是一個動力學模塊，是以圖像流為條件的視頻生成網絡，根據當前的圖像觀測歷史、語言目標和預測的圖像流生成后續 L 幀視頻，以實現下一步的迭代規劃。

我們設計了一種新的基于潛在空間的視頻擴散模型，能夠有效地接受多種條件輸入，如圖像、圖像流和語言。該模型基于 DiT 架構構建，并結合了空間 - 時間注意力機制。在此我們著重介紹多模態條件處理機制的設計。在原始的 DiT 及之前基于軌跡條件的視頻擴散模型中，通常使用自適應層歸一化（AdaLN-Zero）處理條件輸入（例如擴散步驟和類別標簽），其通過零初始化的 MLP 網絡回歸出層歸一化的縮放和平移參數。然而，這種機制會將所有條件信息壓縮為標量，無法實現條件與輸入之間更精細的交互，因此不適用于圖像與圖像流等復雜條件。為了解決這一問題，我們提出了一種混合條件處理機制，用于多模態條件生成。

具體而言，我們使用交叉注意力機制，使圖像流條件（表示為目標點的 tokens）與觀測條件及帶噪幀之間進行細粒度的交互。對于歷史圖像觀測條件，我們將其直接拼接到高斯噪聲幀上。此外，我們仍然使用 AdaLN-Zero 機制處理全局條件，包括擴散步驟和語言指令，以整體指導擴散過程。為了保證觀測條件的清晰性，在擴散過程中我們既不向觀測歷史添加噪聲，也不對其進行去噪處理。

2.3 視覺 - 語言表征學習作為價值函數模塊

FLIP 的價值模塊基于語言目標對當前圖像進行評估，從而生成一個價值函數估計 V?t，用于在圖像空間進行基于模型的規劃：V?t = V (ot, g)。在本研究中，我們采用了 LIV 模型作為價值函數。LIV 首先從帶語言標注的無動作視頻中學習語言 - 視覺的共享表示，隨后基于當前圖像與目標語言的相似度計算價值。具體而言，LIV 計算圖像與語言表示的加權余弦相似度，作為價值的衡量標準。預訓練的 LIV 模型在應用于新任務時需要進行微調以獲得良好的價值表示。原始的微調損失包括圖像損失和語言圖像損失，前者通過時間對比學習增加起始幀與結束幀的相似性，同時將相鄰幀的嵌入距離維持為（經過折扣的）固定值；后者則鼓勵目標圖像與目標語言的相似性提升。

然而，我們發現該原始的微調方法對于長時程且不完美的視頻數據表現不佳，微調后的價值曲線呈現明顯的劇烈波動，這對基于采樣的規劃算法十分不利，因為多數規劃算法期望平滑的價值曲線。例如在規劃過程中，機械臂可能出現暫停或猶豫等情況，導致任務表現不穩定。為了緩解這一問題，我們將原有損失函數中 "相鄰幀" 的概念替換為 "相鄰狀態"，將狀態定義為短時程的視頻片段。具體地，我們將長視頻劃分為多個固定長度的小片段，每個片段被視作視頻的最小單元。通過此調整，能有效平滑價值曲線，顯著改善規劃過程中價值評估的平滑性，如圖 3 所示。

圖 3 價值函數模塊

三、基于流的世界模型規劃算法

3.1 基于模型的圖像流、視頻與價值函數規劃

直接以自回歸方式生成長時程視頻通常不夠準確。因此，我們采用基于模型的規劃方法，使用圖像流動作模塊和視頻生成模塊，通過最大化累積折扣回報來規劃未來視頻幀，公式表示為：

根據貝爾曼方程，這等效于每一步選擇使即時獎勵與未來狀態價值之和最大的下一狀態。我們設計的獎勵機制也鼓勵找到最短的規劃路徑。我們使用爬山法（Hill Climbing）解決該問題，具體操作是首先初始化 B 個規劃束（beam）。在每個時刻 t，根據當前的圖像觀測歷史和語言目標，動作模塊生成多個圖像流動作候選方案；然后動力學模塊基于這些圖像流生成若干個短期未來視頻片段。接著，通過價值模塊評估生成的視頻，選擇 A 個視頻中具有最高獎勵的視頻，以進行下一輪迭代。為了防止規劃過程過于依賴某些異常狀態，我們周期性地將具有最低價值的規劃束替換為最高價值的規劃束。該算法總結在圖 4 中。

3.2 下層策略的實現

FLIP 的低層策略負責具體執行規劃好的動作。在給定當前圖像歷史、語言目標、圖像流動作，以及視頻生成模塊生成的短時程視頻后，該策略預測具體的低層機器人動作，從而引導機器人在真實環境中進行操作。我們訓練了多個策略，每個策略輸入不同類型的條件信息，所有策略都僅需使用少量的示范數據進行訓練。

圖 4 基于世界模型的規劃算法流程

四、實驗結果

4.1 基于模型的機器人操控任務規劃結果

在本節中，我們首先展示 FLIP 能夠：1）實現不同機器人操控任務的基于模型的規劃；2）合成長時程視頻（≥ 200 幀）；3）指導低層策略在模擬和真實環境中執行任務。我們也分別評估動作模塊、動態模塊和價值模塊，并展示 FLIP 的交互性、零樣本轉移能力和擴展性。

實驗設置。在本節中，我們使用四個基準測試 FLIP 的規劃能力。模型以初始圖像和語言指令為輸入，搜索圖像流和視頻空間合成任務規劃方案。第一個基準是 LIBERO-LONG，一個包含 10 個長時程桌面操控任務的仿真基準，我們使用分辨率為 128×128×3 的 50×10 個視頻進行訓練，并在新的 50×10 個隨機初始化上測試。第二個基準是 FMB，包含物體操作和裝配任務，我們使用 1,000 個單物體多階段視頻和 100 個多物體多階段視頻（分辨率 128×128×3）訓練，在 50 個新初始化上測試。第三和第四個基準是布料折疊和展開任務，我們使用各 40 個不同視角的視頻進行訓練，在 10 個新視角上測試（分辨率 96×128×3）。評估方式為人工檢查生成視頻是否成功解決任務，我們與兩個基準方法進行比較：1）UniPi，一種基于文本的視頻生成方法；2）FLIP-NV，即移除價值模塊的 FLIP 版本。

結果。實驗結果如圖 5 所示，顯示 UniPi 的成功率較低，表明直接生成長視頻有較大難度。FLIP-NV 表現優于 UniPi，說明圖像流能有效指導視頻生成。FLIP 的表現超過了所有基準，體現了價值模塊對基于模型規劃的重要性。

4.2 長時程視頻生成評估

實驗設置。本節我們定量評估 FLIP 生成長時程視頻的質量，與其它視頻生成模型進行對比。我們選擇 LIBERO-LONG、FMB、布料折疊 / 展開，以及 Bridge-V2 基準進行評估，視頻長度普遍超過 200 幀（Bridge-V2 除外）。我們選擇的基準方法包括 LVDM（一種先進的文本到視頻方法）和 IRASim（一種以機械臂末端軌跡為條件的視頻生成方法）。評估指標包括潛在空間的 L2 距離、像素空間的 PSNR 和 FVD 視頻質量評估指標。

圖 5 定量實驗結果

結果如圖 5 所示。FLIP 在所有數據集上表現均優于基準方法。LVDM 在較短的 Bridge-V2 上表現尚可，但在長視頻基準（如 LIBERO-LONG 和 FMB）表現不佳。IRASim 表現優于 LVDM，說明軌跡引導的重要性，但由于其自回歸生成方式，仍不及 FLIP 通過模型規劃和短視頻片段拼接的方式生成高質量視頻。FMB 的表現普遍較差，原因在于訓練視頻包含大量瞬時跳躍行為，而 FLIP 依靠歷史觀測的方式在一定程度上克服了這一問題。我們還定性展示了 FLIP 在 ALOHA 任務、轉筆、機器人取藥、系塑料袋、人類剝雞蛋等復雜長視頻任務上的應用，如圖 6 所示。

圖 6 基于世界模型的任務規劃結果

4.3 上層規劃引導的下層策略實驗

實驗設置。本節我們探討生成的圖像流和視頻規劃如何作為條件，用于訓練操控策略完成任務。主要問題是確定圖像流或視頻（或二者結合）哪個更適合指導策略學習。我們使用 LIBERO-LONG 基準進行評估，每個任務使用 10 個帶動作標注和 50 個無動作標注的視頻示范進行訓練。推理階段，FLIP 作為閉環策略，每執行一段動作后重新規劃。我們與 ATM 及其擴散策略版本，以及 OpenVLA（零樣本和微調版）進行比較。

結果分析如圖 7 所示。我們可以發現，相比擴散策略和 ATM-DP，我們提出的計劃引導策略表現出更高的成功率，這表明密集的圖像流信息和高質量的未來視頻作為條件要優于稀疏的圖像流信息。其中，圖像流與視頻共同引導的策略（Ours-FV）表現最佳，說明結合圖像流和視頻作為條件信息有助于提升策略成功率。此外，僅用視頻引導的策略（Ours-V）雖然表現尚可，但在機器人偏離訓練軌跡時生成的視頻質量會降低，導致較大的表現波動；而加入圖像流作為額外條件后，成功率的方差明顯減小，體現了圖像流預測的穩定性。

圖 7 基于圖像流的下層模型的成功率，和 FLIP 的價值函數模塊效果

4.4 FLIP 基礎特性的實驗驗證

為展示 FLIP 的幾個關鍵特性，我們在 LIBERO-LONG 等基準數據集上進行了額外的實驗驗證。實驗結果展示在圖 8 中。

交互式世界模型能力。我們驗證了訓練好的動力學模塊的交互性，即能夠根據人為指定的圖像流生成相應的視頻。實驗表明，該模塊能夠準確響應用戶指定的圖像流，生成對應的視頻。

零樣本遷移能力。我們展示了預訓練的 FLIP 模型無需額外微調，即可有效處理未見過的任務數據，成功生成自然的機器人動作，表明 FLIP 具備一定的知識遷移能力。

可擴展性。通過在大規模視頻數據集上訓練，FLIP 顯示出較好的擴展能力。即使面對大量復雜任務和視頻數據，模型依然能穩定地實現有效的規劃和視頻生成。

圖 8 FLIP 的三個特性

五、結語

在本研究中，我們提出了 FLIP，一種以圖像流為核心的通用機器人操控任務生成規劃方法。FLIP 通過圖像流和視頻生成實現對多種操控任務的通用規劃。盡管 FLIP 表現出色，但仍存在一些局限性：首先是規劃速度較慢，主要由于規劃階段需要進行大量的視頻生成過程，限制了該方法在準靜態操控任務中的應用。其次，FLIP 未使用場景的物理屬性和三維信息。未來的研究可以考慮開發結合物理性質與三維場景信息的世界模型，以進一步擴展 FLIP 的適用范圍。