可能是更高效、更便宜的 Agent 實現路徑。

文丨孫海寧

程曼祺

主流 AI Agent 都把大語言模型（LLM，或者它的多模態版本）當作 “大腦”，靠一個或幾個 LLM 編排工作、調用工具。但也有另一條路：Agent 規劃、作業靠不依賴自然語言的強化學習模型，LLM 只充當 Agent 和人類的 “交互層”。

不一樣的想法，來自去年 10 月成立，至今只有 4 個正式員工的 Pokee.ai。

Pokee.ai 創始人朱哲清有十余年強化學習研究、落地經驗。2017 年起，從杜克大學計算機科學專業畢業的朱哲清，一邊在斯坦福大學攻讀強化學習方向博士學位，師從 Benjamin Van Roy；一邊在 Meta 工作，曾任 Meta“應用強化學習” 部門負責人，他用強化學習算法改善內容推薦系統，把上任前只剩 3 人，一度要關停的部門擴張至 10 余人，為 Meta 增收 5 億美元。

靠 LLM 規劃、決策，是個自然而主流的想法。OpenAI Operator 和網頁交互、操作電腦的能力基于 GPT-4o 模型，Manus 完成任務則是靠 Claude 3.5 Sonnet 模型做長程規劃。Claude 提出方便 LLM 理解、使用第三方工具的通用協議 MCP 后，LLM 能調用的工具變多，把 LLM 當作 Agent 大腦的趨勢增強。

但這種方法也有局限：現有的 LLM 仍無法大量調用工具?！癓LM 可能調用超過 50 個工具，就會產生幻覺。” 朱哲清說。因為描述工具用途、用法的信息需要先放入上下文，而 LLM 能接受的上下文長度有限。

Agent 靠 LLM 完成任務也可能更慢、更貴。朱哲清舉例 LLM 用 browser-use 瀏覽網站、多步交互時，單次可能消耗數百萬個 Token，成本在幾美元到幾十美元之間?！坝?browser-use 的初創公司多數在虧錢。”

Pokee.ai 使用的強化學習模型不用上下文理解工具用途。它掌握工具是靠訓練時成千上萬次 “試錯”，由此記住工具和問題的正確組合。朱哲清說他們的 Agent 在訓練時已經見過 15000 個工具，之后出現類似的新工具，自然會用。

同時，強化學習方法訓練的模型參數量更小，這意味著完成任務耗時更短、成本更低。Pokee.ai 官方演示中，Agent 產品 Pokee 完成一項任務只要幾分鐘。朱哲清說相比同類產品，Pokee 的單任務成本也只有它們的 1/10。

因為覺得 MCP 過于復雜，需要開發者自己設置 MCP 服務器，聲明如何設置參數，保證工具之間能相互銜接，Pokee.ai 團隊另做了一套方便 Agent 調用工具的協議，開發者說明工具的輸入、輸出、喚起方式，就能被 Pokee 調用。同時，Pokee 未來也會支持 MCP。

試用 Pokee 時，《晚點 LatePost》發現，它能較好地調用各個平臺數據接口完成讀取、寫入等任務。沿著個方向優化，是因為 Pokee 的目標場景之一，是幫從事營銷、運營等崗位的 “專業用戶” 完成社媒運營等日常工作。朱哲清認為只有綁定用戶工作流，Agent 產品才獲得競爭壁壘。

Pokee 試用案例

任務：查找關于 OpenAI o3 模型的最新報道，尤其是其優缺點，以及它與其他大型模型相比的表現。然后從 Google 圖片中獲取相關圖片。使用以上信息制作新的 Google 幻燈片，并發送至 sunhaining@latepost.com。

我們也遇到了一些 bug，比如把整理好的內容寫入 Google 云盤時，Pokee 會在只需要一個的情況下，同時創建兩個新文檔；執行較復雜的搜索任務時，相關數據接口表現不穩定，容易卡住。朱哲清說目前 Pokee 仍然在內測階段，已經能勝任很多任務，同時團隊在努力提升大規模任務下的穩定性。

本周二 Pokee 在海外內測前，《晚點 LatePost》訪談了朱哲清。本次訪談的播客版也已發布。

AI Agent，但以強化學習模型為核心

晚點：你是什么時候想到要用強化學習方法做 Agent 的？

朱哲清：我之前在 Facebook 應用強化學習（Applied Reinforcement Learning）團隊，用強化學習方法推薦內容有很多成功落地案例，估算下來，Facebook 每年將近 5 億美元的年收入是由我們團隊帶來的。

但我很早就意識到強化學習的潛力不止于讓 Facebook 廣告收入提高幾個百分點。你可以把向用戶推薦每篇文章理解成一個個抽象的 “動作”，動作之間需要做規劃。它和 Agent 拆解任務、設計工作流是異曲同工的。

晚點：那為什么在 LLM 出現、變得可用后，你才離職創業？

朱哲清：強化學習模型是個很聰明的大腦，能把現實世界抽象成一個個數組，做決策、執行任務。但人類不可能理解一個個數組。LLM 的輸入、輸出都是自然語言，它的出現解決了 Agent 如何與人交互的問題。

晚點：交互之外，LLM 也有推理、規劃的能力，Pokee 為什么不直接把 LLM 作為 Agent 的大腦？

朱哲清：Agent 要好用，得能調用工具，它們可能有上千個。但現在最好的 LLM 在調用 100 個甚至 50 個工具的時候，就已經開始出現幻覺。

因為 LLM 的 “注意力” 有限，能支持的上下文 Token 長度有限。比如有 50 個工具，每個工具用 1000 個 Token 描述，那光工具就有 5 萬個 Token。完成任務時，調用一個工具拉出一篇文章，文章對應的 Token 也要作為上下文喂給 LLM。十幾步下來，就是上百萬個 Token，百分之百產生幻覺。

晚點：如果考慮到模型能力持續進步呢？

朱哲清：LLM 注意力基本上和模型參數量成正比，如果有無限的計算量，可以無限放大模型，當然能在沒幻覺的情況下調用上千個工具。但這不現實。

另外，未來任務越來越復雜，工具數量會按照幾何級數上漲，而 LLM 的參數量、上下文長度只能線性增長，不可能把世界上所有的工具包進來。

晚點：或者 LLM 不用掌握 1000 個工具，只要用好少數幾個造工具的工具，比如 Python 代碼就行了？

朱哲清：靠代碼只能做出一些常規、通用的工具。假設要 LLM 寫個工具幫你預定騰訊會議，它起碼得看過騰訊會議的開發者文檔，才會寫吧？想找到開發者文檔，又可能得調用大量工具，回到 LLM 調用工具能力有限的問題。

晚點：為什么強化學習模型能比 LLM 模型更好地調用工具？

朱哲清：強化學習模型完成任務的能力來自 self-play（自我對弈）——在一個虛擬的環境里無數次試錯，找到最優路徑，然后記住它，之后遇到類似的情況就知道該怎么做。它不靠 Token 決策，不用像 LLM 一樣先生成 1000 個 Token 理解工具是什么、怎么用，再生成 1000 個 Token 理解問題是什么，再生成 1000 個 Token 匹配問題和工具。

完成多步任務時，LLM 開始每一步動作前，都要掃描一遍之前生成的 Token，再選工具，有 N 個步驟，就得做 N 次決策；而強化學習模型一次決策，就能計劃好在哪一步該調用什么工具。

晚點：兩類模型思考的方式又有什么不同？

朱哲清：LLM 本質還是在學人類的思維模式，它預訓練時提煉文本中的人類知識，微調時也和人類對齊。但強化學習模型只靠試錯尋找最優路徑，有時會跳出人類思考框架。

之前我讓 Pokee 幫我和投資人預約會議，但忘記給它郵箱的閱讀權限。一個基于 LLM 的 Agent 按照人類思路，這時可能直接問用戶要收件地址，但 Pokee 直接 Google 了投資人的公開信息，拿到了郵箱地址。

晚點：LLM 在搭 Agent 時，應該扮演什么角色？

朱哲清：長期看 LLM 可能會是一個用戶交互界面，是互聯網的前端。而在后端，所有工具的交互是由某種協議加某種決策機制來完成的，不必然用自然語言。

比如你讓 Agent 去買菜，它會用 LLM 理解你在說什么，然后交給另一個以強化學習為核心的模型做。后者再把信息傳達商家端的 Agent。商家端 Agent 確定庫存、收貨地址，向送貨員發請求。這過程應該由 Agent 和 Agent 之間的溝通來完成。

先服務專業用戶，再進入企業工作流

晚點：在你看來，一個合格的 Agent 有哪些特點？

朱哲清：首先，完成任務耗時短。如果一個 Agent 完成任務比人工久，不管過程中有沒有人參與，這個 Agent 一定都不會成功。因為人有一個慣性——機器完成某件任務時，他會在旁邊盯著，而不是交給機器就走開了。

晚點：等等，就算有人習慣盯著，一邊刷手機一邊盯著，和全神貫注地盯著，還是有蠻大區別的吧？

朱哲清：這么說也沒錯。但在人能一邊刷手機一邊盯著的簡單場景下，Agent 都比人要慢，這 Agent 還是不夠聰明。

第二，Agent 動作要連貫，能最小化人工指導、輸入，不能完成了第一個任務，還需要人工復制、粘貼，放到第二個任務里面去再繼續執行。

第三，Agent 不能只讀取信息，還得能寫入?，F在多數 Agent 都只有抓取信息、做分析的能力，但不能寫入互聯網，或者寫入個人賬戶、公司賬戶。

最后，成本要足夠低，低到人工的 1/10，甚至是 1//100，這樣才能提高 Agent 的使用頻率。

晚點：Pokee 現在單次任務成本、完成任務的時間大概是多少？

朱哲清：大概是市面上已有 Agent 產品的 1/10，完成一項任務大概只要小幾分鐘。這是靠強化學習模型相對于 LLM 的優勢實現的。

晚點：除了耗時、成本，Pokee 還和其他 Agent 產品有哪些不同？

朱哲清：用戶操作界面上，我們沒有內嵌一個屏幕展示 Agent 具體在做什么，因為我們不用 browse-use（讓 Agent 操控瀏覽器的開源工具）。瀏覽器是給人看的，是落后的。LLM Agent 用 browser-use 把網頁扒下來、多步操作非常慢，單次可能消耗數百萬個 Token，成本在幾美元到幾十美元之間，用 browser-use 的初創公司多數在虧錢。

執行任務時，Pokee 直接通過數據接口和各個平臺交互，已經打通了 Facebook、Google、Amazon 等大平臺的幾千個數據接口——這個目前市面上沒人能做到。由此，Pokee 能讀取已有數據、寫入新數據。

晚點：為什么把 “調用各個平臺數據接口” 作為 Pokee 的主攻方向？

朱哲清：我們的目標用戶是 prosumer（專業消費者），他們用消費級產品完成日常工作。最早有創業想法的時候，我和很多做廣告營銷的朋友聊，他們反饋生產完內容后，手動在各個平臺上傳播、推廣得花三、四個小時。后續運營也很麻煩，一個帖子后有十幾個評論，都得人工點開回復。這些完全可以用 Agent 替代。

Agent 產品純靠技術不足以形成護城河。總有一天，對手能用相似的技術做出類似的產品。更重要的是靠先發優勢，把用戶的工作流綁定在產品內。

滲透完專業消費者后，我們會進一步拓展企業客戶?，F在很多公司沒接入 OpenAI，一是擔心數據安全，需要能部署在本地的 Agent；二是成本問題，模型得足夠小、單次任務成本低，才能反復調用。這是我們努力的方向。

晚點：很多公司追求穩定勝過效率——人工排出一個工作流、所有部門都同意后，可能并不需要一個 Agent 去改變它，哪怕 Agent 更高效。

朱哲清：這就是為什么我們要先突破專業消費者。改變已有工作流確實很難，但需求也確實存在。我們向專業消費者證明原先二、三十步的人工操作能被 Agent 搞定，他們可能會自下而上地推動公司改變。

另外，我們也在產品里加了護欄。用戶可以點一下，讓 Pokee 完成所有子任務；也可以讓 Pokee 分步完成任務，每個新步驟開始前都要確認，增加安全感。

一些很好的跡象是，我們把 Pokee 的用例發給公司老板后，他們是有購買意愿的。

晚點：你們不用 LLM 決策，是不是意味著沒辦法接入 MCP，調用其他開發者做好的工具？

朱哲清：我們支持 MCP，但 MCP 部署對非 AI 方向的開發者來說比較復雜。所以我們做了一個自己的協議，開發者只要聲明工具的輸入、輸出是什么，如何喚起工具，就可以被 Pokee 調用。

晚點：接入新工具后，需要重新訓練嗎？

朱哲清：多數情況下不用?，F在這版 Agent 訓練時已經見過 15000 個工具了，給了它很好的泛化能力。如果要調用小眾的工具，那可能還需要做微調，和以 LLM 為核心的 Agent 一樣。

晚點：你怎么看接下來 Agent 市場的競爭？

朱哲清：我覺得未來一年之內，至少看到十家通用 Agent 公司，最后會存留三、四家。同質化的通用 Agent 涌現出來后，它們一定會想辦法差異化，類似現在 Claude 專攻代碼、ChatGPT 打磨普通用戶使用體驗。

始終相信強化學習潛力，從垂直回歸通用

晚點：你從本科開始對強化學習感興趣，到博士畢業都一直研究同一個領域。中間沒有考慮過轉向嗎？

朱哲清：沒換過方向，但會有誘惑。之前有人拉我做基于 LLM 的聊天機器人、3D 卷積神經網絡模型等等，都沒做多久，因為它和我的核心路徑沒太大關系，我最了解的還是強化學習，就應該沿著這條路走下去。

如果你覺得某個方向是正確的，那就得軸一點。Richard Sutton（強化學習奠基人，圖靈獎獲得者）早年非常不順利，他的研究近四年無人問津，也找不到教職。Geoffrey Hinton（深度學習奠基人，圖靈獎、諾貝爾獎獲得者）也類似，當時他提出深度神經網絡的時候，所有人都說這是狗屁，沒人覺得它有未來。

晚點：但沿著一個技術方向走到底之前，總得先判斷它的前景如何。

朱哲清：這方面我和 Richard Sutton 交流過，結論是得找到 “Toy Example”（玩具案例）——用極少的計算量驗證一個問題別的技術解決不了，而你的技術可以做。案例必須有現實意義、普適性。

我本科上 AI 課的時候，有一個下棋的數據集。其他算法都假設未來是完全隨機的，每次只預測一步，但強化學習算法會考慮策略整體的合理性，有規劃地改變局勢走向。類似地，人面對生活中大多數問題時，不會每次只規劃一個步驟。這時你就能知道強化學習在規劃問題時有第一性原理優勢。

晚點：按照這個思路會錯過大語言模型嗎？大語言模型規模沒到一定程度前，效果并不驚艷。

朱哲清：但沒有任何代替方案效果接近大語言模型。

晚點：最初你提出要以強化學習算法為核心搭建 Agent 后，得到的反饋如何？

朱哲清：最開始我和投資人聊是去年九、十月份的時候，那時候其實 AI Agent 還不火，強化學習也不火。有投資人說 “沒人會投你們的，你們過于超前了。”

學界、業界的人聽到我想法后，則覺得非常有潛力。甚至我十月份出來創業以后，有人直接問我能不能加入新公司。當時我們還沒透露融資等各種情況。

晚點：然后沒幾個月，靠強化學習提升智能的 o1 模型就發布了。

朱哲清：OpenAI 說 o1 是強化學習驅動的，但大家不知道他背后的邏輯是什么。

真正帶火強化學習的是 DeepSeek。它類似當年 Alpha Go 到 Alpha Zero 的中間態，不需要人為標注每一個結果的好壞，通過某種規則就能判斷 Agent 一系列行為的優劣。這意味著不再需要人工創造大量數據，Agent 的每一個行為結果都可以立刻被檢驗。

晚點：OpenAI o1、DeepSeek R1 用的強化學習方法，和你們用的強化學習方法區別是什么？

朱哲清：強化學習只是一種方法，它可以用來訓練 o1、R1 這樣的 LLM，也可以用來訓練 Pokee 用的、不基于自然語言的強化學習模型。兩者原理都是一樣的，但為模型構建的環境不一樣、模型學習時的試錯方法也不一樣。

晚點：DeepSeek R1 帶火強化學習后，對你們有什么影響？

朱哲清：強化學習不是共識前，很多人建議我們先落地一個應用。于是我們先花了兩個月做了個垂直電商 Agent，它集成了 Shopify（一個幫助商家搭建網店的服務公司）官方提供的所有數據接口，能幫 Shopify 商家給顧客推薦產品、提供售后服務。

R1 教育完市場后，上百個投資人來找我們、客戶也有幾十個，問我們是不是有做通用 Agent 的能力。這確實是我們創業的初衷。所以當時決定轉向做通用 Agent。

晚點：Shopify 允許外部 Agent 調用站內工具，類似開放的生態在中國也存在嗎？

朱哲清：相比北美和歐洲，中國互聯網生態更封閉。Facebook 開放更新 Facebook Page（公司、機構、KOL 等的公共主頁）的接口，Instagram 直接開放了專業用戶和創作者相關的幾乎全部接口。我們已經把 Google 和 Meta 的數據接口全部接完了，國內能不能集成百度或者騰訊所有的功能，得打個巨大的問號。

我猜因為商業環境更開放，通用 Agent 會先在北美爆發。

題圖來源：《芬奇》