構(gòu)建無所不能、無需人類、完全自主行動的 AI agent，是當前大模型行業(yè)的熱門研究方向。

主流觀點認為，更高的自主性代表了更好的系統(tǒng)——減少人類介入本身就具有內(nèi)在價值，而完全的獨立性則應成為最終目標。

然而，華人學者Philip S. Yu（伊利諾伊大學芝加哥分校杰出教授、ACM Fellow、IEEE Fellow）、李東遠（東京大學助理教授）團隊卻有著不一樣的看法：

應當將進步的評判標準從“自主智能”轉(zhuǎn)向“協(xié)作智能”，即發(fā)展以人機合作為核心的LLM-HAS（基于 LLM 的人-agent 系統(tǒng)）。

在這種范式下，AI 不再是孤立運作的“操作員”，而是人類的積極協(xié)作伙伴；在增強人類能力的同時，也保留了關(guān)鍵的人類判斷與監(jiān)管職責。

相關(guān)研究論文以“

A Call for Collaborative Intelligence: Why Human-Agent Systems Should Precede AI Autonomy

論文鏈接：

https://arxiv.org/pdf/2506.09420

在他們看來，AI 的進步不應以系統(tǒng)獨立程度來衡量，而應以它們與人類協(xié)作的有效性來評判；AI最值得期待的未來，不在于取代人類角色的系統(tǒng)，而在于通過有意義的合作來提升人類能力的系統(tǒng)。

他們呼吁，業(yè)界和學界應從當前對完全自主 agent 的追逐，根本性地轉(zhuǎn)向以人機協(xié)作為核心的 LLM-HAS。

為什么完全自主agent“不行”？

基于 LLM 的自主 agent 是一種能夠在開放、真實世界環(huán)境中獨立運行的系統(tǒng)，通過“感知-推理-行動”的循環(huán)完成任務，且無需人為干預。

與 Human-in-the-loop 系統(tǒng)不同，基于 LLM 的自主 agent 能夠獨立地解析目標、規(guī)劃行為、調(diào)用工具，并通過基于語言的推理和記憶進行適應。

例如，在軟件工程領域，GitHub Copilot 可以自主生成、測試并重構(gòu)代碼，幾乎不需要開發(fā)者干預，加速了常規(guī)開發(fā)流程；在客戶支持領域，AutoGLM、Manus 和 Genspark 等系統(tǒng)能夠在無需人工干預的情況下，完成復雜的行程規(guī)劃、自動預訂以及解決服務問題，在動態(tài)環(huán)境中展現(xiàn)出優(yōu)秀的感知-動作循環(huán)能力。

然而，當前基于 LLM 的自主 agent 在真實世界的部署仍面臨以下三方面挑戰(zhàn)：

1.缺乏可靠性、信任與安全

LLM 容易生成看似可信但實則虛假的“幻覺”內(nèi)容。幻覺問題的普遍存在，直接削弱了人們對完全自主系統(tǒng)的信任。如果系統(tǒng)無法持續(xù)且可靠地提供準確的信息，它在高風險場景下（如醫(yī)療診斷、金融決策或關(guān)鍵基礎設施控制）將極為危險。

2.處理復雜與模糊任務的能力不足

這類 agent 在需要深度推理的任務中表現(xiàn)不佳，尤其當目標本身含糊不清時更是如此。人類的指令往往并不明確；缺乏常識背景的 LLM 可能會誤解任務，進而采取錯誤行為。因此，在如科學研究等目標開放、動態(tài)調(diào)整的復雜領域，它們并不可靠。

3.法規(guī)與法律責任問題

盡管這類系統(tǒng)具備“行動能力”，但在現(xiàn)有法律體系下，它們并不具備正式的法律責任主體資格。這就導致了責任與透明度之間存在巨大鴻溝：當系統(tǒng)造成傷害或做出錯誤決策時，很難厘清責任應由誰承擔——是開發(fā)者、部署者，還是算法本身？隨著 agent 能力的增強，這種“能力”與“責任”之間的法律鴻溝只會愈加嚴重。

LLM-HAS：以人機合作為核心的

與基于 LLM 的完全自主 agent 不同，LLM-HAS 是一種協(xié)作框架，其中人類與由 LLM 驅(qū)動的 agent 協(xié)同工作，共同完成任務。

LLM-HAS 在運行過程中始終保持人類參與，以提供關(guān)鍵信息和澄清說明，通過評估輸出結(jié)果并指導調(diào)整來提供反饋，并在高風險或敏感場景中接管控制權(quán)。這種人類參與，確保了 LLM-HAS 在性能、可靠性、安全性和明確的責任歸屬方面的提升，尤其是在人類判斷仍不可或缺的領域。

推動 LLM-HAS 的根本動因，在于它具備解決自主 agent 系統(tǒng)所面臨關(guān)鍵局限和風險的潛力。

1.增強的信任與可靠性

LLM-HAS 的交互性特征，使人類能夠?qū)崟r提供反饋、糾正潛在幻覺輸出、驗證信息，并引導 agent 產(chǎn)生更準確、可靠的結(jié)果。這種協(xié)同驗證機制是建立信任的關(guān)鍵，尤其在高錯誤代價場景下至關(guān)重要。

2.更好地處理復雜性與模糊性

相較于在面對模糊指令時容易迷失方向的自主 agent，LLM-HAS 借助人類持續(xù)的澄清能力而表現(xiàn)出色。人類提供關(guān)鍵的上下文、領域知識，并能逐步細化目標——這是處理復雜任務所不可或缺的能力。當目標表達不明確時，系統(tǒng)可以請求澄清，而不是在錯誤假設下繼續(xù)操作。特別適用于目標動態(tài)演變的開放式研究或創(chuàng)造性工作。

3.更明確的責任歸屬

由于人在決策流程中持續(xù)參與，特別是在監(jiān)督或干預環(huán)節(jié)，更容易建立明確的責任邊界。在這種模式下，通常可以明確指定某個人類操作員或監(jiān)督者為責任主體，從而在法律與監(jiān)管上更具可解釋性，遠比一個完全自主的系統(tǒng)在出錯后追責要清晰得多。

研究團隊表示，LLM-HAS 的迭代式溝通機制有助于 agent 行為更好地對齊人類意圖，從而實現(xiàn)比傳統(tǒng)的基于規(guī)則或端到端系統(tǒng)更靈活、透明且高效的協(xié)作，從而廣泛地應用于高度依賴人類輸入、情境推理與實時互動的各類場景，涉及具身智能、自動駕駛、軟件開發(fā)、對話系統(tǒng)以及游戲、金融、醫(yī)療等。

在上述領域中，LLM-HAS 將人類與 AI 的交互重新定義為基于語言的協(xié)作過程，該過程受反饋塑造并由適應性推理驅(qū)動。

五大挑戰(zhàn)與潛在解決方案

盡管 LLM-HAS 展現(xiàn)出廣闊的應用前景，但要成功落地，還必須在開發(fā)全周期中審慎應對其固有挑戰(zhàn)。主要涉及初始設置、人類數(shù)據(jù)、模型工程、后期部署和評估。

1.初始設置：仍聚焦于 agent 本身

目前關(guān)于 LLM-HAS 的大部分研究采用以 agent 為中心的視角，其中人類主要評估 agent 的輸出并提供糾正反饋，這種單向交互主導了現(xiàn)有范式，重新塑造這種動態(tài)關(guān)系存在巨大潛力。

若使 agent 能夠主動監(jiān)控人類表現(xiàn)、識別低效環(huán)節(jié)并及時提供建議，將使 agent 的智能得到有效利用并減輕人類工作負荷。當 agent 轉(zhuǎn)變?yōu)橹笇越巧岢鎏娲呗浴⒅赋鰸撛陲L險并實時強化最佳實踐時，人類與 agent 的性能均會提升。研究團隊認為，轉(zhuǎn)向更以人為本或更平衡的 LLM-HAS 設計，是實現(xiàn)真正人-agent 協(xié)作的關(guān)鍵。

2.人類數(shù)據(jù)：人類反饋的差異性

人類在 LLM-HAS 中的反饋在角色、時機和表達方式上差異巨大。由于人類具有主觀性，受個性等因素影響，同一系統(tǒng)在不同人手中可能產(chǎn)生完全不同的結(jié)果。

另外，很多實驗中使用 LLM 模擬“偽人類”反饋。這類模擬數(shù)據(jù)往往無法真實反映人類行為差異，從而造成性能失真，削弱比較的有效性。

高質(zhì)量人類數(shù)據(jù)的獲取、處理與使用，是構(gòu)建對齊良好、協(xié)作高效的 LLM-HAS 的基礎。人類生成數(shù)據(jù)能夠幫助 agent 獲得更細致的理解，提升其協(xié)作能力，并確保其行為符合人類的偏好與價值觀。

3.模型工程：缺乏適應性與持續(xù)學習能力

在 LLM-HAS 的開發(fā)中，打造真正“適應性強、可持續(xù)學習”的 AI 合作者仍是核心難題。

目前主流方法將 LLM 視為靜態(tài)的預訓練工具，導致“未能有效吸收人類洞見”、“缺乏持續(xù)學習與知識保持能力”和“缺乏實時優(yōu)化機制”等問題，

要充分釋放 LLM-HAS 的潛力，必須通過“人類反饋融合、終身學習機制和動態(tài)優(yōu)化策略”的整合方式，突破上述瓶頸。

4.后期部署：尚未解決的安全脆弱性

部署后的 LLM-HAS 仍在安全性、魯棒性和責任歸屬方面面臨挑戰(zhàn)。目前業(yè)界往往更關(guān)注性能指標，然而在人機交互中的可靠性、隱私與安全等問題尚未得到充分研究。確保可靠的人機協(xié)作需要持續(xù)監(jiān)控、嚴格監(jiān)督以及整合負責任的人工智能實踐。

5.評估：評估方法不充分

當前針對 LLM-HAS 的評估體系存在根本缺陷。它們通常偏重 agent 的準確性與靜態(tài)測試，往往完全忽略人類協(xié)作者所承擔的真實負擔。

因此，我們迫切需要一套新的評估體系，從（1）任務效果與效率、（2）人機交互質(zhì)量、（3）信任、透明度與可解釋性、（4）倫理對齊與安全性、（5）用戶體驗與認知負荷，多維度綜合量化人類與 agent 在協(xié)作中的“貢獻”與“成本”，從而真正實現(xiàn)高效、可靠且負責任的人-agent 協(xié)作。

更多內(nèi)容，詳見論文。

整理：學術(shù)君

如需轉(zhuǎn)載或投稿，請直接在公眾號內(nèi)留言