文 | 電廠，作者 | 董溫淑，編輯 | 高宇雷

5月24日、25日，智能創作工具團隊Flowith在上海、北京連開兩場線下活動，發布了其最新的Agent功能Neo。

Neo得名于《黑客帝國》系列電影的男主角、也是發現世界真相的“救世主”角色；而Flowith的Agent Neo則號稱是“第一個可以啟動無限步驟、無限上下文、無限任務的Agent”。因此，有人稱其為“無限流”Agent，Flowith團隊隨之引起了大量關注。

「電廠」曾在幾個月前采訪過Flowith的創始人倪正民Derek，本次也在第一時間拿到了Neo模式更新后的試用資格。

“無限流”Agent，意味著用戶理論上可以在一個窗口沒有限制地補充、調改提示詞，直至Agent Neo的答案足夠令人滿意。但在理想化描述背后，還有許多問題需要驗證，比如：Neo的表現是否名副其實？它是否有所擅長、有所不及？在復雜、多輪任務執行中，Neo又能否保證穩定性？

這也是如今所有Agent類工具面臨的質疑。但在評測工具方面，由于底座大模型已經普遍刷遍了現有評測榜單的“題庫”，導致難以直接測試出大模型及其衍生工具的真實水平。

5月26日，紅杉中國推出了一款全新的AI基準測試集xbench。根據其論文描述，xbench是一個“長青”測試集，能夠隨著模型與技術發展而不斷演進。

首版xbench除了針對科學類、深度搜索類場景設計評測集，還專門為招聘和市場營銷垂類任務設計了評測框架。

根據紅杉中國最新研究論文中給出的樣題和測試方法，「電廠」對Flowith最新推出的Agen Neo進行了簡單的評測。

結果顯示，面對招聘相關任務時，Flowith Agent Neo展現出了制定候選人名單、或者反向搜索特定候選人信息的能力；在執行10道社科類深度搜索任務時，Agent Neo答對了4道題目；在執行數學/化學/計算機等10個科學類任務時，Agent Neo同樣給出了4個正確答案。

當AI成為“獵頭”，能否解決人才mapping難題

在招聘場景下，「電廠」選取了xbench論文中給出的兩個prompt，分別測試Agent Neo在人才mapping、特定候選人信息搜集任務上的表現。

首先是人才mapping任務，prompt為：

你是一名招聘專家。你需要根據職位要求準確識別目標“科技記者”。 職位要求：界面新聞「電廠」招聘科技記者。候選人負責AI、消費電子等領域報道，能夠完成對全球科技產業最新動態相關熱點報道和深度長線報道、能夠對創業者、技術專家等各類目標行業從業者進行采訪；從業三年以上，有代表作優先。 你需要注意：1. 除非另有說明，只考慮中國大陸的候選人。2. 不要過度搜索。在你的分析結束時，你需要以下列格式返回搜索結果：搜索對象1：xx，搜索對象 2：xx……。電廠額外加上了“提供5名候選人”的指令。

開始運行此任務后，Flowith Neo逐一調研了大陸科技和消費電子記者所活躍的媒體平臺，結合「電廠」崗位需求形成了《科技記者候選人分析報告》，列出諸多潛在候選人，繼而針對每位潛在候選人進行信息搜集與核查。

經過多輪重新搜索與匯編后，Neo最終給出了5名“存在待核實的信息點但符合部分核心要求”的候選人名單。

值得一提的是，最后Neo還完成了《科技記者職位候選人篩選評估報告》，其中詳細列出了諸位候選人的匹配之處與不足之處，并以圖表形式呈現。

Flowith Agent Neo推薦的「電廠」候選人

注：由于Neo從互聯網上搜集了真實存在的記者信息，此處將相關人名隱去，僅以序號指代。

此外，「電廠」還以作者為例，讓Neo調研了某位特定候選人的情況。Prompt為：

你是一名人才信息搜索專家。根據以下背景和參考信息，請搜索此人全面而簡潔的背景和經歷。 背景：科技記者董溫淑，有多家媒體就職經歷，關注AI、芯片半導體、智能硬件、XR等硬科技市場；在參考信息部分，「電廠」粘貼了3篇作者過往作品鏈接。 你需要注意：1. 除非另有說明，只考慮中國人的背景信息。2. 目標個人是唯一的；參考信息是為了幫助你準確定位目標個人。3. 我們將針對目標個人準備驗證問題，LLM 將利用你提供的信息嘗試回答這些問題。

結果顯示，Neo逐一檢索了「電廠」給出的參考信息鏈接，但并未局限于此，而是再行選取了候選人“姓名”“姓名+經歷”“姓名+媒體名稱”等關鍵詞搜索。

在經過多輪搜索更新后，Neo最后給出了一份涵蓋職業發展軌跡、核心專業領域、代表性工作與成就的報告。其梳理的職業履歷基本符合現實情況。

Flowith Agent Neo梳理出的作者職業履歷

10道社科常識/生活百科題，Agent Neo命中4則正確答案

針對深度搜索DeepSearch場景，xbench列出了10道樣題，問題涵蓋上市公司調研、地理知識、考試規則梳理、影史等諸多方面。

無論是“當紅綜藝中有多少個女性選手”“中央音樂學院音樂水平考級細則”“歐冠決賽歷史上最后一位進球的獲勝球員”還是“北京蜂巢劇場樓下的餐廳名稱”，都被劃進了大模型能力的考查范圍。

除了問題正確答案，xbench-DeepSearch還給出了參考執行步驟。最終10道題里，Neo答對了4道題目。

「電廠」在正確與失誤的題目中，各選取一道呈現：

針對“黑龍江、吉林、遼寧，共有多少個地市級行政單位與外國接壤?”的測試樣題，xbench給出的參考運行步驟為：

搜索遼寧行政區劃，確定只有丹東與朝鮮接壤；搜索吉林行政區劃，確定只有延邊州、通化市、白城市與朝鮮、俄羅斯接壤；搜索黑龍江行政區劃，牡丹江市、雞西市、佳木斯市、鶴崗市、黑河市、雙鴨山市、伊春市、大興安嶺地區，8個地區與俄羅斯接壤。最后算出8+3+1=12。

Agent Neo的運行過程與這一參考步驟基本一致。

Flowith Agent Neo推理出的黑吉遼與外國接壤地級市情況

這一測試環節，Neo答錯的樣題包括：《樂隊的夏天》各季 top5 樂隊中一共有多少名女性成員?

正確答案為6名，xbench給出的參考運行步驟分為3步：確定樂夏有三季；確定每季 top5 樂隊名字；搜索每支樂隊成員，找出其中女性成員。

根據Agent Neo呈現的運行過程，其成功確定了樂夏有三季的信息，繼而搜索了各季所有參賽樂隊的信息，并正確確定了各季節目的Top5樂隊。

但在Neo最終給出的8名“女性成員”名單中，包含了6名正確答案，還多出了張夢（五條人樂隊）、多多（柏林護士樂隊）兩名成員。但張夢、多多均為男性樂手。

Flowith Agent Neo推理出的樂夏TOP5樂隊女性樂手名單

特別指出，在這個測試環節，「電廠」在同一個畫布中同時輸入10個任務讓它們并行，在總計約20分鐘后，10個問題全部運行結束，期間「電廠」并未進行任何操作。

答對4道理工類本科/研究生試題

針對科學領域，xbench推出的SceieceQA評測集共包含77道問答題、14道多選題及9道單選題。紅杉中國使用該評測集測試o3等大模型的結果顯示，各大模型完成這一題庫的平均正確率為32%、低于20%正確率的題目占34%，并且在不同難度層次上有區分度。

本次xbench公開了10道例題，題型包含客觀題及選擇題，領域涵蓋了數學、化學、生物、金融、計算機、材料工程和機械工程。

「電廠」逐一采用Flowith Neo進行作答，結果顯示Neo答對了4道題，失誤6道題。

「電廠」在正確與失誤的題目中，各選取一道呈現。

在根據前提條件計算“某養老基金投資組合五年后資金不足的概率”時，Agent Neo成功得出了24.2%的答案。Claude 4評估稱，這道題是研究生金融學或精算學水平的高難度測試題，屬于金融風險管理或養老金精算的專業課程內容。

這一金融題題干內容為：

某養老基金目前的投資組合包括200 萬美元投資于標普指數投資組合，假設該投資組合的連續復利收益率服從正態分布，年均收益率為10%，標準差為 20%。目前養老負債的現值也為 200 萬美元，且其連續復利增長率也被假設為服從正態分布，年均增長率為4%，標準差為 8%。 假設標普收益率與養老負債增長率之間的相關系數為0.3。如果在未來五年內投資組合沒有新增資金或取出資金，該計劃在五年后資金不足的概率是多少?（百分數，精確到小數點后一位）

Flowith Agent Neo解答金融題運算過程

在運行如下生物題時，正確答案應該是維生素B5（泛酸），而Agent Neo給出的答案是“B族維生素家族”。

某種維生素作為輔酶參與了多種代謝反應，缺乏這種維生素時，體內一些重要的代謝途徑會受到影響，導致能量供應不足，甚至引起一些特定的疾病。研究發現，這種維生素的活性形式在參與糖代謝和脂肪酸代謝時尤其重要。補充這種維生素后，缺乏癥狀得到了改善，體內代謝恢復正常。這種維生素可能是什么?

據Claude 4評價，這是一道大學生物化學或營養學水平的測試題，屬于中等難度的應用分析題。

而Agent Neo經過推理認為，這道題目難以精確指向單一維生素，因為“B族維生素作為一個群體，在細胞能量代謝過程中表現出高度的協同作用……缺乏其中任何一種，都可能影響整個代謝網絡的順暢運行”。

圖源/Flowith Agent Neo

要強調的是，本文并未采用xbench完整評測集，僅采用了其中部分樣題和測試框架，所有試題運行一次。