聞樂 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

大模型做數(shù)獨(dú)，總體正確率只有15%？？？

繼出場自帶十篇完整學(xué)術(shù)論文的史上首個(gè)“AI科學(xué)家”之后，Transformer作者Llion Jones又帶著他的創(chuàng)業(yè)公司Sakana AI來搞事情了。

這次，Sakana AI公布了一個(gè)AI模型解決數(shù)獨(dú)問題能力的排行榜

問題集是該公司推出的全新基準(zhǔn)Sudoku-Bench，包含了從簡單的4x4到復(fù)雜的9x9現(xiàn)代數(shù)獨(dú)問題，旨在考驗(yàn)大模型創(chuàng)造性推理能力

榜單顯示，大模型不僅總體正確率只有15%，在9×9的現(xiàn)代數(shù)獨(dú)中，即使是高性能模型o3 Mini High，正確率也只有2.9%。

Sudoku-Bench項(xiàng)目在2025NVIDIA GTC開發(fā)者大會(huì)上進(jìn)行了展示。

NVIDIA首席執(zhí)行官黃仁勛對此評價(jià)：

• 像數(shù)獨(dú)這樣的謎題將有助于提高AI的推理能力。

Sudoku-Bench全新基準(zhǔn)測試

Sudoku-Bench是Sakana AI在今年3月發(fā)布的一項(xiàng)由不同難度級別的數(shù)獨(dú)謎題組成的基準(zhǔn)測試，用于衡量人工智能的多層次和創(chuàng)造性推理能力。

1、現(xiàn)有問題：大模型的 “記憶依賴癥”

目前大多數(shù)推理基準(zhǔn)測試存在一個(gè)缺陷：大模型往往通過記憶標(biāo)準(zhǔn)答案或固定模式來完成任務(wù)，而不是真正運(yùn)用邏輯推理能力

當(dāng)遇到與訓(xùn)練數(shù)據(jù)中 “類似” 的問題時(shí)，模型會(huì)直接套用記憶中的解決方案，而非通過邏輯推導(dǎo)得出答案。

對于全新規(guī)則或未見過的模式，模型往往無法有效應(yīng)對，因?yàn)槿狈芍苯悠ヅ涞挠洃浤０濉?/p>

傳統(tǒng)數(shù)獨(dú)游戲?qū)Υ竽Ｐ蛠碚f可能已經(jīng) “太簡單”，它們可能只是記住了套路，而不是學(xué)會(huì)如何創(chuàng)造性地解決新問題。

2、解決方案：Sudoku-Bench用 “變異數(shù)獨(dú)” 考倒大模型

近年來，各種各樣具有獨(dú)特規(guī)則的衍生謎題出現(xiàn)。

這些“變異數(shù)獨(dú)”謎題需要多步驟和創(chuàng)造性的推理技巧，但只有一個(gè)正確答案，特點(diǎn)是無法通過記憶解決，必須通過多步邏輯推理找到 “突破口”

這些特點(diǎn)使得“變異數(shù)獨(dú)”成為測試AI推理能力的理想選擇。

以下就是一個(gè)“變異數(shù)獨(dú)”示例，你不僅需要遵循原始規(guī)則，而且沿著彩色線條排列的數(shù)字還需要遵循額外的規(guī)則。

Sudoku-Bench基準(zhǔn)包括傳統(tǒng)和現(xiàn)代數(shù)獨(dú)（變異數(shù)獨(dú)）問題，難度分級，從當(dāng)前模型可以解決的簡單問題到甚至最先進(jìn)的推理模型也無法處理的極其困難的問題。

Sudoku-Bench還包含了由Nikoli（日本著名的數(shù)獨(dú)公司，數(shù)獨(dú)正是其名稱的由來）提供的100道手工數(shù)獨(dú)題

3、大模型的 “慘敗”：基線實(shí)驗(yàn)結(jié)果

在今年3月該基準(zhǔn)發(fā)布后，研究人員測試了多個(gè)AI模型，包括Gemini 2.5 Pro、GPT-4.1、Claude 3.7等在內(nèi)的最先進(jìn)大模型。

為了給模型一個(gè)公平的機(jī)會(huì)，團(tuán)隊(duì)為模型提供了部分完成的謎題，并評估它們完成謎題的能力。

結(jié)果顯示，一些模型在這種輔助下表現(xiàn)得相當(dāng)不錯(cuò)，但關(guān)鍵結(jié)果在于最后兩列。

即使是最先進(jìn)的模型，平均連一個(gè)正確的數(shù)字都放不下，而OpenAI最新的推理模型ChatGPT o3是唯一能夠解決基準(zhǔn)測試中所有謎題的模型。

最新的排行榜顯示：

• 無工具輔助時(shí)，所有模型在100個(gè)謎題中的總體正確率低于15%
• 小網(wǎng)格（4x4）表現(xiàn)稍好（40%-73% 正確率），但9x9網(wǎng)格幾乎全敗，正確率接近0%，即使是高性能模型“o3 Mini High”的正確率也只有2.9%。
• 模型常犯錯(cuò)誤包括：錯(cuò)誤解答、放棄解題、誤判規(guī)則矛盾，尤其是面對需要 “突破口” 的謎題時(shí)，只會(huì)盲目猜測，無法像人類一樣通過邏輯鏈縮小搜索范圍。

測試團(tuán)隊(duì)詳細(xì)列出了模型在每個(gè)謎題上的表現(xiàn)，感興趣的朋友可戳文末鏈接查看～

關(guān)于Sakana AI

Sakana AI由前谷歌研究人員Llion Jones（Transformer作者之一）和David Ha于2023 年7月在東京成立，主要對生成文本和圖像的AI基本模型進(jìn)行研究。

此前，該公司開源發(fā)布了AI科學(xué)家AI審稿人，前者一出場就獨(dú)自完成了十篇完整的學(xué)術(shù)論文，包括但不限于擴(kuò)散模型方向、Transformer與強(qiáng)化學(xué)習(xí)等，引起了不小的轟動(dòng)。

后者能對AI寫的論文進(jìn)行評審，提供改進(jìn)意見，主打“以我之矛攻我之盾”。

該公司還發(fā)布了一種名為“連續(xù)思維機(jī)器 (CTM)”的新型AI模型，通過像人類一樣“逐步”思考并學(xué)習(xí)世界的內(nèi)部模型，超越了簡單的模式識別，并獲得了逐步解決迷宮等復(fù)雜問題的能力。

Sakana AI還與Cracking The Cryptic（YouTube 上最大的謎題評論頻道之一）合作，Cracking The Cryptic每天都會(huì)演示一些世界上最好的數(shù)獨(dú)謎題的邏輯解決方案。

Sakana AI獲得了這些視頻的文字記錄以及答題過程中采取的行動(dòng)數(shù)據(jù)。這些數(shù)據(jù)可以作為訓(xùn)練AI推理模型的理想數(shù)據(jù)，并與Sudoku-Bench一起發(fā)布。

著名的數(shù)獨(dú)出題人Marty Sears還為Sakana AI定制了一款名為“奇偶魚”的數(shù)獨(dú)游戲：沿著Sakana AI紅色標(biāo)志線相鄰的任何數(shù)字都必須包含一個(gè)偶數(shù)和一個(gè)奇數(shù)。

感興趣的朋友可以嘗試一下（解答過程已附在文末）～

技術(shù)報(bào)告：https://arxiv.org/abs/2505.16135
排行榜：https://pub.sakana.ai/sudoku/
Github：https://github.com/SakanaAI/Sudoku-Bench
奇偶魚題目：https://sudokupad.app/wsj7iunsg6
解答過程：https://www.youtube.com/watch?v=JdHSSNKuIzU
[1]https://x.com/SakanaAILabs/status/1926905826465161629
[2]https://sakana.ai/sudoku-bench/

— 完 —