（來(lái)源：MIT News）

機(jī)器學(xué)習(xí)中有一個(gè)眾所周知的問(wèn)題，稱為“幻覺(jué)”，它指的是模型生成看似合理但事實(shí)上錯(cuò)誤或無(wú)意義信息的現(xiàn)象。

比如 ChatGPT 等大模型幾乎可以解答所有問(wèn)題，它們很少會(huì)暴露出自身知識(shí)的盲區(qū)或不確定領(lǐng)域。但隨著 AI 系統(tǒng)日益廣泛地應(yīng)用于藥物研發(fā)、信息整合和自動(dòng)駕駛等領(lǐng)域，這一缺陷可能引發(fā)嚴(yán)重后果。

如今，麻省理工學(xué)院（MIT）的衍生公司 Themis AI 正致力解決上述問(wèn)題，從而提升模型的可信度。該公司的 Capsa 平臺(tái)可與任何機(jī)器學(xué)習(xí)模型協(xié)同工作，在數(shù)秒內(nèi)檢測(cè)并糾正不可靠的輸出結(jié)果。其工作原理是通過(guò)改造 AI 模型，使其能夠識(shí)別數(shù)據(jù)處理過(guò)程中暗示模糊性、不完整性或偏見(jiàn)的模式。

“我們的理念是將模型嵌入 Capsa 框架，識(shí)別其不確定性和故障模式，進(jìn)而優(yōu)化模型。我們很高興能提供一種解決方案，既能改進(jìn)模型，又能保證模型正常運(yùn)行。” Themis AI 的聯(lián)合創(chuàng)始人、MIT 計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）主任 Daniela Rus 表示。

Rus 于 2021 年與實(shí)驗(yàn)室前研究員 Alexander Amini 以及 Elaheh Ahmadi 共同創(chuàng)立了 Themis AI。成立以來(lái)，該公司已協(xié)助電信公司優(yōu)化網(wǎng)絡(luò)規(guī)劃與自動(dòng)化系統(tǒng)，幫助石油企業(yè)運(yùn)用 AI 解析地震圖像，并發(fā)表了關(guān)于開(kāi)發(fā)更可靠聊天機(jī)器人的研究論文。

“我們的目標(biāo)是讓 AI 能夠應(yīng)用于各行業(yè)最高風(fēng)險(xiǎn)的領(lǐng)域。隨著應(yīng)用范圍擴(kuò)大，AI 產(chǎn)生的錯(cuò)誤可能導(dǎo)致災(zāi)難性后果。Themis 的技術(shù)能讓任何 AI 系統(tǒng)在故障發(fā)生前，預(yù)判并預(yù)測(cè)自身的失誤。” Amini 表示。

Themis AI 之旅始于數(shù)年前 Rus 教授在麻省理工學(xué)院的實(shí)驗(yàn)室，當(dāng)時(shí)團(tuán)隊(duì)正在研究一個(gè)基本問(wèn)題：如何讓機(jī)器意識(shí)到自身的局限性？

2018 年，Rus 團(tuán)隊(duì)獲得了豐田公司的資助，用于研究基于機(jī)器學(xué)習(xí)的自動(dòng)駕駛解決方案的可靠性。“在這種安全至關(guān)重要的場(chǎng)景下，了解模型的可靠性非常關(guān)鍵。”

研究結(jié)果表明，將這些專有的不確定性估計(jì)算法與最先進(jìn)的自動(dòng)駕駛汽車(chē)相結(jié)合，可使碰撞次數(shù)減少 16 倍，計(jì)算時(shí)間縮短 12 倍，從近乎碰撞的場(chǎng)景中恢復(fù)的成功率提高 89%，并減少 93% 的自動(dòng)駕駛請(qǐng)求。

在另一項(xiàng)研究中，Rus、Amini 及團(tuán)隊(duì)開(kāi)發(fā)了一種能檢測(cè)人臉識(shí)別系統(tǒng)種族與性別偏見(jiàn)的算法，通過(guò)自動(dòng)重新加權(quán)模型訓(xùn)練數(shù)據(jù)，成功消除了偏見(jiàn)。該算法通過(guò)識(shí)別底層訓(xùn)練數(shù)據(jù)中缺乏代表性的部分，并生成新的相似數(shù)據(jù)樣本來(lái)實(shí)現(xiàn)數(shù)據(jù)再平衡。

到 2021 年，這幾位科學(xué)家已經(jīng)證明類似方法可幫助制藥公司利用 AI 模型預(yù)測(cè)候選藥物特性。“指導(dǎo)藥物發(fā)現(xiàn)可能節(jié)省巨額成本，正是這個(gè)應(yīng)用案例讓我們意識(shí)到這項(xiàng)技術(shù)的巨大潛力。” Rus 表示。

結(jié)果表明，該方法能夠在不確定性與誤差相關(guān)的情況下進(jìn)行校準(zhǔn)預(yù)測(cè)，通過(guò)不確定性引導(dǎo)的主動(dòng)學(xué)習(xí)實(shí)現(xiàn)樣本高效訓(xùn)練，并提高了實(shí)驗(yàn)驗(yàn)證率。藥物研發(fā)成本降低 75%，研發(fā)速度提高 10 倍，訓(xùn)練數(shù)據(jù)減少 60%。

同年晚些時(shí)候，他們創(chuàng)立了 Themis AI。

如今，Themis AI 正在與多個(gè)行業(yè)的企業(yè)開(kāi)展合作，其中很多公司正在構(gòu)建自己的大型語(yǔ)言模型。通過(guò)使用 Capsa 平臺(tái)，這些模型能夠分析其輸出并報(bào)告其置信度，從而幫助在采取行動(dòng)前標(biāo)記處潛在的不可靠結(jié)果。

該技術(shù)的另一個(gè)優(yōu)勢(shì)在于它適用于計(jì)算能力有限的設(shè)備。邊緣設(shè)備使用的模型規(guī)模較小，無(wú)法達(dá)到服務(wù)器上運(yùn)行的大型模型的精度。但有了 Themis 的技術(shù)，這些設(shè)備將能夠在本地更好地處理大多數(shù)任務(wù)，只有在遇到挑戰(zhàn)時(shí)才會(huì)向大型服務(wù)器請(qǐng)求幫助。

Themis AI 在與半導(dǎo)體廠商探討在芯片上部署可脫離云環(huán)境的 AI 解決方案。“通常手機(jī)或嵌入式系統(tǒng)的小型模型精度遠(yuǎn)低于服務(wù)器版本，但我們的技術(shù)能實(shí)現(xiàn)兩全其美：在保持低延遲、高效邊緣計(jì)算的同時(shí)不犧牲質(zhì)量。我們預(yù)見(jiàn)未來(lái)邊緣設(shè)備將承擔(dān)主要工作，但當(dāng)其輸出存疑時(shí)，可將任務(wù)轉(zhuǎn)交中央服務(wù)器處理。” Themis AI 技術(shù)主管 Stewart Jamieson 表示。

此外，制藥公司也可以使用 Capsa 優(yōu)化用于篩選候選藥物及預(yù)測(cè)臨床試驗(yàn)效果的 AI 模型。

圖 | 該公司的投資方（來(lái)源：Themis AI 官網(wǎng)）

目前，Themis AI 正在探索 Capsa 在改進(jìn) AI 思維鏈推理方面的潛力，這將顯著提升 LLM 的性能和效率。這一進(jìn)展對(duì)于提升 AI 體驗(yàn)、降低延遲和降低計(jì)算需求具有深遠(yuǎn)的影響。

https://news.mit.edu/2025/themis-ai-teaches-ai-models-what-they-dont-know-0603