大香大香伊人在钱线久久,亚洲日韩欧美国产高清αv,日本强伦姧人妻久久影片,亚洲国产成人欧美在线观看

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

17000字Claude 系統(tǒng)提示啟示:Karpathy 揭秘LLM 學(xué)習(xí)缺失“第三范式”

0
分享至


來自Andrej Karpathy的最新洞察,以及一份意外曝光的Claude系統(tǒng)提示詞引發(fā)的思考


Andrej Karpathy提出一個觀點:我們當前的LLM學(xué)習(xí)范式中,至少缺失了一個重要環(huán)節(jié)。他將其暫稱為“系統(tǒng)提示詞學(xué)習(xí)”(System Prompt Learning)

他認為:

預(yù)訓(xùn)練(Pretraining)是為了讓LLM掌握海量知識

微調(diào)(SL/RL)則是為了塑造其習(xí)慣性行為

這兩者都涉及模型參數(shù)的改變。但Karpathy指出,很多人類學(xué)習(xí)更像是“系統(tǒng)提示詞”的調(diào)整:遇到問題、想出辦法,然后用明確的語言“記住”下次如何應(yīng)對。比如,“當遇到這類問題時,我應(yīng)該嘗試那種方法。” 這更像給自己寫備忘錄,是全局性的問題解決策略,而非針對特定用戶的零散記憶。Karpathy打了個比方:LLM目前就像《記憶碎片》里的主角,我們還沒給它配備“便簽本”或“草稿紙”

這種新范式如果能實現(xiàn),將非常強大且數(shù)據(jù)高效。因為一個由知識引導(dǎo)的“復(fù)盤”階段,其反饋維度遠高于簡單的獎勵標量

Claude的“天書”級系統(tǒng)提示詞

Karpathy的這番思考,部分源于對Claude系統(tǒng)提示詞的觀察。最近,Claude的系統(tǒng)提示詞被一位用戶“套”了出來,內(nèi)容之詳盡令人咋舌:

長度驚人:約17000詞,110kb大小。相比之下,OpenAI o4-mini的系統(tǒng)提示詞僅約2200詞(15.1kb),只有Claude的13%左右

Claude的系統(tǒng)提示詞地址:

https://github.com/asgeirtj/system_prompts_leaks/blob/main/claude.txt


這份龐大的提示詞里都有些什么呢?

1.工具定義 (Tool Definitions):這是最大頭,信息主要來自MCP服務(wù)器。MCP服務(wù)器不僅提供API,還詳細說明了LLM何時及如何使用這些工具。提示詞中列出了14種不同工具。例如,一個簡單的網(wǎng)頁搜索工具定義可能只有幾行,但像Google Drive搜索工具的描述就超過1700詞

2.工具使用指南:除了MCP提供的工具定義,還有大量關(guān)于如何及何時使用這些工具的指令,散布在“引用說明”、“工件說明”、“搜索說明”和“Google集成注意事項”等部分。比如,反復(fù)提醒Claude不要對其已知信息使用搜索工具(可見這是個頑固問題)

值得注意的是,Karpathy認為這種內(nèi)外分離是合理的“關(guān)注點分離”:MCP包含通用工具信息,適用于任何程序;而非MCP部分則針對聊天機器人應(yīng)用的特定需求。這是標準程序設(shè)計思路在提示詞工程上的應(yīng)用

總計,近80%的提示詞內(nèi)容都與工具的使用和定義相關(guān)

3.“熱修復(fù)”與行為規(guī)范 (Claude Behavior & Hotfixes):這部分更像是我們傳統(tǒng)理解中的系統(tǒng)提示,規(guī)定了Claude的行為方式、回應(yīng)風格和禁忌。其中不乏針對LLM常見“陷阱”的“補丁”:

  • ?計數(shù)問題:“如果Claude被要求計算單詞、字母和字符數(shù),它會先分步思考,明確地給每個計數(shù)對象編號,完成計數(shù)后再回答。”——這顯然是為了解決類似“strawberry里有幾個r”這類LLM常見難題

  • ?經(jīng)典謎題:“如果Claude遇到經(jīng)典謎題,它會先逐字引用所有約束條件,確認不是變體。”——防止LLM被稍作修改的經(jīng)典邏輯題繞進去

  • ?知識更新:“特朗普是現(xiàn)任美國總統(tǒng),于2025年1月20日就職。”——鑒于Claude知識截止日期是2024年10月,這條信息顯然是硬編碼的

  • ?詩歌創(chuàng)作:Karpathy最喜歡的一條:“如果被要求寫詩,Claude會避免使用陳詞濫調(diào)的意象、隱喻或可預(yù)測的押韻。”

從人工“補丁”到系統(tǒng)自主學(xué)習(xí)

Claude這份巨細的系統(tǒng)提示詞,恰恰印證了Karpathy的觀點:目前大量的問題解決策略,是工程師們手動寫入系統(tǒng)提示的。而Karpathy認為,這些本不應(yīng)完全依賴人工,也不應(yīng)立即或完全通過強化學(xué)習(xí)(RL)融入模型權(quán)重

理想情況下,這些策略應(yīng)通過“系統(tǒng)提示詞學(xué)習(xí)”產(chǎn)生。這種學(xué)習(xí)過程類似于RL的設(shè)置,但學(xué)習(xí)算法不同(編輯提示詞 vs. 梯度下降)。LLM的系統(tǒng)提示詞中,有相當一部分可以通過這種方式“自我撰寫”,就像LLM為自己寫一本解決問題的指南。

當然,這其中還有很多細節(jié)待明確:編輯如何工作?編輯系統(tǒng)本身能否學(xué)習(xí)?如何像人類一樣,將顯性文本知識逐漸內(nèi)化為習(xí)慣性權(quán)重?

Claude的系統(tǒng)提示詞,無疑是提示工程復(fù)雜性的一個縮影。Anthropic通過大量使用XML風格標簽來增強可讀性(這對人還是LLM更友好值得商榷),以及其MCP服務(wù)器的發(fā)明和采用,都是其管理這種復(fù)雜性的努力。但這也引出新問題:如何進行版本控制?這些“熱修復(fù)”是逐個添加還是批量評估后上線?什么時候才需要“推倒重來”?

這份提示詞也再次提醒我們:聊天機器人遠不止模型本身,其背后是不斷積累、迭代優(yōu)化的指令、工具集和精心設(shè)計

參考:

https://x.com/karpathy/status/1921368644069765486

?星標AI寒武紀,好內(nèi)容不錯過?

用你的在看告訴我~

求贊

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
建議全網(wǎng)“封殺”韋東奕

建議全網(wǎng)“封殺”韋東奕

黯泉
2025-06-13 13:51:47
上海金融精英淪為階下囚!他毀掉了很多家庭,被判無期徒刑...“這種痛,永遠讓我窒息”

上海金融精英淪為階下囚!他毀掉了很多家庭,被判無期徒刑...“這種痛,永遠讓我窒息”

上觀新聞
2025-06-14 22:33:49
李連杰:生命進入倒計時,已交代好后事,希望利智以后低調(diào)行事

李連杰:生命進入倒計時,已交代好后事,希望利智以后低調(diào)行事

清游說娛
2025-05-26 15:06:58
郭晶晶逛上海飾品店,穿53元布鞋,霍啟剛穿愛馬仕,能買她146雙

郭晶晶逛上海飾品店,穿53元布鞋,霍啟剛穿愛馬仕,能買她146雙

吐不滿的痰娛
2025-06-14 19:19:44
敘利亞轉(zhuǎn)動命運之輪

敘利亞轉(zhuǎn)動命運之輪

那山星火
2025-05-23 11:34:40
1.4 萬點贊!就一秒鏡頭的2個群演火了,網(wǎng)友:語文書里的女英雄

1.4 萬點贊!就一秒鏡頭的2個群演火了,網(wǎng)友:語文書里的女英雄

清游說娛
2025-06-14 13:13:53
平心而論,足協(xié)主席宋凱有三大可貴之處:實干、清醒、知重負重!

平心而論,足協(xié)主席宋凱有三大可貴之處:實干、清醒、知重負重!

田先生籃球
2025-06-15 02:48:37
3900萬美元續(xù)約,火箭隊與史蒂文·亞當斯達成了續(xù)約

3900萬美元續(xù)約,火箭隊與史蒂文·亞當斯達成了續(xù)約

好火子
2025-06-15 03:56:57
菲律賓和廣東同為1億多人口,菲律賓創(chuàng)造3.3萬億,廣東是多少?

菲律賓和廣東同為1億多人口,菲律賓創(chuàng)造3.3萬億,廣東是多少?

快看張同學(xué)
2025-06-13 12:40:02
中信證券:以色列與伊朗本次沖突的烈度與持續(xù)性可能明顯超過去年的相互襲擊

中信證券:以色列與伊朗本次沖突的烈度與持續(xù)性可能明顯超過去年的相互襲擊

證券時報
2025-06-14 10:53:07
誰是內(nèi)鬼?誰出賣了司令?革命衛(wèi)隊已遭滅頂內(nèi)賈德仍沉默以對?

誰是內(nèi)鬼?誰出賣了司令?革命衛(wèi)隊已遭滅頂內(nèi)賈德仍沉默以對?

林子說事
2025-06-13 22:07:09
中國最貴配角!傳聞身家50億,卻總在劇組跑龍?zhí)祝赀€不夠油錢

中國最貴配角!傳聞身家50億,卻總在劇組跑龍?zhí)祝赀€不夠油錢

卷史
2025-06-15 02:05:05
云南通報:院長張兵,主動投案

云南通報:院長張兵,主動投案

新京報政事兒
2025-06-14 12:13:43
高血脂也能放心吃肉!營養(yǎng)師推薦4種“低脂肉”,降血脂還護血管

高血脂也能放心吃肉!營養(yǎng)師推薦4種“低脂肉”,降血脂還護血管

咖啡豆測評
2025-06-15 02:45:04
60票對25票,美參議院表決出爐,中美一旦爆發(fā)沖突,都難逃8個字

60票對25票,美參議院表決出爐,中美一旦爆發(fā)沖突,都難逃8個字

陣匠
2025-06-01 08:53:14
遼寧廣場舞大媽貼出公告,舞蹈期間禁止他人進入廣場,出事你全責

遼寧廣場舞大媽貼出公告,舞蹈期間禁止他人進入廣場,出事你全責

映射生活的身影
2025-06-14 00:57:32
今天傍晚,合肥三地警惕!

今天傍晚,合肥三地警惕!

魯中晨報
2025-06-14 16:42:02
那爾那茜塌房,我終于頓悟了,肖飛對全科室說的那句話的真正內(nèi)涵

那爾那茜塌房,我終于頓悟了,肖飛對全科室說的那句話的真正內(nèi)涵

江左梅娘
2025-06-12 11:13:15
拉杜卡努:鄭欽文在比賽中更換球鞋和球拍,這不是理想情況

拉杜卡努:鄭欽文在比賽中更換球鞋和球拍,這不是理想情況

懂球帝
2025-06-14 18:09:17
上海網(wǎng)友:上午還在安排工作,下午突然全員解散!

上海網(wǎng)友:上午還在安排工作,下午突然全員解散!

小人物看盡人間百態(tài)
2025-06-14 15:29:06
2025-06-15 04:07:00
AI寒武紀 incentive-icons
AI寒武紀
專注于人工智能,科技領(lǐng)域
715文章數(shù) 313關(guān)注度
往期回顧 全部

科技要聞

一輛新車比特斯拉FSD都便宜,全行業(yè)陪葬?

頭條要聞

以防長威脅哈梅內(nèi)伊:若繼續(xù)發(fā)射導(dǎo)彈 德黑蘭將成火海

頭條要聞

以防長威脅哈梅內(nèi)伊:若繼續(xù)發(fā)射導(dǎo)彈 德黑蘭將成火海

體育要聞

約戰(zhàn)天王山,步行者G4輸在了哪?

娛樂要聞

小S迎47歲生日,首個生日沒大S陪伴

財經(jīng)要聞

樓市權(quán)威發(fā)聲

汽車要聞

長城為了拿環(huán)塔冠軍有多拼?魏建軍在下一盤大棋!

態(tài)度原創(chuàng)

親子
教育
游戲
數(shù)碼
房產(chǎn)

親子要聞

給18個月幼兒灌酒,無論出于什么心態(tài)都不該寬恕|新京報快評

教育要聞

江蘇最新消息:6月28日填報志愿!

死掉的“賽博初戀”,有誰能夠打贏復(fù)活賽?

數(shù)碼要聞

黃仁勛親筆簽名版 RTX 5090 鍍金顯卡以 24200 美元達成慈善拍賣

房產(chǎn)要聞

又一城購房補貼!買房就發(fā)錢,正在海南樓市瘋狂擴散!

無障礙瀏覽 進入關(guān)懷版 主站蜘蛛池模板: 另类国产精品一区二区| 国产精品久久久久久久久久久久人四虎| 亚洲成aⅴ人在线观看| 精品国产a∨无码一区二区三区| 国产精品无码av天天爽播放器| 老太脱裤让老头玩ⅹxxxx| 亚洲婷婷六月的婷婷| 久久久精品2019免费观看| 国产亚洲日韩一区二区三区| 尤物yw午夜国产精品大臿蕉| 精品精品国产欧美在线小说区| 九九99热久久精品在线6| 婷婷色爱区综合五月激情韩国| 国产精品av一区二区三区不卡蜜| 日产精品久久久久久久性色| 国产成人高清精品免费| 男女做爰猛烈啪啪吃奶动| 国产日韩综合一区在线观看| 九九综合va免费看| 中文字幕无码中文字幕有码| 亚洲欧美国产国产综合一区| 又大又长粗又爽又黄少妇毛片| 少妇放荡的呻吟干柴烈火动漫| 亚洲成a∧人片在线播放调教| 9久9久女女热精品视频在线观看| 久久国产精品2020免费| 超碰人人超碰人人| 欧美亚洲日本国产综合在线美利坚| 成人va亚洲va欧美天堂| 成人无号精品一区二区三区| 国产精品一区二区在线观看| 国产av精国产传媒| 亚洲综合伊人久久综合| 少妇大胆瓣开下部自慰| 亚洲欧洲日产国码在线| 亚洲国产老鸭窝一区二区三区| 国产精品国产三级国产av中文| 亚洲妇熟xxxx妇色黄| 亚洲精品不卡无码福利在线观看| 18禁止观看强奷免费国产大片| 伊人久久大香线蕉av不变影院|