“規模決定一切,最終牌桌上一定有火山。”
文丨賀乾明
在字節負責云計算業務火山引擎 5 年,譚待變得更從容了。要來這里時,很多朋友都勸他慎重:字節比同行晚了 10 年才做云計算,肯定起不來。那是他壓力最大的階段。他說,現在朋友們談起火山引擎,會說做得還可以。
火山引擎交出了亮眼的成績單。據市場調研機構 IDC 統計,去年國內云端大模型調用量,火山引擎一家占了 46.4%,比二三名加起來都多。去年 12 月到現在,豆包大模型平均每天處理的 Token 處理量翻了兩番到 16.4 萬億,已經逼近國外的科技巨頭。
譚待說,除了火山引擎用技術優化壓低了大模型價格,豆包 App 也幫了不少忙,“很多客戶都會拿著跟豆包的聊天 Case 找過來,問火山引擎能不能在企業場景中實現類似的效果?”
他判斷 Agent 是火山引擎更大的機會:過去的云平臺為網頁和 App 開發設計,需要程序員理解業務,定義規則和算法,然后驅動數據做事,上限就是所有人的時間總和。現在 Agent 成為主體,模型可以自己思考、規劃、編排流程,自動執行解決問題,上限遠高于 App 時代,“我們正在加碼加班做好準備”。
6 月 11 日,火山引擎舉辦春季 Force 原動力大會,推出 MCP 服務、提示詞工具(Prompt Pilot)、知識管理系統、強化學習框架(veRL)等為 Agent 定制開發的套件,并宣布根據 “輸入長度” 區間給 Agent 調用的思考模型定價,“綜合成本只有豆包 1.5 深度思考模型或 DeepSeek-R1 的三分之一”。
“模型使用成本要降下來,才能推動 Agent 的規模化應用。” 譚待說,經營云平臺最重要的是規模要大,“規模大了,服務器多、負載高,就會對技術有很高的要求,會強迫我們做好各種事情。”
這個判斷也讓他敢在 2021 就定下 1000 億元的年收入目標,那年中國云平臺第一的阿里云年收入只有 600 億,大模型浪潮還沒有蹤影。給他信心的是,算上字節整個集團的業務,火山引擎能調度的計算資源規模不比阿里云少。
現在看整體的云計算市場,火山引擎的份額也不在前三。但譚待的信心更充足了,“馬拉松剛跑了 500 米”,未來市場空間最少會擴大 100 倍,火山會持續保持國內 AI 第一,在傳統云服務的存量市場持續增長。
“這幾年 AI 快速普及,我覺得挺幸運的。” 他說,只要世界和平,經濟發展,年收入 1000 億肯定沒問題。
本周,譚待接受《晚點 LatePost》訪談,詳細分享了火山引擎如何迅速抓住大模型機會、對 Agent 發展的思考,以及火山引擎過去 5 年的發展經歷和攢下來的經驗。
“規模決定一切,最終牌桌上一定有火山”
晚點:火山引擎上線 5 年了。剛開始很多從業者都不看好你們,為什么你們覺得可以做?
譚待:剛開始做火山的時候,管理層就提過一個類似的問題:我們做的晚,為什么還有機會?
我們當時的邏輯是,云是一個很大的賽道。跟國外相比,國內云計算在 GDP 里的滲透率還很低,這意味著有很大的空間。
晚點:你們剛開始主要對外提供推薦系統服務。后來全面進入云計算領域,瞄準的方向是云原生,發展并沒有特別快。
譚待:那個市場是一個存量的市場,增長就是慢。
晚點:火山引擎剛開始定的目標是做中國第四朵云。現在來看,你們是把目標定高了,還是低估了難度?
譚待:第四朵云是有時間期限的,多用幾年,我們還是有信心的。最后還是規模決定一切,最終牌桌上一定有火山。
現在 AI 就帶來了一個新賽道,我們可以很快做到第一。存量賽道我們可以一點點往上走。
晚點:火山在 AI 上投入很激進。你們怎么評估這個機遇的?
譚待:火山引擎很早就把 AI 當做重要方向,做的確實還可以。剛開始做火山的時候,管理層還給我布置了一個作業:想象一下十年以后的云,也就是 2030 年的時候,跟 2020 年有什么不同。
這個問題,我想了很久。我隱約覺得,不同肯定是因為技術迭代。但什么新技術呢?那時有很多,區塊鏈、元宇宙、AI 等等,我覺得最有可能的還是 AI 。
當時自動駕駛開始上 Transformer 架構了,對云端算力有很大需求。我們就從自動駕駛公司開始,比如理想、吉利這些。然后又接觸了很多 AI 創業公司,比如 MiniMax、智譜,然后發現大模型起來了。
我就感覺那個問題的答案自然就來了。這幾年 AI 快速普及,我覺得還是挺幸運的。
晚點:為什么說很幸運?
譚待:AI 公司的需求不小,但要求也很高。22 年就需要把幾千張 GPU 做成單一集群做訓練,還是很有挑戰。行業里面很少有公司做這樣的事情。但抖音是有的,推薦、廣告系統模型都很大,只不過它是稀疏的模型。
這里面有一個很重要的點,火山成立有一個原則,一定是要內外技術同源,把最好的技術拿出去。這看起來理所當然,但不容易做到。很多云平臺最后都會搞一個內部業務上云。這就說明,他們云業務和內部體系是分裂的。
我們在組織上做了很多的設計,確保不分裂。這樣的好處是,我們推出機器學習平臺時,就具備真實環境中大規模訓練的經驗。
很多公司選擇火山,不是因為我們有卡,而是因為我們能夠穩定地把模型訓練出來。
晚點:你們在 2022 年就看到 MiniMax、智譜的需求提升,有建議公司盡快做大模型嗎?豆包大模型出來的確挺晚。
譚待:沒建議。很快 ChatGPT 就出來了,就不需要我建議了。
晚點:同行都在 2023 年推出大模型服務,你們不著急嗎?
譚待:創新肯定是不能規劃的。我們還是希望把模型做好了再對外推。國內的模型也都是 24 年才逐步成熟。搶跑幾個月沒有意義。
晚點:聽上去你很從容。這么多年壓力最大的是什么時候?
譚待:剛開始做火山的時候。我原本是做技術的,沒有經營過業務,也沒有管理過特別大的團隊。
晚點:那為什么字節的高管會讓你管,而不是找個更有經驗的云計算行業高管?
譚待:可能是覺得我很有熱情,也有潛力(笑)。就我本身而言,這跟我的職業規劃有關,我原來在百度很快就做到 T11(工程師最高職級),也想轉型做業務,要跟技術強相關,做 ToB 基本是唯一的選項了。
在云計算行業做了很久的人,并不一定對字節有信心。我面試的時候,一些有經驗的朋友跟我說:字節肯定做不起來。現在他們會跟我說,火山做得挺好的。
晚點:你們最大的競爭對手是誰?
譚待:挺多的。排在我們前面的,都是很有力的競爭者。
晚點:你們要做第一?
譚待:國內 AI 這一塊,我們的目標肯定是第一。市場空間未來可能會擴大 100 倍,保持第一還是很有挑戰的。
晚點:火山引擎有個 1000 億的收入目標。什么時候定下的?
譚待:21 年左右寫 BP (商業計劃書)的時候。當時判斷這個業務周期很長,就不寫 3 年 BP 了,寫個 8 到 10 年的。
晚點:為什么是 1000 億?
譚待:云是一個很大的市場,要取得一定的份額才有價值。
晚點:火山引擎去年收入 100 億,今年沖刺 200 多億。千億目標進度條現在只有 25%。距離你的目標剩不了幾年,能做到嗎?
譚待:得看增速,這個速度能保持下來的話,應該是可以完成的。
晚點:但收入規模越大,增速就會越來越慢。
譚待:是慢,但肯定也會增長。因為 AI 這個市場會足夠大。
晚點:云服分成兩個市場,一個是 CPU 為基礎的傳統云服務,一個是 GPU 為基礎的 AI 云服務。你們的 1000 億怎么分?
譚待:GPU 會占大頭,至少要超過一半。
晚點:你之前有個判斷,ToB 行業頭三年的事情,就會決定八年后的格局。從 ChatGPT 到現在也快三年了。你們還有哪些重要的事情沒做?
譚待:Agent 今年可能才是元年。那么 AI 云原生這些事情,從開發范式到底下技術、安全、數據都會有變化,這些都要加班加碼做好。
晚點:你今年的 OKR 是什么?
譚待:很簡單,AI 做第一,增加存量市場份額,把組織做好。這個 OKR 我寫了好幾年了。
晚點:今年有什么新變化嗎?
譚待:你可以看我們機場廣告,原來寫的是:火山引擎,你的下一朵云。馬上我們就會改成:火山引擎,你的 AI 云。
我們現在就是讓大家認識到在 AI 時代,火山是最好的選擇。
晚點:如果 10 年的期限到了,火山沒做到 1000 億收入。你覺得會是什么沒做好?
譚待:只要世界和平,經濟發展,我覺得肯定沒問題。
馬拉松才跑 500 米,豆包 App 出了不少力
晚點:IDC 統計,去年國內大模型調用總量中,火山引擎占比 46.4%。這包括豆包、即夢等字節內部應用的消耗嗎?
譚待:不包括。分子、分母都是外部的。
晚點:你們對這個成績滿意嗎?
譚待:談不上滿意和不滿意。這個事太早期了。我跟團隊說,馬拉松才跑 500 米,別取得一點點小成績就滿意了。之前我們定目標的時候,就是超過 40%。
晚點:你們在去年 5 月才發布豆包大模型,比同行都晚。為什么敢定這么高的目標?
譚待:我們的判斷是,這個市場會增加十倍,比人家晚半年無所謂。如果只漲 50%,晚半年確實太難了,你得把存量搶過來。全是增量那無所謂。
晚點:有一些同行說,字節有很多 GPU,火山引擎的市場份額是用虧錢換來的。
譚待:我們是有毛利的。MaaS(模型即服務)是一個賺錢的生意,毛利率在所有云服務產品中算比較好的。除掉數據庫,國內沒什么賺錢的 PaaS,像容器化什么的服務,都是買 IaaS 直接送的。
晚點:據我們了解,你們給大模型定價的時候,是用倒推的邏輯,假設未來調用量達到一定程度,就能盈虧平衡。所以會先降價吸引客戶。
譚待:假設我三個月后能把成本降下來,用那個價格對外提供服務,也是合理的吧?
晚點:DeepSeek 說自己 API 服務的毛利為 85%(成本利潤率 545%),你看到有什么感受?
譚待:它是一個理論值。他們的確有各種優化點。不過算力需求有波峰和波谷,波谷的成本是大頭,他們把波谷的成本拿走做訓練了,所以那時候成本很低。他們也沒有算 SLA(云平臺服務客戶的協議,代表對客戶的承諾),波峰高的時候可以跳票。
我們去掉了那些偏理論的點,跟內部比了一下,發現做得的確還可以。他們也幫我們澄清了一些事情。去年我們降價,好多人說我們虧本打價格戰。我還專門發朋友圈解釋,說靠技術做到的。DeepSeek 證明靠技術的確可以做到。
晚點:為什么你們說靠技術降成本別人不信,DeepSeek 出來說就有人信?
譚待:DeepSeek 是開源的,大家可以做一些復現。
晚點:那你會想讓豆包開源嗎?
譚待:我沒有偏好。最重要的是模型是不是能做到最好。客戶不會在意你是開源還是閉源。就算開源了,大家也傾向用云上托管的版本,自己搭太貴了。
晚點:所以低價是你們拿下超 40% 市場份額的主要原因?
譚待:低價只是剛開始對我們有幫助,現在大家的定價都差不多。首先還是模型效果要好。另外我們還有一個很大的優勢,是 C 端(個人消費者)B 端(企業客戶) 協同。
字節的 C 端產品有大量用戶,會大規模調用模型,能幫我們把服務做好。同時,還有很多人會拿著我們 C 端產品的 Case 找過來,說想用在業務中,火山能不能做類似的效果?
我經常開玩笑說,企業 AI 轉型第一步,就是董事長先下載一個豆包 App。我發現好多人都認這一點。所以大模型一定要好。不能他們用了后覺得很挫,可能以后就不考慮我們了。
晚點:效果好決定一切?
譚待:這只是模型好的一方面,其他還有穩定性強,吞吐高。大家容易忽視的是模型的 TPM(Tokens Per Minute,每分鐘處理的 tokens 數),我們能到 500 萬。
擴大 TPM 要更多的成本,也考驗調度系統。所以有同行取巧,說價格追平了我們,把 TPM 限制得很小。如果客戶想擴大就得加錢。
晚點:去年你們豆包降價的時候,就因為 TPM 低被吐槽。
譚待:當時沒注意到這一點,就用了跟同行一樣的。我們一周后就把它放大了。后面我們一直默認把 TPM 做得很大。這是客戶教我們的。云里面有很多這種細節,魔鬼都在細節里面。
晚點:云計算這種細節特別多、鏈條又很長的系統里面,怎么能做到最好?
譚待:最重要的還是規模要大。規模大了,服務器多、負載高,天然就對技術有很高的要求,就會強迫我們做好各種事情。我們內部很早就用 GPU 訓練推薦系統,可以直接對外復用了。
規模大了后,做優化收益也很大。1 萬臺服務器利用率優化一個點,100 萬臺服務器優化一個點,收益差 100 倍。但要做的事情是差不多的。這個收益差異,可以讓我組建強大的團隊做得更好。
晚點:如果看整個云計算領域,不只算 AI 云,規模最大的還是阿里云。
譚待:只算云業務國內肯定是阿里云,如果按整個集團來算資源規模的話,我們不比阿里少。如果沒有那么大的內部資源,再大的力也出不了奇跡,都沒有讓你練手的地方。
用模式創新繼續推動降價,Agent 會突破 App 時代天花板
晚點:豆包 1.5 已經發布快半年了,現在你們發布新款豆包大模型命名 1.6,大模型迭代速度放緩了?
譚待:也不能說放緩。這一版與 1.5 相比有很大優化。2.0 會有的,我們希望大版本更新的時候變化更大。
晚點:一年前你們開發布會,大模型降價幅度非常大,比行業均價減少 99.3%。今年降價幅度為什么變小了?
譚待:去年國內很多人都在講 AI 概念,但 AI 應用很少,沒多少人用大模型。主要原因就是太貴,有的模型比美國的模型還貴,兩邊人均 GDP 水平又不一樣。
我們看到能靠技術把成本降下來,就決定一次降徹底,更低的成本能催生更多應用,可以把盤子做大。
想要繼續降價,技術得有大幅更新,但它是有周期的。而且成本已經不算是 AI 應用創新的門檻了,更大的問題是怎么用好平臺,做出來更好的應用。
晚點:那這次你們怎么把模型價格降到過去的 1/3?
譚待:主要是定價模式上的創新。深度思考模型出來后,解鎖了很多場景,比如搜索。這些模型用起來挺貴的。
其實同一個模型,開思考和不開思考單位成本是一樣的,主要的差別就是 context(輸入內容)長度。我們發現,客戶使用大模型時,context 長度分布有規律,大部分都落在 0 到 32K,然后是 128K、256K。
我們就決定不再給思考模型與普通模型分別定價,而是按照 context 長度做區分,動態計價。我們相信,這會跟去年我們大幅降價一樣,引領行業往這個方向發展。
晚點:你們今年介紹了很多 Agent 方面的進展,比如做全鏈路 Agent 開發工具、改進數據基建,看上去跟同行沒太大差別。
譚待:剛才說的計費方式變化就是個明顯的差別。這樣定價也不是誰都可以做。首先你得服務過很多的客戶,才能知道 context 的分布規律。資源調度也要進一步優化,把不同長度的 context 混在一起推理,會浪費資源。 我們把思考模型的 context 做到 256K,至少在國內是第一家。
強化學習是做好 Agent 的關鍵技術,現在業內用得最多的強化學習框架就是 veRL,這是我們開源的。那個 ve 就是 volcengine(火山引擎的英文)的意思。
另外,Agent 一定要用到 Coding(編程),讓模型能自己寫代碼解決問題,這需要類似 IDE 的開發環境。國內大多數公司只是提供 AI 生成代碼插件,這顯然不夠。字節的 Trae 應該是國內唯一定位像 Cursor 的集成式 Coding Agent。
晚點:Trae 是一個開發者工具,跟火山引擎做 Agent 有什么關系?
譚待:它背后的大模型用了火山上的。火山上的所有云組件服務,我們全部用 MCP 協議做成了服務,直接跟 Trae 打通,開發者做完開發,就可以直接調用云上的各種組件部署、運維了。
晚點:你們怎么判斷 Agent 對云計算行業的影響?看到了什么機會?
譚待:PC 到移動再到現在的 AI,是主體發生變化。PC 的時候是網站,移動的時候是 App,AI 將來最重要的主體其實是 Agent。
主體不同,開發范式會變。PC、移動時代的各種架構,容器化、微服務都是程序員理解業務,定義規則和算法,然后驅動數據做事。Agent 是模型自己思考、規劃、編排流程。
這就是我們說的 AI 云原生。過去的云平臺是為 Web、App 最佳實踐設計的,現在要圍繞著 Agent 設計。
未來 Agent 和 Agent 之間會有一個網絡,它們可以自動執行任務。App 都是供人使用,但全世界就有這么多人,每個人能花多少時間,算下來的總時長就是 App 的上限。
Agent 能主動執行任務,它工作的總時長,會遠高于 App 的上限,就能創造更大的經濟價值。這需要更多的云計算資源。
豆包模型調用半年翻兩番,模型更新帶動需求增長
晚點:你們這次宣布了一個數字,豆包大模型日均 Token 處理量達到 16.4 萬億了。這個算內部產品嗎?
譚待:這個算的。
晚點:去年 12 月你們宣布的數字是 4 萬億,到現在翻了兩番。為什么這么快?
譚待:這就說明 AI 在蓬勃發展,這個數字不僅代表豆包的速度,能說明 AI 的速度。
晚點:有人說是 DeepSeek 的爆發帶動行業發展。讓很多大模型公司都受益了。
譚待:DeepSeek 出來后,我們的確感覺到客戶的熱情提升了。主要是它破圈了。客戶的增長,還是比較依賴模型能力提升。
晚點:從豆包大模型增長來看,哪些行業的客戶的 Token 消耗量在提升?
譚待:最近半年有兩個驅動力。一是深度思考模型出來后,帶動 AI 工具類應用快速增長,AI 搜索、AI Coding 漲了接近 10 倍。
另一個是多模態模型,也催生了新需求。很多客戶用它在線下巡店,看餐盤有沒有放好、工作人員帽子有沒有戴好等等。這半年也有 10 倍增長。
晚點:這種需求靠過去的小模型就可以做,現在用大模型更便宜嗎?
譚待:用上多模態大模型,單次推理成本可能是增加的。但以前的小模型,一個場景就要訓一個模型,訓練成本很高,還不一定能識別全。現在用大模型,只需要 Prompt 就可以了。綜合成本是低的。
晚點:這些都是模型迭代帶來的變化。客戶對大模型的態度有什么變化嗎?
譚待:變化還是很明顯的。以前你還得科普,現在不用了。尤其是今年。現在的矛盾點是,大模型能不能創造經濟價值。如果這個事更明顯,增長可以更快。
晚點:你們有碰到一些失敗案例嗎?
譚待:說失敗不太合適,可以說是有挑戰的案例。比如有監管要求的行業客戶。他們上來就會問,能不能私有化?
所以我們這次大會講了很多大模型安全的內容。我們有個產品叫 AI 密態計算,用硬件隔離出加密環境,用端側的密鑰解密。讓客戶有私有云的安全程度,又能訪問最新模型,成本還低。
晚點:現在做大模型一體機的有很多,為什么私有化會是挑戰 ?
譚待:想把大模型用起來,不能只有一個模型,還要有一系列工具。云上的工具都還在完善,怎么能指望一體機里面東西都是健全的?
而且公有云上可以用混合調度,把每一次 token 調用的成本攤薄。私有云的環境中,處理 Token 的成本要比云上的刊例價至少高 5 倍。 這會影響發展速度。
晚點:你們占了這么大的市場份額,現在增長也很快。你們總結了什么經驗?
譚待:最重要的是建立機制。客戶想用好大模型,需要做好 prompt、模型要精巧、有合適的 RAG 知識庫。我們會組建專門的服務團隊,和行業線團隊做匹配去服務他們。
我們會把這些能力沉淀到一個工具中。比如這次我們推出的 Prompt Pilot,就是發現要做大量 Prompt Engineering 的事情,這太累了。
晚點:現在大家都在說,只要模型足夠好,不需要太多提示詞工程。
譚待:我覺得這完全是錯的。應該反過來,模型更好的時候,提示詞工程價值更大。當你把需求說得更明確的時候,更好的大模型其實能執行得更好。
晚點:一位云平臺負責人跟我們說,云服務是多元化體系,客戶想用什么模型,就要想辦法去滿足他們的需求。火山跟豆包綁定非常深,會影響你們增長嗎?
譚待:我覺得這是兩個流派。對自己模型沒有信心,可能就會說自己是一個云平臺,要支持所有的模型。我們對自己的模型特別有信心,就會傾向于做垂直優化。
那些很復雜的 Agent ,讓它做好復雜任務,不僅模型要優化,背后的服務也得優化,還要準備好調優的環境等等。
我們能提供的最大價值,是垂直優化的能力,這肯定是基于豆包大模型的。有些客戶的需求,甚至要在預訓練階段解決。 我不可能幫客戶優化一個開源模型,我也沒有源代碼。
晚點:做垂直優化,你們也要跟研發大模型的 Seed、各種 AI 產品合作。這些都是不同的部門。你們有什么樣的合作機制?
譚待:火山有專門的團隊,可以參與到模型研發和產品開發中。字節做火山一個重要的原則就是技術內外同源,比如我們的基礎設施就是復用一個大團隊,保證體系能夠協調在一起。
如果是分裂的,協作就需要公司的 CTO 來協調。但大多數 CTO 都不太了解底下的細節。在字節,技術負責人就可以了。
晚點:如果豆包能力提升很慢,做不到最好呢?
譚待:這是小概率事件。如果豆包能力提升很慢,公司自然會提高優先級去解決。
晚點:很多云廠商都在投資大做 AI 基建,比如阿里宣布三年投入 3800 億元。你們怎么規劃的?
譚待:我們不一定非要宣布花多少錢,客戶需要算力的時候,我們能滿足就好了。我希望默默把事情做好,給大家一個驚喜。
題圖來源:火山引擎
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.