文 | 光錐智能，作者｜楊儒、劉英航、謝晨星、王嘉攀

展望AI未來

人類的大腦估計(jì)已經(jīng)包含860億個(gè)（10^11次方）神經(jīng)元，這些細(xì)胞信號(hào)傳遞到對(duì)方通過多達(dá)100萬億（10^15）突觸連接。

GPT-4是8個(gè)2200億參數(shù)組成的混合專家模型，8 x 220B = 1.76萬億連接，與真實(shí)人腦仍然差50多倍。

人腦功耗10w。

?一張NVIDIA A100功耗250w，更別說萬卡集群，簡(jiǎn)單計(jì)算相差25萬倍。

人腦神經(jīng)元種類多樣、神經(jīng)遞質(zhì)多樣，多為化學(xué)信號(hào)，維度信息高。

人工神經(jīng)元結(jié)構(gòu)簡(jiǎn)單單一，傳遞為簡(jiǎn)單電信號(hào)，維度信息低。

人工神經(jīng)元之間的連接則是一開始就被固定好了的，比如根據(jù)實(shí)際需求需要設(shè)計(jì)一個(gè)多大的神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型，那么這個(gè)網(wǎng)絡(luò)模型的參數(shù)和連接方式就基本已經(jīng)被固定了。雖然可以通過神經(jīng)元之間的隨機(jī)失活等方法可以局部的改變神經(jīng)網(wǎng)絡(luò)內(nèi)部的連接，但是這種改變?nèi)匀粺o法讓人工神經(jīng)元像生物神經(jīng)元一樣根據(jù)外界輸入的數(shù)據(jù)信息而選擇性的提取需要的特征信息。

生物的神經(jīng)元之間是沒有任何順序的，可以隨時(shí)根據(jù)外界傳入的信息有條件的隨意連接，但是人工神經(jīng)網(wǎng)絡(luò)內(nèi)部的神經(jīng)元之間是有順序排列的，也就是神經(jīng)網(wǎng)絡(luò)的層數(shù)，人工神經(jīng)元只能在神經(jīng)網(wǎng)絡(luò)的不同層之間發(fā)生連接，由于數(shù)學(xué)矩陣運(yùn)算的規(guī)律，在同一層神經(jīng)網(wǎng)絡(luò)之間的神經(jīng)元是無法連接的。

而且無論從目前效果和上述的巨大區(qū)別上，目前的LLM離真正的AGI還有很大的差距，想象看一個(gè)人類擁有互聯(lián)網(wǎng)級(jí)別信息的時(shí)候，智慧程度會(huì)跟現(xiàn)在LLM一樣嗎？

所以很多人說數(shù)據(jù)即將用盡的觀點(diǎn)是偏頗的，算法倒是學(xué)習(xí)效率低下才是本質(zhì)。

但也說明深度仿生的聯(lián)結(jié)主義潛力巨大。但未來會(huì)如何呢？

奧特曼在今年10月份接受采訪說：伊利亞（OpenAI前首席科學(xué)家伊利亞·蘇茨克維）總是說，這些模型的真正意義在于壓縮，我們要找出如何壓縮盡可能多的知識(shí)，這就是我們打造人工智能的方式。壓縮就像是智慧密鑰，我已經(jīng)對(duì)此冥想很久，但我確信自己仍然沒有完全理解它，但那里有些更深刻的東西。

就上上文提及到的注意力機(jī)制一樣。隨著進(jìn)化的腳步，生命體本身由簡(jiǎn)至繁，而人類歷史發(fā)展到今天，我們的生存環(huán)境和所需要學(xué)習(xí)、掌握的工作任務(wù)和過去的叢林生活復(fù)雜到不知多少。為了應(yīng)對(duì)這個(gè)變化，大腦會(huì)如何進(jìn)化呢？是發(fā)展成一個(gè)同時(shí)處理龐大的信息并且容量超大的大腦，還是發(fā)展成雖然容量不大，但可以迅速地分析信息，并配有一個(gè)高效率信息選擇和投注機(jī)制，將所有計(jì)算能力都放在重要的任務(wù)上的大腦呢？很明顯的，后者更有優(yōu)勢(shì)，而且大自然也為我們選擇了這個(gè)目標(biāo)。

人腦的注意力是一個(gè)用來分配有限的信息處理能力的選擇機(jī)制。而Transfomer的自注意力是通過概率分布和權(quán)重分配實(shí)現(xiàn)該機(jī)制。

"預(yù)測(cè)即壓縮, 壓縮即智能"

這一觀點(diǎn)最早由Ilya Sutskever在其博文和訪談中提出。Ilya Sutskever在不同場(chǎng)合提到，當(dāng)我們談?wù)摗邦A(yù)測(cè)下一個(gè)Token”時(shí)，本質(zhì)上是在進(jìn)行信息壓縮。一個(gè)理想的預(yù)測(cè)模型, 應(yīng)該能夠以最簡(jiǎn)潔的形式(即最短的程序或描述)來表示輸入數(shù)據(jù)中的關(guān)鍵模式和規(guī)律。預(yù)測(cè)是通過生成特定數(shù)據(jù)集的最短程序來實(shí)現(xiàn)的【46】。

Geoffrey Hinton從另一個(gè)角度闡釋了壓縮與智能之間的聯(lián)系。他指出, 人工智能系統(tǒng)之所以能夠展現(xiàn)出理解、類比、創(chuàng)新等高級(jí)認(rèn)知能力, 關(guān)鍵在于它們能夠發(fā)現(xiàn)并利用不同事物和概念之間的共同結(jié)構(gòu)。如果AI系統(tǒng)能夠掌握這種高度概括的表示,就可以實(shí)現(xiàn)跨域的類比和泛化。而要做到這一點(diǎn),就需要AI系統(tǒng)從大量表面差異巨大的事例中提煉和壓縮出最本質(zhì)的共性。換言之, 機(jī)器要成為一個(gè)智能的類比推理者, 首先需要成為一個(gè)高效的信息壓縮者。

可以抽象的理解為：壓縮就是尋找第一性原理的過程，數(shù)據(jù)越多，總結(jié)出的第一性原理更具有普遍性。

綜合Sutskever和Hinton的觀點(diǎn), 我們可以得出以下幾點(diǎn)認(rèn)識(shí):

1. 從信息論的角度看, 學(xué)習(xí)的本質(zhì)是一個(gè)逐步壓縮數(shù)據(jù)的過程。通過在輸入數(shù)據(jù)中發(fā)現(xiàn)可泛化的模式和規(guī)律, 學(xué)習(xí)系統(tǒng)可以用更簡(jiǎn)潔的表示來重構(gòu)原始信息, 從而降低其描述復(fù)雜度；同時(shí)減少信息在壓縮中的損失。

2. 大規(guī)模機(jī)器學(xué)習(xí), 尤其是基于海量數(shù)據(jù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò), 可以看作是朝著最優(yōu)壓縮逐步逼近的過程。隨著模型規(guī)模和數(shù)據(jù)量的增大, 神經(jīng)網(wǎng)絡(luò)能夠捕捉到越來越抽象和一般化的特征, 其內(nèi)部表示可以壓縮更多的信息。

3. 壓縮能力與智能水平密切相關(guān)。一個(gè)高度智能的系統(tǒng), 應(yīng)該能夠基于少量信息對(duì)世界進(jìn)行大量的重構(gòu)和預(yù)測(cè)。這就要求系統(tǒng)在學(xué)習(xí)過程中最大限度地提取和內(nèi)化數(shù)據(jù)中的關(guān)鍵模式和規(guī)律。因此,追求更強(qiáng)的壓縮能力, 可以為我們指引通往AGI(通用人工智能)的道路。

楊立昆在題為《朝向能學(xué)習(xí)、思考和計(jì)劃的機(jī)器進(jìn)發(fā)》的演講中，清晰地指明了以自監(jiān)督學(xué)習(xí)為代表的 AI 系統(tǒng)的優(yōu)缺點(diǎn)。

我們今天正在使用的LLM還無法做到真正的理解世界，這其中有很多原因，但最主要的原因是：LLM的訓(xùn)練方式是用一段缺失了部分文字的文本去訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)缺失的文字。事實(shí)上，LLM并不預(yù)測(cè)詞語，而是生成字典中所有可能詞語的概率分布，然后從概率分布中選擇一個(gè)詞放入文本序列的尾部，再用新生成的文本去預(yù)測(cè)下一個(gè)詞，這就是所謂的自回歸預(yù)測(cè)【47】。

但這種自回歸的方式與人類的思維方式有很大的不同。人類大部分的思考和規(guī)劃都是在更抽象的表征層面上進(jìn)行的--人類對(duì)思考的意識(shí)只存在于高級(jí)表征中-比如人類不是靠像素點(diǎn)識(shí)別物體的，而是又像素點(diǎn)形成的光影、輪廓等，知識(shí)來源于此，而不是在更深層次的神經(jīng)網(wǎng)絡(luò)中，換句話來說，如果輸出的是語言（說出的話）而不是肌肉動(dòng)作，人類會(huì)在給出答案之前先思考好答案。但是LLM不這樣做，它們只是本能地一個(gè)接一個(gè)地輸出文字，就像人類的某些下意識(shí)動(dòng)作一樣。

然而，單靠這種方式，我們并不能真正做到推理，也很難處理非離散的復(fù)雜現(xiàn)實(shí)數(shù)據(jù)。要實(shí)現(xiàn)人類級(jí)別的智能，我們?nèi)匀蝗鄙僖恍┲陵P(guān)重要的要素。比如，一個(gè)十歲的孩子學(xué)會(huì)收拾餐桌、把碗盤放進(jìn)洗碗機(jī)，只需看一遍就能學(xué)會(huì)。而一個(gè)17歲的青少年經(jīng)過大約20小時(shí)的練習(xí)就能學(xué)會(huì)開車。然而，我們還沒有達(dá)到五級(jí)自動(dòng)駕駛，也沒有能夠幫忙收拾餐桌的家用機(jī)器人。

實(shí)現(xiàn)真正的智能需要的一個(gè)關(guān)鍵能力是“分層規(guī)劃”，也就是我們?nèi)祟愒诿鎸?duì)復(fù)雜問題時(shí)，能夠分階段、分層次地進(jìn)行解決。比如從紐約去巴黎，我們會(huì)先計(jì)劃怎么到機(jī)場(chǎng)，而不是從一開始就去計(jì)算整個(gè)行程中每一步的肌肉動(dòng)作。如何讓AI具備這種分層規(guī)劃能力，目前仍是一個(gè)未解的難題。

真正的世界模型是：我對(duì)某時(shí)刻T時(shí)世界狀態(tài)的想法，疊加此時(shí)我可能采取的行動(dòng)，來預(yù)測(cè)在時(shí)間T+1時(shí)的世界狀態(tài)。這里所指的世界狀態(tài)并不需要代表世界的一切，不一定需要包含所有的細(xì)節(jié)，它只需要代表與這次行動(dòng)規(guī)劃相關(guān)的足夠多的信息。

十年來，我們使用生成式模型和預(yù)測(cè)像素的模型，試圖通過訓(xùn)練一個(gè)系統(tǒng)來預(yù)測(cè)視頻中將發(fā)生什么來學(xué)習(xí)直觀物理，但失敗了，我們無法讓它們學(xué)習(xí)良好的圖像或視頻表征，這表示，我們無法使用生成式模型來學(xué)習(xí)對(duì)物理世界的良好表征。

目前，看起來可以更好地構(gòu)建世界模型的一種新方法是”聯(lián)合嵌入”，稱為JEPA（聯(lián)合嵌入式預(yù)測(cè)架構(gòu)），其基本思路是獲取完整的圖像及其損壞或轉(zhuǎn)換的版本，然后將它們同時(shí)通過編碼器運(yùn)行（一般來說，編碼器是相同的，但也不一定），然后在這些編碼器之上訓(xùn)練一個(gè)預(yù)測(cè)器，以根據(jù)損壞輸入的表征來預(yù)測(cè)完整輸入的表征。JEPA與LLM有什么區(qū)別？【48】

LLM是通過重建方法生成輸入，生成未損壞、未轉(zhuǎn)換的原始輸入，因此必須預(yù)測(cè)所有像素和細(xì)節(jié)。而JEPA并不嘗試預(yù)測(cè)所有像素，只是嘗試預(yù)測(cè)輸入的抽象表征，從本質(zhì)上學(xué)習(xí)世界的抽象表征（例如風(fēng)吹樹葉，JEPA在表征空間中預(yù)測(cè)，會(huì)告訴你樹葉在動(dòng)，但不會(huì)預(yù)測(cè)每個(gè)樹葉的像素）。

JEPA的真正含義是，以自我監(jiān)督的方式學(xué)習(xí)抽象表征，這是智能系統(tǒng)的一個(gè)重要組成部分。人類有多個(gè)抽象層次來描述世界萬象，從量子場(chǎng)論到原子理論、分子、化學(xué)、材料，一直延伸到現(xiàn)實(shí)世界中的具體物體等，因此，我們不應(yīng)只局限于以最低層次進(jìn)行建模。

基于該理念設(shè)計(jì)的 V-JEPA 是一種“非生成模型”，通過預(yù)測(cè)抽象表示空間中視頻的缺失或屏蔽部分來進(jìn)行學(xué)習(xí)。

四、大模型產(chǎn)業(yè)鏈——綜述

產(chǎn)業(yè)鏈的價(jià)值規(guī)則

框架根據(jù)具體的工作流盡可能的列出行業(yè)，有價(jià)值的筆者總結(jié)性多講，沒有變動(dòng)的且基礎(chǔ)的介紹一下。關(guān)鍵的熱點(diǎn)行業(yè)，筆者會(huì)綜合講述中美企業(yè)和商業(yè)環(huán)境的不同之處。

筆者對(duì)有價(jià)值的定義：

1 技術(shù)顛覆 -- 先發(fā)的知識(shí)（人才）壁壘

2 商業(yè)模式顛覆 -- 確保和大公司盡量在同一起跑線

3 有一定的市場(chǎng)規(guī)模的想象空間

五、基礎(chǔ)層

算力

這里只講述整裝硬件層面的算力提供商以及基礎(chǔ)的軟件的趨勢(shì)。不涉及芯片行業(yè)的上游。

LLM對(duì)算力的需求飆升

我們看到，為追求Scaling law帶來的涌現(xiàn)效應(yīng)，在位廠商模型訓(xùn)練的算力規(guī)模不斷擴(kuò)大，對(duì)AI算力基礎(chǔ)設(shè)施的需求形成支撐。根據(jù)中國(guó)信通院《中國(guó)算力發(fā)展白皮書（2023）》，GPT-3的模型參數(shù)約為1,746億個(gè)，訓(xùn)練一次需要的總算力約為3,640 PF-days，即以每秒一千萬億次計(jì)算，需要運(yùn)行3,640天；2023年推出的GPT-4參數(shù)量可能達(dá)到1.8萬億個(gè)，訓(xùn)練算力需求上升至GPT-3的68倍，在2.5萬個(gè)A100上需訓(xùn)練90-100天【49】。

針對(duì)LLM的新供應(yīng)

按照芯片的設(shè)計(jì)理念及用途，AI算力芯片可分為通用芯片和專用芯片，二者各有特點(diǎn)。

通用芯片為解決通用任務(wù)而設(shè)計(jì)，主要包括CPU、GPU（含GPGPU）和FPGA。

專用芯片（ASIC）為執(zhí)行特定運(yùn)算而設(shè)計(jì)，具備算法固化特性，主要包括TPU（Tensor Processing Unit，張量處理器）、NPU（Neural Network Processing Unit，神經(jīng)網(wǎng)絡(luò)處理器）等。

在通用算力芯片當(dāng)中，CPU內(nèi)核數(shù)量有限，采用串行方式處理指令，適合于順序執(zhí)行的任務(wù)；GPU采用眾核結(jié)構(gòu)，最初開發(fā)用于圖形處理，而后憑借其強(qiáng)大的并行計(jì)算能力適用于AI通用計(jì)算（GPGPU）；FPGA是具備可編程硬件結(jié)構(gòu)的集成電路，其可編程性和靈活性可快速適應(yīng)AI領(lǐng)域的算法變化。與專用芯片相比，通用芯片主要優(yōu)勢(shì)在于靈活性及生態(tài)系統(tǒng)的完善性，可適應(yīng)高速迭代的算法任務(wù)，同時(shí)GPU保留的渲染能力可適應(yīng)大模型的多模態(tài)發(fā)展，而其主要劣勢(shì)則在于較高的功耗水平和較低的算力利用率。

專用芯片的優(yōu)勢(shì)則在于通過算法固化實(shí)現(xiàn)了更高的利用率和能耗比，以及更低的器件成本，同時(shí)ASIC更適合大規(guī)模矩陣運(yùn)算；其主要劣勢(shì)是前期投入成本高、研發(fā)時(shí)間長(zhǎng)，且只針對(duì)某個(gè)特殊場(chǎng)景，靈活性不及通用芯片【50】。

ASIC（Application Specific Integrated Circuit）是專用集成電路，針對(duì)用戶對(duì)特定電子系統(tǒng)的需求，從根級(jí)設(shè)計(jì)、制造的專用應(yīng)用程序芯片，其計(jì)算能力和效率根據(jù)算法需要進(jìn)行定制，是固定算法最優(yōu)化設(shè)計(jì)的產(chǎn)物。經(jīng)過算法固化后，專用芯片與軟件適配性較高，從而能夠調(diào)動(dòng)更多硬件資源，提高芯片利用率。而通用芯片由于算法不固定，其硬件往往會(huì)產(chǎn)生冗余，導(dǎo)致芯片利用率較低。

目前價(jià)值最大的仍然是GPU，它更適應(yīng)高并發(fā)多分布式的訓(xùn)練，LLM訓(xùn)練和推理以它為主，95%的算力的都是由它提供。

就像工廠一樣，一開始會(huì)去買標(biāo)準(zhǔn)的設(shè)備（通用芯片）進(jìn)行生產(chǎn)，后續(xù)規(guī)模擴(kuò)大了，更了解客戶的需求后，產(chǎn)品變的差異化，這時(shí)候會(huì)去找產(chǎn)線集成商如西門子，定制化產(chǎn)線（專用芯片）；本質(zhì)上來說，背后就是需求和廠商供應(yīng)的trade-off（成本等），但是需求是第一位，大規(guī)模量產(chǎn)和定制化的前提都是同質(zhì)化的需求在支撐。

目前，我們對(duì)LLM的訓(xùn)練和推理算法皆有不同程度的優(yōu)化，商業(yè)場(chǎng)景還在積極探索，甚至是算法本身都在快速變化，ASIC等專用芯片為時(shí)尚早。

深度神經(jīng)網(wǎng)絡(luò)對(duì)計(jì)算芯片的需求主要圍繞解決兩個(gè)問題展開：

（1）解決AI計(jì)算芯片和存儲(chǔ)間數(shù)據(jù)通信需求，AI模型中，大量運(yùn)算資源被消耗在數(shù)據(jù)搬運(yùn)的過程。芯片內(nèi)部到外部的帶寬以及片上緩存空間限制了運(yùn)算的效率。

（2）在控制功耗的同時(shí)不斷提升專用計(jì)算能力，對(duì)AI芯片進(jìn)行定制，在特定場(chǎng)景下實(shí)現(xiàn)AI芯片的高性能和低功耗，解決對(duì)卷積、殘差網(wǎng)絡(luò)等各類AI計(jì)算模型的大量計(jì)算需求。

眾所周知的芯片斷供原因，國(guó)內(nèi)廠商無法在正常的渠道買到高端的芯片，如何彌補(bǔ)？

除了走私外，異構(gòu)芯片的混訓(xùn)（國(guó)產(chǎn)芯片+國(guó)外芯片；本地計(jì)算+云計(jì)算）成為了主流，但隨著算力的不斷補(bǔ)充和IDC的建立，并且模型參數(shù)的變小，此類問題將快速解決。能看到的是A100芯片的租賃價(jià)格幾經(jīng)對(duì)折。

國(guó)外的算力中心如特斯拉、谷歌、亞馬遜的萬卡集群都將在近期建設(shè)完成。特斯拉的有10萬塊H100。

新AI算力市場(chǎng)推算

訓(xùn)練成本

推理成本高于訓(xùn)練成本

在給定訓(xùn)練GPT-3模型所需運(yùn)算操作數(shù)量的情況下，即便得知單卡算力，以及要求的訓(xùn)練時(shí)間，量化加速卡數(shù)量實(shí)際上也存在難度，因?yàn)閿?shù)據(jù)集精度、數(shù)據(jù)集迭代次數(shù)，以及GPU的使用效率等等因素都是未知變量【51】。

在此，我們直接采用OpenAI訓(xùn)練集群模型估算結(jié)果作為參考：標(biāo)準(zhǔn)大小的175億參數(shù)GPT3模型大概需要375-625臺(tái)8卡DGX A100服務(wù)器進(jìn)行訓(xùn)練（耗費(fèi)10天左右時(shí)間）。目前來看，訓(xùn)練大模型的硬件投入基本3,000張-5,000張A100 GPU來完成。那么，以單A100卡售價(jià)10,000美元來計(jì)算，生產(chǎn)大模型所需的訓(xùn)練用GPU一次性采購(gòu)拉動(dòng)在千萬美元級(jí)別，具體金額決定于參與生產(chǎn)大模型的終端用戶家數(shù)，中性情形下，我們假設(shè)8家廠商采購(gòu)訓(xùn)練卡，單一廠商需求量500臺(tái)DGX A100服務(wù)器，可帶來的訓(xùn)練AI加速卡市場(chǎng)空間約為3.2億美元。

推理應(yīng)用和實(shí)際業(yè)務(wù)上線關(guān)系緊密，硬件需求要結(jié)合對(duì)效率要求來進(jìn)行部署。以A100 GPU單卡單字輸出需要350ms為基準(zhǔn)計(jì)算，假設(shè)每日訪問客戶數(shù)量為2,000萬人，單客戶每日發(fā)問ChatGPT應(yīng)用10次，單次需要50字回答，則每日消耗GPU的計(jì)算時(shí)間為972,222個(gè)運(yùn)行小時(shí)（2*10^7*10*50*350ms = 3.5*10^12ms = 972,222h），因此，對(duì)應(yīng)的GPU需求數(shù)量為40,509個(gè)。同樣以單卡10,000美元的售價(jià)計(jì)算，2,000萬用戶上線在推理端所創(chuàng)造的AI芯片市場(chǎng)空間約4億美元左右，但在中性情形下，假設(shè)日活用戶數(shù)達(dá)到1億用戶，在單客戶發(fā)問次數(shù)、單次回答字?jǐn)?shù)不變的情況下，我們測(cè)算出推理相關(guān)用AI芯片市場(chǎng)空間有望達(dá)到20億美元【51】。

GPU芯片&服務(wù)器提供商

全球GPU市場(chǎng)競(jìng)爭(zhēng)格局較為集中，當(dāng)前NVIDIA處于市場(chǎng)領(lǐng)導(dǎo)地位，根據(jù)Verified Market Research數(shù)據(jù)，2022年在全球獨(dú)立GPU市場(chǎng)當(dāng)中占比約80%。

國(guó)產(chǎn)AI云端訓(xùn)練和推理芯片廠商參與者眾多，大部分涌現(xiàn)于2017年以后。（1）華為Atlas 300T訓(xùn)練卡（型號(hào)9000）基于昇騰910 AI芯片，單卡算力280TFLOPS FP16；（2）寒武紀(jì)思元370單卡算力256TOPS INT8，是第二代產(chǎn)品思元270算力的2倍；（3）百度昆侖芯2代AI芯片單卡算力為256TOPS INT8 / 128TFLOPS FP16；（4）海光DCU的優(yōu)勢(shì)則體現(xiàn)在生態(tài)兼容性，其ROCm GPU的計(jì)算生態(tài)和英偉達(dá)CUDA[1]高度相似，被稱為“類CUDA”，有利于用戶可快速遷移，2022年海光深算一號(hào)DCU已商業(yè)化應(yīng)用，深算二號(hào)正在研發(fā)中【52】。

目前國(guó)產(chǎn)產(chǎn)品依然與全球領(lǐng)先水平存在2-3年的差距。

國(guó)產(chǎn)最強(qiáng)的AI芯片性能大約為512Tflops，不僅不如NVIDIA的A100，甚至只有H100的四分之一左右。例如，寒武紀(jì)的思元590在某些特定應(yīng)用場(chǎng)景下接近A100 90%的性能，但綜合性能仍只能達(dá)到A100的80%左右。

國(guó)產(chǎn)AI芯片企業(yè)雖作為后發(fā)者，依然擁有市場(chǎng)機(jī)會(huì)。一方面來看，摩爾定律的迭代放緩使得海外龍頭企業(yè)開發(fā)新產(chǎn)品面臨更大的挑戰(zhàn)，中國(guó)企業(yè)有望以更快的速度向海外現(xiàn)有產(chǎn)品看齊，但供應(yīng)鏈方面存在不確定性，對(duì)后發(fā)企業(yè)構(gòu)成利好【53】。

GPU的算法和生態(tài)系統(tǒng)構(gòu)建也是GPU設(shè)計(jì)中的重要部分。GPU算法需要與硬件緊密結(jié)合，以提高GPU的性能和效率。同時(shí)，GPU的軟件生態(tài)系統(tǒng)還需要支持各種開發(fā)工具和框架，以便開發(fā)人員可以更輕松地利用GPU進(jìn)行高性能計(jì)算和機(jī)器學(xué)習(xí)。

基于高層次抽象，英偉達(dá)通過CUDA統(tǒng)一編程平臺(tái)提供了一套完整的開發(fā)工具鏈，包括編譯器、調(diào)試器和性能分析工具，以及豐富的庫函數(shù)（加速算子執(zhí)行、實(shí)現(xiàn)卡間通信），為開發(fā)者提供了便利，降低使用成本。且CUDA統(tǒng)一編程平臺(tái)可支持多個(gè)操作系統(tǒng)，且支持各類GPU（包括數(shù)據(jù)中心級(jí)產(chǎn)品、消費(fèi)級(jí)產(chǎn)品）；全球安裝的CUDA兼容的NVIDIA GPU數(shù)量已經(jīng)達(dá)到了數(shù)億級(jí)別【50】。

由于硬件端AI領(lǐng)域的先發(fā)優(yōu)勢(shì)，大量的AI深度學(xué)習(xí)訓(xùn)練開源項(xiàng)目和框架如PyTorch、TensorFlow等與英偉達(dá)GPU后端實(shí)現(xiàn)了原生適配，且兼容DeepSpeed、Megatron-LM等分布式加速工具；推理端來看，英偉達(dá)同樣擁有Tensor-RT引擎。總結(jié)來說，主流AI軟件棧的最佳優(yōu)化方案均與英偉達(dá)CUDA生態(tài)及GPU深度耦合。通過日積月累，英偉達(dá)硬件環(huán)境上的開發(fā)者數(shù)量眾多，有龐大而活躍的社區(qū)以及大量可用的文檔、教程、論文，開發(fā)人員對(duì)CUDA的熟悉程度和專業(yè)度更高，導(dǎo)致新人采用CUDA面臨的時(shí)間成本更低。到2023年底，CUDA軟件包已累計(jì)下載4800萬次，證明其廣泛的用戶基礎(chǔ)和開發(fā)者社區(qū)的活躍度。

英偉達(dá)對(duì)外部企業(yè)、學(xué)校、以及不同應(yīng)用領(lǐng)域均有良好的解決方案，對(duì)不同類型客戶進(jìn)行深度綁定服務(wù)。

可以說其系統(tǒng)生態(tài)的繁榮為其GPU硬件平臺(tái)提供了最大的開發(fā)生態(tài)護(hù)城河！

能和其英偉達(dá)一較高下的，恐怕只有同時(shí)掌握前后端并擁有獨(dú)立開發(fā)生態(tài)的華為了。

其余的大部分做ai芯片的公司短暫的收入提升來源于國(guó)內(nèi)IDC的建設(shè)，渠道為主，生態(tài)意識(shí)低。

集成算力提供商

一般來講，服務(wù)器的定制化程度高，大廠的服務(wù)器是自己采購(gòu)，自己搭建，中小企業(yè)購(gòu)買會(huì)多一點(diǎn)。再加上云計(jì)算的趨勢(shì)，保密單位的需求會(huì)硬一點(diǎn)，否則云計(jì)算性價(jià)比更高。

AI服務(wù)器（多個(gè)GPU等芯片集成）競(jìng)爭(zhēng)格局方面，當(dāng)前互聯(lián)網(wǎng)云計(jì)算廠商的白牌服務(wù)器占主導(dǎo)，未來隨著邊緣側(cè)應(yīng)用的成熟，品牌服務(wù)器廠商份額也有望提升。AI服務(wù)器分為品牌和白牌兩類。所謂白牌，是由互聯(lián)網(wǎng)云計(jì)算大廠在云計(jì)算的規(guī)模效應(yīng)下，與傳統(tǒng)的服務(wù)器代工廠EMS企業(yè)合作開發(fā)定制化的“白牌”服務(wù)器；所謂品牌，是由專門的服務(wù)器廠商開發(fā)的面向企業(yè)、政府、運(yùn)營(yíng)商和金融等銷售的通用型服務(wù)器【52】。

2023年以來，政府智算中心建設(shè)的規(guī)模與節(jié)奏均有顯著提升。通過梳理各地政府官網(wǎng)信息，我們整理了2020年-2024年政府智算中心建設(shè)情況，發(fā)現(xiàn)：1）2023年以來智算中心建設(shè)明顯加速，各省市地方政府均在積極推進(jìn)智算中心建設(shè)；2）2020年-2023年間已投運(yùn)政府智算中心單期算力建設(shè)規(guī)模一般在500P以下，而隨著AI帶動(dòng)算力需求的提升，單個(gè)智算中心的體量提升，2023年下半年之后建設(shè)與投運(yùn)的智算中心出現(xiàn)較多1000P以上的算力規(guī)模【49】。

華為昇騰、寒武紀(jì)等國(guó)產(chǎn)AI算力芯片成為政府主導(dǎo)的智算中心的重要算力基座。北京昇騰人工智能計(jì)算中心利用“政府引導(dǎo)+市場(chǎng)化運(yùn)作”平臺(tái)建設(shè)模式，政府負(fù)責(zé)頂層設(shè)計(jì)、政策保障；中關(guān)村發(fā)展集團(tuán)負(fù)責(zé)設(shè)施建設(shè)、配套服務(wù)、提供空間載體，最終使用華為自主研發(fā)的昇騰芯片，互利共贏。長(zhǎng)沙昇騰人工智能創(chuàng)新中心由長(zhǎng)沙市政府和湖南湘江新區(qū)共同出資建設(shè)，采用基于昇騰910處理器的兆瀚CA9900 AI集群硬件，總算力最高可達(dá)1024 PFLOPS（FP16）。政府智算中心建設(shè)提速，有望進(jìn)一步拉動(dòng)國(guó)產(chǎn)AI芯片的需求。

根據(jù)三大運(yùn)營(yíng)商2024年資本開支指引，運(yùn)營(yíng)商投資重心將繼續(xù)向算力網(wǎng)絡(luò)建設(shè)傾斜。具體來看，中國(guó)移動(dòng)計(jì)劃2024年在算力網(wǎng)絡(luò)領(lǐng)域投資475億元，占當(dāng)期資本開支的27.5%，同比增長(zhǎng)21.5%；中國(guó)電信資本開支在產(chǎn)業(yè)數(shù)字化方面的投資占比同比提升2.5ppt至38.5%，絕對(duì)額達(dá)到370億元，其中公司計(jì)劃在云/算力投入180億元；中國(guó)聯(lián)通則表示算網(wǎng)數(shù)智投資堅(jiān)持適度超前、加快布局【49】。

三大運(yùn)營(yíng)商智算中心建設(shè)持續(xù)推進(jìn)。根據(jù)2023年度業(yè)績(jī)發(fā)布會(huì)，中國(guó)移動(dòng)計(jì)劃2024年加快算力多元供給，累計(jì)智算規(guī)模規(guī)劃超過17 EFLOPS，新部署智算增幅接近70%；中國(guó)電信持續(xù)推進(jìn)智能算力建設(shè)，2023年公司智算算力新增8.1EFLOPS，增幅高達(dá)279.3%，累計(jì)規(guī)模達(dá)到11.0 EFLOPS，2024年公司預(yù)計(jì)智算規(guī)模將繼續(xù)提升10 EFLOPS至21 EFLOPS（FP16）；根據(jù)公司公告，中國(guó)聯(lián)通算力中心已覆蓋國(guó)家8大樞紐節(jié)點(diǎn)和31個(gè)省份，數(shù)據(jù)中心機(jī)架規(guī)模超40萬架，完成29省千架資源布局，骨干云池城市覆蓋超230城，MEC節(jié)點(diǎn)超600個(gè)。我們認(rèn)為，運(yùn)營(yíng)商對(duì)智算場(chǎng)景投入的持續(xù)加碼有望帶動(dòng)服務(wù)器、網(wǎng)絡(luò)設(shè)備等算力基礎(chǔ)設(shè)施需求節(jié)節(jié)攀升，在電信云網(wǎng)設(shè)備側(cè)具備穩(wěn)定供應(yīng)能力的廠商有望充分受益。

騰訊、百度、阿里、字節(jié)、商湯等企業(yè)積極推進(jìn)智算中心布局，阿里張北超級(jí)智算中心總建設(shè)規(guī)模達(dá)12000PFLOPS 百度與騰訊均已在全國(guó)多個(gè)地區(qū)建立了智算中心，包括廣州、上海、北京等，字節(jié)跳動(dòng)則依托于潤(rùn)澤科技等進(jìn)行智算中心相關(guān)的IDC投資【49】。

互聯(lián)網(wǎng)廠商當(dāng)前算力構(gòu)成仍以英偉達(dá)為主。根據(jù)TrendForce，中國(guó)云計(jì)算廠商目前使用的高端AI芯片中英偉達(dá)的芯片占比約為80%，當(dāng)前的國(guó)產(chǎn)化率水平較低。考慮到貿(mào)易摩擦的影響，海外核心高端AI芯片難以進(jìn)入大陸市場(chǎng)，國(guó)產(chǎn)替代需求迫切性高。

國(guó)內(nèi)AI加速芯片廠商把握發(fā)展機(jī)遇，有望滲透進(jìn)入互聯(lián)網(wǎng)市場(chǎng)。根據(jù)TrendForce，2023年在全球AI服務(wù)器采購(gòu)需求中，字節(jié)跳動(dòng)/百度/騰訊/阿里等中國(guó)互聯(lián)網(wǎng)廠商采購(gòu)占比約8.5%，為AI服務(wù)器的重要需求方。我們認(rèn)為隨著AI大模型加速迭代，國(guó)內(nèi)互聯(lián)網(wǎng)廠商對(duì)于AI服務(wù)器需求有望進(jìn)一步提升，國(guó)產(chǎn)AI芯片潛在市場(chǎng)空間廣闊。我們看到，互聯(lián)網(wǎng)廠商積極推動(dòng)與國(guó)產(chǎn)算力芯片的合作，根據(jù)公司公告，海光DCU支持包括文心一言在內(nèi)的多個(gè)大模型的適配和應(yīng)用；百度飛槳與海光DCU實(shí)現(xiàn)生態(tài)兼容性認(rèn)證；而華為與百度合作推進(jìn)昇騰AI上與飛槳+文心大模型的適配。我們認(rèn)為，隨著芯片的性能迭代及生態(tài)完善，國(guó)產(chǎn)算力芯片在互聯(lián)網(wǎng)側(cè)的應(yīng)用有望逐步增加。

總而言之，由于斷供的風(fēng)險(xiǎn)，國(guó)內(nèi)芯片的國(guó)產(chǎn)化率逐漸提升，但在AI算力方面，主力軍仍是英偉達(dá)。目前AI將會(huì)以通用芯片為主。

算法

這里的算法指的是流派、學(xué)習(xí)范式等AI底層知識(shí)和洞悉的集合，由稀缺的人才掌握，是產(chǎn)業(yè)鏈里的核心的核心，沒有之一，算法決定了一切，主流算法的改變，可以改變所有的工作流和產(chǎn)業(yè)鏈行業(yè)的價(jià)值。

例如之前的CNN等算法的學(xué)習(xí)范式是監(jiān)督學(xué)習(xí)，數(shù)據(jù)的輸入和輸出是pair的（匹配的），且需要標(biāo)準(zhǔn)的數(shù)據(jù)--大量的人工標(biāo)注，催生了人力密集的數(shù)據(jù)標(biāo)注行業(yè)，但是自回歸的decoder-only transfomer算法下是自監(jiān)督學(xué)習(xí)，數(shù)據(jù)不需要標(biāo)注，請(qǐng)問新的大模型下，預(yù)訓(xùn)練還需要人工標(biāo)注嘛？RLHF和微調(diào)的部分還會(huì)需要少量的人工，但也是大大減少了需求。

算法的產(chǎn)出來自于關(guān)鍵的實(shí)驗(yàn)室和大公司；可以關(guān)注其論文的產(chǎn)出，來跟進(jìn)；一些跟蹤的渠道將會(huì)在最后展示。

RVKW

最新RVKW-相比transfomer這種方法有效地捕獲了序列中不同位置之間的依賴關(guān)系，同時(shí)減少了模型的計(jì)算復(fù)雜度和存儲(chǔ)需求；它是RNN的一種，建議大家持續(xù)關(guān)注，目前該算法還在雛形中，為時(shí)尚早，有意思的是，發(fā)明該算法的人是中國(guó)人彭博。

數(shù)據(jù)

數(shù)據(jù)來源

AI公司獲取語料數(shù)據(jù)一般有開源數(shù)據(jù)庫、自有/自建數(shù)據(jù)--爬蟲、購(gòu)買數(shù)據(jù)產(chǎn)品授權(quán)--專業(yè)語料數(shù)據(jù)服務(wù)商處這三種方式。

以GPT-3為例，其訓(xùn)練時(shí)使用的語料庫數(shù)據(jù)主要來源為Common Crawl爬蟲（60%）、WebText2（22%）、Books1&2（各8%）和Wikipedia（3%）

擁有更高質(zhì)量、相關(guān)的數(shù)據(jù)，可以更好的訓(xùn)練or微調(diào)模型；可獲得的數(shù)據(jù)取決于行業(yè)和公司業(yè)務(wù)，是大模型產(chǎn)業(yè)鏈里最重要的壁壘之一；也往往是大公司的先發(fā)優(yōu)勢(shì)，初創(chuàng)公司出來公開的數(shù)據(jù)集，必須通過創(chuàng)新的商業(yè)模式來獲取更多的數(shù)據(jù)。

不同國(guó)家的數(shù)據(jù)管理

當(dāng)然避不開不同國(guó)家數(shù)據(jù)管控問題。

國(guó)外：歐盟將數(shù)據(jù)分割為“個(gè)人數(shù)據(jù)”和“非個(gè)人數(shù)據(jù)”，但個(gè)人數(shù)據(jù)嚴(yán)格屬于自然人，企業(yè)數(shù)據(jù)使用權(quán)受到極大限制；美國(guó)的數(shù)據(jù)要素制度采取實(shí)用主義原則，回避了數(shù)據(jù)所有權(quán)問題，未對(duì)數(shù)據(jù)進(jìn)行綜合立法，只有針對(duì)跨境數(shù)據(jù)主權(quán)、行業(yè)隱私法、消費(fèi)者隱私等分別立法。

國(guó)內(nèi)：2022年12月，中共中央國(guó)務(wù)院《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》（簡(jiǎn)稱“數(shù)據(jù)二十條”）對(duì)外發(fā)布，提出構(gòu)建中國(guó)特色的數(shù)據(jù)產(chǎn)權(quán)制度、流通交易制度、收益分配制度和數(shù)據(jù)要素治理制度，其中創(chuàng)新數(shù)據(jù)產(chǎn)權(quán)觀念，淡化所有權(quán)、強(qiáng)調(diào)使用權(quán)，聚焦數(shù)據(jù)使用權(quán)流通，創(chuàng)造性提出建立數(shù)據(jù)資源持有權(quán)、數(shù)據(jù)加工使用權(quán)和數(shù)據(jù)產(chǎn)品經(jīng)營(yíng)權(quán)“三權(quán)分置”的數(shù)據(jù)產(chǎn)權(quán)制度框架。三權(quán)分置的產(chǎn)權(quán)制度，淡化所有權(quán)、強(qiáng)調(diào)使用權(quán)。

生成式數(shù)據(jù)的版權(quán)問題一直是AI發(fā)展的法律限制性因素，隨著馬斯克支持特朗普上臺(tái)，向特朗普提議解綁前沿科技的法律限制，會(huì)是一變動(dòng)因素。

數(shù)據(jù)不夠？

關(guān)于數(shù)據(jù)量（Training Tokens）和模型大小（Parameters）對(duì)于模型的影響，OpenAI在2022年發(fā)表的論文有過討論：在計(jì)算量增加10倍時(shí)，模型大小增加5倍，數(shù)據(jù)大小增加約2倍；而計(jì)算量再增加10倍時(shí)，模型大小增加25倍，數(shù)據(jù)大小僅增加4倍。

根據(jù)非營(yíng)利研究機(jī)構(gòu)Epoch AI的最新論文，大語言模型會(huì)在2028年耗盡互聯(lián)網(wǎng)文本數(shù)據(jù)。

這里說的數(shù)據(jù)僅僅是真實(shí)數(shù)據(jù)，合成or仿真數(shù)據(jù)將會(huì)在AI Infra層詳細(xì)講述。

我的觀點(diǎn)如上述章節(jié)一致，本質(zhì)上是算法導(dǎo)致的學(xué)習(xí)效率低下的問題，不是數(shù)據(jù)規(guī)模問題。

六、AI Infra層

軟件的市場(chǎng)演進(jìn)規(guī)律

在正式進(jìn)入介紹產(chǎn)業(yè)鏈前：我先對(duì)齊下大家對(duì)軟件行業(yè)的規(guī)律：

先有一個(gè)breakthrough的應(yīng)用程序，然后這個(gè)突破性的應(yīng)用程序激發(fā)了一個(gè)創(chuàng)新階段，在這個(gè)階段建立基礎(chǔ)設(shè)施，使類似的應(yīng)用程序更容易建立，并且基礎(chǔ)設(shè)施使得這些應(yīng)用程序被消費(fèi)者廣泛使用【54】。

一家軟件公司的成功，通常需要經(jīng)歷以下 4 個(gè)階段【55】：

1. 由于行業(yè)、趨勢(shì)、場(chǎng)景的變化，新的需求出現(xiàn)，這個(gè)時(shí)候有需求（剛性需求）但沒有標(biāo)準(zhǔn)化產(chǎn)品，大型企業(yè)尤其是科技公司便在企業(yè)內(nèi)部自建團(tuán)隊(duì)，靠幾名高技術(shù)水平開發(fā)者從 0 到 1 手動(dòng)搭建產(chǎn)品和框架，并在后續(xù)自主維護(hù)。

2. 技術(shù)和解決方案在實(shí)驗(yàn)室或企業(yè)內(nèi)部運(yùn)行一段時(shí)間后，開始有人試圖抽象出相對(duì)通用的框架和產(chǎn)品，并向市場(chǎng)發(fā)布，有開源產(chǎn)品--營(yíng)銷、也有閉源產(chǎn)品，1爭(zhēng)奪行業(yè)標(biāo)準(zhǔn)（技術(shù)）。當(dāng)用戶購(gòu)買產(chǎn)品的 ROI 比使用“開源架構(gòu)+內(nèi)部自建團(tuán)隊(duì)+維護(hù)更新”的方案更高（要有技術(shù)開發(fā)壁壘）時(shí)，2 用戶開始付費(fèi)（商業(yè)模式創(chuàng)新切入）。

3. 隨著需求的增長(zhǎng)，越來越多的客戶使用和篩選各類產(chǎn)品，經(jīng)過一段時(shí)間的市場(chǎng)檢驗(yàn)，最終收斂到 1-2 款產(chǎn)品（成功找到商業(yè)化產(chǎn)品的核心應(yīng)用場(chǎng)景和 Product/Market Fit），行業(yè)標(biāo)準(zhǔn)形成。

4. 成為行業(yè)標(biāo)準(zhǔn)的產(chǎn)品和公司將基于現(xiàn)有的技術(shù)和產(chǎn)品，提供更多更有價(jià)值的功能和服務(wù)，提升產(chǎn)品和商業(yè)化能力，在商業(yè)化方面取得成功，注重防守--全棧解決方案，增加轉(zhuǎn)換難度。

To C差不多，制勝的目標(biāo)變成了利用生態(tài)截取大量流量，再轉(zhuǎn)化。

流量的進(jìn)出順序?yàn)橛布K端（pc、手機(jī)等）> 軟件（檢索工具 > 社交軟件 > 其他）；所以依托硬件去做流量的轉(zhuǎn)化有天然的優(yōu)勢(shì)，畢竟流量在前，軟件公司只能聽蘋果or安卓終端公司生態(tài)擺布，著名的例子就是騰訊想通過微信小程序來躲過蘋果商城的蘋果稅，結(jié)果被蘋果起訴；當(dāng)然中國(guó)可以沒有蘋果，但不能沒有微信（支付、社交、出行等等的完全生態(tài)），唯一軟件打得過硬件的反例。

蘋果公司在2017年推出的應(yīng)用服務(wù)條款，通過虛擬貨幣的打賞，應(yīng)當(dāng)被視為應(yīng)用內(nèi)購(gòu)買，蘋果將從中提取30%的分成，而且必須走蘋果支付渠道。所以大家知道為什么國(guó)內(nèi)女主播要求蘋果手機(jī)用戶打賞要走微信小程序打賞or其他非蘋硬件了吧。還有ios的游戲充值也比正常渠道貴。

這也是為什么谷歌還自己做了手機(jī)等硬件，還有meta扎克伯格瘋狂炒元宇宙，想用vr、眼鏡等穿戴式設(shè)備其他硬件范式推翻移動(dòng)互聯(lián)網(wǎng)時(shí)代的手機(jī)生態(tài)，由于光學(xué)成像等等原因，很可惜還有很大的距離。

AI Infra產(chǎn)業(yè)鏈

以下對(duì) AI 工作流總體可以拆解成四個(gè)垂直模塊：數(shù)據(jù)準(zhǔn)備，模型訓(xùn)練，模型部署和產(chǎn)品整合。

LLM流行前，AI模型通用性較低，項(xiàng)目落地停留在“手工作坊”階段，流程難以統(tǒng)一規(guī)范。人工智能已有數(shù)十年的發(fā)展歷史，尤其是2006年以來以深度學(xué)習(xí)為代表的訓(xùn)練方法的成熟推動(dòng)第三波發(fā)展浪潮。然而，由于傳統(tǒng)的機(jī)器學(xué)習(xí)模型沒有泛化能力，大部分AI應(yīng)用落地以定制化項(xiàng)目的形式，包括需求、數(shù)據(jù)、算法設(shè)計(jì)、訓(xùn)練評(píng)估、部署和運(yùn)維等階段，其中，數(shù)據(jù)和訓(xùn)練評(píng)估階段往往需要多次循環(huán)，較難形成一套標(biāo)準(zhǔn)化的端到端的流程和解決方案，也由此造成了邊際成本高、重復(fù)造輪子等問題【56】。

大規(guī)模預(yù)訓(xùn)練模型完成了“從0到1”的技術(shù)統(tǒng)一，泛化能力和通用性釋放出“從1到100”的落地需求，且存在相對(duì)標(biāo)準(zhǔn)化的流程，衍生出AI Infra投資機(jī)會(huì)。

總而言之，就是算法的變化導(dǎo)致了infra層的變化：有的工作流不需要了，也有新的工作流，且流程相對(duì)標(biāo)準(zhǔn)。

數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)標(biāo)注

作用：標(biāo)注機(jī)器學(xué)習(xí)輸入 (X, y) 中的 y 部分，在一部分目標(biāo)變量 y 缺失的業(yè)務(wù)場(chǎng)景為 AI 模型提供人類先驗(yàn)知識(shí)的輸入。作為上一代 AI 興起時(shí)最旺盛的需求，在計(jì)算視覺領(lǐng)域使用場(chǎng)景相對(duì)較多【56】。

重要公司：國(guó)外：Scale AI（人工數(shù)據(jù)標(biāo)注供應(yīng)商），Snorkel（使用模型對(duì)數(shù)據(jù)進(jìn)行合成 / 標(biāo)注）。國(guó)內(nèi)：海天瑞聲等。

商業(yè)價(jià)值評(píng)價(jià)：低

LLM無需求，LLM 本身具有很強(qiáng)的自監(jiān)督屬性，輸入的數(shù)據(jù)和輸出的數(shù)據(jù)并不是標(biāo)準(zhǔn)的pair的狀態(tài)。

由于OpenAI和LLAMA 2的RLHF（Reinforcement Learning from Human Feedback）強(qiáng)調(diào)高質(zhì)量數(shù)據(jù)對(duì)模型訓(xùn)練結(jié)果影響的表述；且在訓(xùn)練模型中參與科學(xué)家人數(shù)和工時(shí)最多參與數(shù)據(jù)反饋。對(duì)原來低質(zhì)量數(shù)據(jù)標(biāo)注方法的顛覆，LLM模型不再使用標(biāo)注數(shù)據(jù)，而使用人類少量的高質(zhì)量的反饋。

按照meta 2023年訓(xùn)練llama2購(gòu)買3萬條高質(zhì)量人類反饋*預(yù)計(jì)市場(chǎng)參與者10家*一年4次訓(xùn)練模型=2023年美國(guó)市場(chǎng)需要120萬條，再*10美元的單價(jià)=最多1200萬美元市場(chǎng)規(guī)模。

競(jìng)爭(zhēng)形式預(yù)測(cè)：沒有大的改變，業(yè)務(wù)變高端了，邀請(qǐng)專家來反饋，提高單價(jià)增值；價(jià)值較低，資源壁壘隨時(shí)可破。大模型公司自己都可以做，沒必要外包。

特征倉庫

作用：管理機(jī)器學(xué)習(xí)輸入 (X, y) 中的 X 部分，離線特征工程，在訓(xùn)練時(shí)更靈活地調(diào)整需要使用的特征組合和加工方式；在線實(shí)時(shí)預(yù)測(cè)，將線上的數(shù)據(jù)流靈活地提供給 model serving；和線上數(shù)據(jù)監(jiān)控，保障模型使用的數(shù)據(jù)分布與質(zhì)量的安全性【56】。

在 LLM 大語言模型的場(chǎng)景下，訓(xùn)練和推理數(shù)據(jù)不以這種形式進(jìn)行組織，故 Feature Store 在 LLMOps 下沒有使用前景。

合成數(shù)據(jù)

作用：真實(shí)數(shù)據(jù)的補(bǔ)充。做真實(shí)數(shù)據(jù)的“平替”，用AIGC反哺AI。一項(xiàng)來自Epoch AI Research團(tuán)隊(duì)的研究預(yù)測(cè)存量的高質(zhì)量語言數(shù)據(jù)將在2026年耗盡，低質(zhì)量的語言和圖像數(shù)據(jù)存量也將在未來的數(shù)十年間枯竭。

面對(duì)潛在的數(shù)據(jù)瓶頸，合成數(shù)據(jù)即運(yùn)用計(jì)算機(jī)模擬生成的人造數(shù)據(jù)，提供了一種成本低、具有多樣性、規(guī)避了潛在隱私安全風(fēng)險(xiǎn)的解決方法，生成式AI的逐漸成熟進(jìn)一步提供技術(shù)支撐。

比如，自然語言修改圖片的Instruct-Pix2Pix模型在訓(xùn)練的時(shí)候就用到GPT3和Stable Diffusion來合成需要的提示詞和圖像的配對(duì)數(shù)據(jù)集；Amazon也利用合成數(shù)據(jù)來訓(xùn)練智能助手Alexa，以避免用戶隱私問題。合成數(shù)據(jù)市場(chǎng)參與者較多，獨(dú)立公司/項(xiàng)目如gretel、MOSTLY AI、datagen、hazy等，數(shù)據(jù)標(biāo)注廠商如Scale亦推出相關(guān)產(chǎn)品，此外主流科技公司英偉達(dá)、微軟、亞馬遜等均有不同場(chǎng)景的嘗試。

圖：Instruct-Pix2Pix借助GPT-3、Stable Diffusion生成指令-圖像訓(xùn)練數(shù)據(jù)集

商業(yè)價(jià)值評(píng)價(jià)：中

那么在LLM里，合成數(shù)據(jù)真的有效嘛？答案是否定的，合成數(shù)據(jù)提取了樣本的特征，并進(jìn)行相似性的替換，特征仍然無變化；且數(shù)據(jù)本身會(huì)和真實(shí)數(shù)據(jù)混合，導(dǎo)致真實(shí)的數(shù)據(jù)特征漂移，噪聲變多，大模型過擬合。

但在以強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)為主自動(dòng)駕駛算法領(lǐng)域一級(jí)具身領(lǐng)域（神經(jīng)網(wǎng)絡(luò)端到端的FSD），算法無法覆蓋到未曾見過的場(chǎng)景--強(qiáng)化學(xué)習(xí)的缺點(diǎn)，也就是所謂的coner case，這時(shí)候使用合成數(shù)據(jù)，在仿真平臺(tái)中訓(xùn)練模型，確實(shí)可以提升其在coner case的性能，但仍然有限。

目前英偉達(dá)的sim saac等平臺(tái)也可以做到仿真生成環(huán)境，解決coner case的市場(chǎng)規(guī)模較小再加上汽車企業(yè)的賬期較長(zhǎng)8-12個(gè)月，所以商業(yè)價(jià)值較中。

國(guó)內(nèi)公司有光輪智能、智平方、Hillbot和銀河通用。

查詢工具&數(shù)據(jù)科學(xué)工具及平臺(tái)

作用：廣義的數(shù)據(jù)科學(xué)涵蓋利用各類工具、算法理解數(shù)據(jù)蘊(yùn)藏含義的全過程，機(jī)器學(xué)習(xí)可以視為其中的一種方式和手段；狹義的數(shù)據(jù)科學(xué)也可以僅指代機(jī)器學(xué)習(xí)的前置步驟，包括準(zhǔn)備、預(yù)處理數(shù)據(jù)并進(jìn)行探索性分析等【56】。

一般在開源框架上自研，無商業(yè)價(jià)值。

模型訓(xùn)練

模型庫

作用：機(jī)器學(xué)習(xí)屆的 Github，以更 AI-native 的方式組織 AI 開源社區(qū)，為 AI 研發(fā)提供安卓式的環(huán)境【56】。

重要公司：典型代表廠商包括海外的Hugging Face、Replicate，國(guó)內(nèi)關(guān)注Gitee（開源中國(guó)推出的代碼托管平臺(tái)）和ModelScope（阿里達(dá)摩院推出的AI開源模型社區(qū)）OpenCSG等項(xiàng)目。

商業(yè)價(jià)值評(píng)價(jià)：低

占據(jù)著數(shù)據(jù)科學(xué)工作流的入口位置，用戶數(shù)量較大；但其開源屬性增大了其商業(yè)化難度，目前變現(xiàn)手段不多。

傳統(tǒng) ML 模型規(guī)模小，訓(xùn)練成本低，基本不依賴 Model Hub；大語言模型場(chǎng)景下許多科學(xué)家和工程師通過 Model Hub 調(diào)用開源的預(yù)訓(xùn)練模型和參數(shù)，來減少自己從頭訓(xùn)練和定制化模型的成本。

小客戶開發(fā)demo的場(chǎng)景更多！但做自己的模型肯定是脫離模型庫的，可以理解為交流模型的論壇。已有龍頭，且商業(yè)化機(jī)會(huì)對(duì)于專業(yè)開發(fā)客戶小，僅作為營(yíng)銷平臺(tái)（廣告盈利）和做demo。

大模型訓(xùn)練框架

作用：AI 模型訓(xùn)練與推理的核心框架，使模型能夠高效的實(shí)現(xiàn)計(jì)算。以深度學(xué)習(xí)框架為例，其內(nèi)嵌實(shí)現(xiàn)了以下事情：可以繞開手寫 CUDA 代碼，直接簡(jiǎn)單地使用 GPU 搭建模型。這使得深度學(xué)習(xí)框架門檻變低很多，只需要定義神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與損失函數(shù)，即可跑通一個(gè)基本的模型。可以理解為深度學(xué)習(xí)的開發(fā)軟件。

重要產(chǎn)品：Tensorflow (Google), PyTorch (Meta), Jax。

Tensorflow 先發(fā)優(yōu)勢(shì)明顯，早期占據(jù)了業(yè)界的主流。但其版本管理做得不好，易用性也略遜于 PyTorch，在學(xué)界被 PyTorch 后發(fā)超越。目前在業(yè)界使用 PyTorch 的公司也在變多，但由于遷移成本高，Tensorflow 也有一定公司在使用，況且 Tensorflow 是使用谷歌開發(fā)的 TPU 的主要選擇。Paddlepaddle（百度）、Mindspore（華為）。大公司掌握，為其深度學(xué)習(xí)的生態(tài)之一，免費(fèi)使用。

商業(yè)潛力：低

盡管這一領(lǐng)域沒有顯著的商業(yè)潛力，但還是在這里介紹一下這類框架，因?yàn)檫@是當(dāng)前所有 AI 模型的基石，有著很強(qiáng)的生態(tài)意義。

訓(xùn)練和推理階段的計(jì)算優(yōu)化

作用：通過芯片層面或者算法層面優(yōu)化開發(fā)成本和推理計(jì)算成本

由于LLM的算法的改變，所有之前的優(yōu)化辦法基本失效。在這里對(duì)LLM算法和計(jì)算機(jī)體系的全面的洞悉是稀缺性的，具有非常高的壁壘（又有大規(guī)模語言模型的訓(xùn)練經(jīng)驗(yàn)，又有對(duì)計(jì)算機(jī)底層系統(tǒng)-存儲(chǔ)、計(jì)算等的了解的人非常少）。

同時(shí)，降低模型的訓(xùn)練和推理成本，是大模型企業(yè)競(jìng)爭(zhēng)的重點(diǎn)，目前價(jià)格和成本昂貴是導(dǎo)致大模型沒有被大規(guī)模使用的頭號(hào)問題；不管是大模型公司，還是使用大模型的公司付費(fèi)意愿強(qiáng)，客戶覆蓋眾多。

市場(chǎng)規(guī)模上來說：訓(xùn)練和推理的計(jì)算成本是大模型企業(yè)的最高占比成本。且推理優(yōu)化的上限要比訓(xùn)練優(yōu)化的上限更高，具體數(shù)字已在算力層表述。無論是采取訂閱制還是API的盈利形式，市場(chǎng)規(guī)模都將是百億甚至千億美金的級(jí)別。

商業(yè)潛力：極高

目前主要是兩種技術(shù)路線進(jìn)行優(yōu)化：兩種一種是硬件層面的優(yōu)化，一種是直接在AI算法上優(yōu)化。但國(guó)內(nèi)企業(yè)仍需要突破一體機(jī)的商業(yè)模式。

目前國(guó)內(nèi)硬件優(yōu)化的公司為主，并且率先商業(yè)化，但在在硬件層面上，技術(shù)可創(chuàng)造的 margin（提升空間）不大了。比如硬件利用率，理論上最高是 60% 多，現(xiàn)在大家用英偉達(dá)的系統(tǒng)和軟件已能做到 40%~50%，可提高的空間就是百分之十幾。并且GPU優(yōu)化技術(shù)面臨著嚴(yán)重的同質(zhì)化問題，各廠商之間的性能差異并不顯著。

潞晨科技：

潞晨的產(chǎn)品重點(diǎn)在于訓(xùn)練與推理一體化解決方案，尤其側(cè)重于訓(xùn)練領(lǐng)域，在推理技術(shù)路線上，潞晨仍然主要集中在GPU優(yōu)化方面。

硅基流動(dòng)：

硅基流動(dòng)專注于MaaS模式，通過云端向用戶提供Token服務(wù)。這一模式要求其具備廣泛的模型兼容能力，以支持多種不同的模型和技術(shù)手段，并結(jié)合云計(jì)算管理等一系列增值服務(wù)。

清昴智能：

清昴團(tuán)隊(duì)源自清華大學(xué)計(jì)算機(jī)系媒體與網(wǎng)絡(luò)實(shí)驗(yàn)室，專注于構(gòu)建模型部署平臺(tái)，在底層不同GPU芯片的適配及模型部署服務(wù)方面積累了豐富的工程實(shí)踐經(jīng)驗(yàn)。團(tuán)隊(duì)最近主要集中于與部署相關(guān)的MLOps算子以及對(duì)國(guó)產(chǎn)芯片兼容支持的算子開發(fā)。

無問芯穹：

無問團(tuán)隊(duì)主要成員來源于清華大學(xué)電子工程系。在技術(shù)路線的選擇上，該團(tuán)隊(duì)主要聚焦于GPU利用率和通信的優(yōu)化以及計(jì)算機(jī)集成系統(tǒng)優(yōu)化。

總體而言，純粹依賴于GPU優(yōu)化的技術(shù)方案面臨嚴(yán)重的同質(zhì)化挑戰(zhàn)，現(xiàn)有的開源框架已經(jīng)達(dá)到了較高的性能，使得各廠商在性能表現(xiàn)上的差異化優(yōu)勢(shì)不再顯著。

算法上優(yōu)化的是沒有上限的，潛力最高。

以存換算的推理算法優(yōu)化+全系統(tǒng)協(xié)同優(yōu)化的趨境科技是該行業(yè)的黑馬：由清華系MADsys高性能計(jì)算機(jī)實(shí)驗(yàn)室團(tuán)隊(duì)組成。

利用推理階段的KVcache緩存，存儲(chǔ)多次提問的相似的問題和答案，避免重復(fù)計(jì)算，特別是未來的CoT的長(zhǎng)推理場(chǎng)景，需要重復(fù)推理，成本可以直線下降。

趨境科技創(chuàng)新性地設(shè)計(jì)了“融合推理（Fusion Attention）”思路來利用存儲(chǔ)空間，即便是面對(duì)全新的問題也可以從歷史相關(guān)信息中提取可復(fù)用的部分內(nèi)容，與現(xiàn)場(chǎng)信息進(jìn)行在線融合計(jì)算。這一技術(shù)顯著提升了可復(fù)用的歷史計(jì)算結(jié)果，進(jìn)而降低了計(jì)算量。

尤其在RAG場(chǎng)景中，“以存換算”能夠降低把響應(yīng)延遲降低20倍，性能提升10倍。

在此基礎(chǔ)上，趨境科技首創(chuàng)的“全系統(tǒng)異構(gòu)協(xié)同”架構(gòu)設(shè)計(jì)也成為重要技術(shù)支撐。該架構(gòu)是首個(gè)允許在單GPU卡上支持1Million超長(zhǎng)上下文的推理框架，以及首個(gè)單GPU上運(yùn)行2000億參數(shù)MoE超大模型等等。

目前，趨境科技已聯(lián)合清華大學(xué)一起將異構(gòu)協(xié)同推理框架的個(gè)人版，名為KTransformers的框架在GitHub開源，并在Hugging Face等開源社區(qū)引起廣泛關(guān)注和討論。行業(yè)合作伙伴也對(duì)此興趣頗高，已有多家知名大模型公司主動(dòng)拋出橄欖枝，與其共同發(fā)起大模型推理相關(guān)的項(xiàng)目建設(shè)。

模型部署

模型安全和監(jiān)控

作用：保障線上模型可用性和可觀測(cè)性，實(shí)時(shí)保持對(duì)模型輸出結(jié)果和指標(biāo)的監(jiān)控。未來會(huì)是模型可解釋性和安全的重要領(lǐng)域【56】。

重要公司：Fiddler, Arize, Arthur, Whylab。

商業(yè)價(jià)值評(píng)價(jià)：目前低

LLMOps 需求：增加，LLM 語境下的 AI 安全將成為重要命題。

LLM 大語言模型的性質(zhì)比傳統(tǒng) ML 模型更為復(fù)雜，有包括 Prompt Engineering 等激活和微調(diào)方法存在。為了保障安全性和可解釋性，隨著 LLM 在軟件中的深入落地，對(duì)模型的監(jiān)控和后續(xù)管理會(huì)有著更高的要求。目前已經(jīng)有新型公司，如 HumanLoop 在專注這個(gè)領(lǐng)域，之前的公司中 Whylab 也在做相應(yīng)的嘗試。

目前，大模型公司本身并不注重安全性，還是在追求性能上，安全問題是否會(huì)被大模型公司外包？目前以RLHF為主要對(duì)齊手段上，確實(shí)不需要外部公司參與模型微調(diào)。

模型部署和Serving

作用：模型部署是指把訓(xùn)練好的模型在特定環(huán)境中運(yùn)行的過程。過程中需要最大化資源利用效率，且保證模型部署上線后在用戶使用時(shí)有優(yōu)異的性能。出色的部署工具能夠解決模型框架兼容性差和模型運(yùn)行速度慢這兩大問題。具體使用場(chǎng)景可以參考下圖：

重要公司：BentoML, OctoML【56】。

LLMOps 需求：增加

商業(yè)價(jià)值評(píng)價(jià)：目前低

基于 AI 的應(yīng)用和產(chǎn)品會(huì)越來越多，優(yōu)秀的模型部署能降低模型的推理成本并提高性能，模型部署和 serving 會(huì)在 LLMOps 重要的需求，且可能會(huì)衍生出模型剪枝、蒸餾等能壓縮模型冗余的部署 serving 需求。但都是大模型公司本身在做。

二次開發(fā)

開發(fā)者工具

作用：為開發(fā)出agent工具，提供調(diào)用各種細(xì)分工具的平臺(tái)，產(chǎn)出智力成果。

Agent作為最終的LLM產(chǎn)品形態(tài)，屬于大模型的智能能力的關(guān)鍵一部分，一定會(huì)研發(fā)，且難度非常小。一方面LLM會(huì)將開發(fā)者和c端的流量卡在自己平臺(tái)上，一定會(huì)提供不同程度的自定義開發(fā)平臺(tái)（GPT2023年末已經(jīng)推出agent開發(fā)工具商店以及GPTs：無代碼的agent應(yīng)用開發(fā)）。

商業(yè)價(jià)值取決于大模型公司是否會(huì)向后整合。

目前有兩種商業(yè)模式：

1 提供開發(fā)工具的開發(fā)者平臺(tái)

國(guó)內(nèi)（Fabarta），模型開發(fā)者工具Langchain，Together AI。

2 無代碼的agent開發(fā)

公司有CoLingo、AutoAgents.ai、Babel、Dify.AI。

向量數(shù)據(jù)庫

作用：非結(jié)構(gòu)化數(shù)據(jù)庫，儲(chǔ)存的數(shù)據(jù)形式為向量 embedding，在推薦系統(tǒng)、搜索引擎、異常檢測(cè)、LLM、多模態(tài)等場(chǎng)景下都是數(shù)據(jù)輸出、搜索、召回的重要形態(tài)【56】。

重要公司：Pinecone, Zilliz；國(guó)內(nèi)英飛流/InfiniFlow等

LLM需求：增加，但商業(yè)潛力：較低

在 LLM 語境下，向量搜索和查詢會(huì)在軟件中扮演更重要的作用，而向量數(shù)據(jù)庫則會(huì)成為這一方向中最重要的基礎(chǔ)設(shè)施之一。

首先，向量數(shù)據(jù)庫比較核心的技術(shù)就是索引（FLAT、HNSW、IVF）、相似度計(jì)算（余弦相似）、Embedding(將各種信息轉(zhuǎn)化成向量，降低信息復(fù)雜性)；這些技術(shù)在大模型火之前就有了，時(shí)至今日本質(zhì)上沒有顯著變化。

其次，賽道進(jìn)入門檻比較低。無論是大模型提供方，還是傳統(tǒng)數(shù)據(jù)庫廠商都可以轉(zhuǎn)型進(jìn)入這部分業(yè)務(wù)；這也就導(dǎo)致競(jìng)爭(zhēng)會(huì)變得非常激烈。對(duì)于初創(chuàng)型公司來說，無論是拼財(cái)力還是拼客戶都完全沒有優(yōu)勢(shì)。

由于其降低成本和實(shí)現(xiàn)關(guān)鍵agent檢索能力，模型大廠還有云計(jì)算廠商主動(dòng)納入其能力。

七、大模型層

大模型層，無論海外還是中國(guó)，競(jìng)爭(zhēng)格局非常統(tǒng)一的都是初創(chuàng)公司和互聯(lián)網(wǎng)企業(yè)。

開源 vs 閉源

在生成式 AI 向前推進(jìn)的過程中，圍墻花園依然存在。OpenAI 并不 open 地僅開放商業(yè)化付費(fèi) API 作為 GPT-3 的使用方式，谷歌的大模型也并未開源。

下圖展示了開源社區(qū)追趕 AI 模型的時(shí)間線，可以看到技術(shù)追趕速度正在逐漸變快。那么這個(gè)趨勢(shì)是否會(huì)持續(xù)呢？如果差距持續(xù)縮小或較為穩(wěn)定，AI 模型開發(fā)可能成為 iOS vs 安卓的格局；而還有另一種可能，則是差距逐漸放大，AI 研究所專業(yè)化地研發(fā)大模型，開源團(tuán)隊(duì)主要做中小模型的工作。這一判斷的關(guān)鍵因素，會(huì)是各團(tuán)隊(duì)對(duì) GPT 模仿與超越的進(jìn)度。

但總歸而言：閉源比開源好！且公司一旦做出效果，也會(huì)閉源！

大公司采取完全閉源或者部分開源的方式（META開源-為了集中智慧，更好的優(yōu)化模型；但是訓(xùn)練數(shù)據(jù)并不開放和輸出限制，并不符合最新的開源標(biāo)準(zhǔn)）

1 閉源有數(shù)據(jù)飛輪，將模型訓(xùn)練的更好

2 開源的盈利模式，只能提供非標(biāo)準(zhǔn)的開發(fā)服務(wù)，沒有規(guī)模效應(yīng)

3 開源發(fā)展慢于閉源，但商業(yè)化的競(jìng)爭(zhēng)已然開始，以開源模型為基礎(chǔ)的軟件，性能和商業(yè)化落后

4 軟件類的歷史，都是開源先，再做閉源產(chǎn)品，天下沒有免費(fèi)的午餐

開源沒有但使用者多，生態(tài)建立快，使用者還可根據(jù)業(yè)務(wù)需求自行增減功能或進(jìn)行模型迭代，但是企業(yè)開發(fā)成本過高，無法及時(shí)收回成本，后面只能做為他人開發(fā)模型的工作，不具備規(guī)模經(jīng)濟(jì)優(yōu)勢(shì)，注定盈利模式走不通，但可以做營(yíng)銷。

對(duì)于下游的應(yīng)用層開發(fā)者來說：

模型選擇的問題，企業(yè)可以先用好的開源模型開發(fā)，再等待閉源模型技術(shù)發(fā)展突破（也可以同時(shí)開發(fā)，比較效果），再跟上（大模型層公司一定會(huì)提供標(biāo)準(zhǔn)化的工具）。

LLM

LLM的大模型公司是行業(yè)里主導(dǎo)玩家，整個(gè)產(chǎn)業(yè)都會(huì)由于該行業(yè)的競(jìng)爭(zhēng)行為而變化。

從公開測(cè)試來看，中國(guó)大模型與國(guó)外模型仍有不小的差距。不過在scaling law的邊際效應(yīng)減小的情況下，仍然可以在最多1年內(nèi)追上。

海外

直接網(wǎng)站MAU數(shù)據(jù)說話，Chatgpt和借用OpenAI技術(shù)的微軟的Bing斷崖領(lǐng)先。還有app數(shù)據(jù)，考慮到大家使用都是通過網(wǎng)站入口進(jìn)入，app的數(shù)據(jù)影響較少。

海外的商業(yè)化和技術(shù)進(jìn)展整體快于國(guó)內(nèi)市場(chǎng)，有非常好的借鑒意義。

具有絕對(duì)優(yōu)勢(shì)地位！利用技術(shù)優(yōu)勢(shì)的時(shí)間差，正在快速商業(yè)化和防守！

團(tuán)隊(duì)：掏空硅谷人才的頂尖公司，但是由于眾所周知的不再“open”和改變企業(yè)性質(zhì)為盈利組織后，一次團(tuán)隊(duì)“政變后”，關(guān)鍵科學(xué)家伊利亞以及安全團(tuán)隊(duì)的出走，企業(yè)后續(xù)的頂層技術(shù)設(shè)計(jì)能力堪憂。CEO奧特曼是美國(guó)孵化器YC（國(guó)內(nèi)奇績(jī)創(chuàng)壇的前身）的總裁。

事實(shí)上，近期OpenAI的人事變動(dòng)頗為頻繁，大量關(guān)鍵科研人才流動(dòng)。此前在今年5月，OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人Jan Leike以及聯(lián)合創(chuàng)始人、前首席科學(xué)家Ilya Sutskever在同一天宣布離職。此外有消息顯示，OpenAI另一位聯(lián)合創(chuàng)始人Andrej Karpathy也已在今年2月離職，并且去年加入該公司的產(chǎn)品負(fù)責(zé)人Peter Deng也已離職。

隨后在8月初，OpenAI聯(lián)合創(chuàng)始人John Schulman宣布離職，并表示將加入AI初創(chuàng)公司Anthropic。彼時(shí)OpenAI公司發(fā)言人曾透露，總裁Greg Brockman將休假至今年年底，并且Greg Brockman本人表示這是其自9年前創(chuàng)立OpenAI以來第一次放松。

今年9月OpenAI首席技術(shù)官Mira Murati也宣布離職，并表示，“經(jīng)過深思熟慮，我做出了離開OpenAI這一艱難決定。離開這個(gè)深愛的地方從來沒有一個(gè)理想的時(shí)間，但感覺此刻就是最好的選擇”。

本月初OpenAI旗下Sora AI視頻生成項(xiàng)目負(fù)責(zé)人Tim Brooks宣布離職，加入OpenAI的主要競(jìng)爭(zhēng)對(duì)手谷歌DeepMind。近日，OpenAI高級(jí)研發(fā)人員、OpenAI o1推理模型負(fù)責(zé)人Luke Metz宣布即將從OpenAI離職。

目前OpenAI的招聘重點(diǎn)已經(jīng)從基礎(chǔ)研究轉(zhuǎn)向產(chǎn)品開發(fā)和應(yīng)用領(lǐng)域。

戰(zhàn)略方向：根據(jù)開發(fā)者大會(huì)，可以確認(rèn)OpenAI重點(diǎn)將在繼續(xù)開發(fā)多模態(tài)大模型（尋找下一代的Scaling Law以及Cot等等）和尋找商業(yè)化（1為基于gpt的開發(fā)者提供全棧的開發(fā)工具和方案--免代碼的GPTs和Assitant 2運(yùn)營(yíng)應(yīng)用軟件的平臺(tái)-Store 3To C的搜索引擎以及Canvas工作臺(tái)）；向后向前整合關(guān)鍵能力。特別是C端，OpenAI一定會(huì)去嘗試去做大市場(chǎng)的生意。

To C類（獲取流量）：提供Chatgpt，GPTs agent和GPT-store，奧特曼長(zhǎng)期如果想要推翻谷歌，成為新的檢索入口，必須要找到新商業(yè)模式和生態(tài)！（特別是找到和廣告商收費(fèi)，但又不破壞C端客戶使用體驗(yàn)的商業(yè)模式）。

OpenAI確實(shí)在產(chǎn)品化上有所不足，目前OpenAI的招聘重點(diǎn)已經(jīng)從基礎(chǔ)研究轉(zhuǎn)向產(chǎn)品開發(fā)和應(yīng)用領(lǐng)域。此前在2021年，該公司發(fā)布的招聘職位中有23%屬于一般研究類職位，但在2024年這個(gè)比例已降至4.4%。

對(duì)于B端（ISV生態(tài)工具棧）：短期內(nèi)參考蘋果生態(tài)（廣泛吸引開發(fā)團(tuán)隊(duì)入住），市場(chǎng)上對(duì)C產(chǎn)品收取高額月費(fèi)享受ai服務(wù)，可以短期收錢，但是目前來看大模型競(jìng)爭(zhēng)隨時(shí)趕上，賺錢的服務(wù)也將會(huì)被垂類公司賺走，如何獲取和留存大流量；提供統(tǒng)一模型微調(diào)和訓(xùn)練工具。為了應(yīng)對(duì)谷歌等大公司整體生態(tài)的競(jìng)爭(zhēng)，必須要走出商業(yè)差異化！

與互聯(lián)網(wǎng)大廠合作：微軟占有49%的股份，引用至自己的終端（copolit agent--LLM版搜索引擎救活了微軟無人問津的瀏覽器edge--兩年內(nèi)從8%的市場(chǎng)份額提升至15%！直接挑戰(zhàn)谷歌chrome），同時(shí)也投資了另一家大模型公司，大公司都會(huì)使用大模型來對(duì)其企業(yè)產(chǎn)品進(jìn)行agent化和云服務(wù)的協(xié)同工作！微軟同時(shí)投資mistral和引入inflection ai的ceo，說明對(duì)OpenAI的掌控不強(qiáng)，所以才做的多手準(zhǔn)備。BTW，微軟云計(jì)算的azure上的GPT的api費(fèi)用要低于OpenAI官網(wǎng)的價(jià)格。

對(duì)于OpenAI來說，一方面的投資有算力的加成，快速訓(xùn)練，一方面微軟也對(duì)奧特曼的支持導(dǎo)致了伊利亞想把奧特曼踢出團(tuán)隊(duì)的失敗。另外根據(jù)協(xié)議，OpenAI一旦開發(fā)出AGI（第五級(jí)-AI可以完成一個(gè)組織的工作），微軟就將失去OpenAI的技術(shù)。

總而言之，OpenAI拿算力、數(shù)據(jù)；微軟拿到OpenAI的技術(shù)作出產(chǎn)品，賦能業(yè)務(wù)。

創(chuàng)始人達(dá)里奧是一個(gè)技術(shù)天才，在OpenAI的5年間，他先后帶領(lǐng)團(tuán)隊(duì)開發(fā)了OpenAI的早期產(chǎn)品GPT-2和GPT-3，成為首批記錄人工智能規(guī)模定律和規(guī)模化的技術(shù)大牛。

正是這段經(jīng)歷，達(dá)里奧逐漸意識(shí)到AI可能比想象中強(qiáng)大，它帶來的安全問題也比想象中更嚴(yán)峻，然而，OpenAI似乎并不能解決他的顧慮。2020年6月，GPT-3問世，半年后他與妹妹丹妮拉決定一同辭職。

OpenAI核心團(tuán)隊(duì)出來創(chuàng)業(yè)，Anthropic 已經(jīng)和 亞馬遜、Google、Salesforce 達(dá)成了戰(zhàn)略合作，使用 Google 提供的云服務(wù)，并且集成到 Slack 中；Anthropic也表示會(huì)進(jìn)一步擴(kuò)大與AWS的合作，提出將“從芯片到軟件的技術(shù)基礎(chǔ)，共同推動(dòng)下一代人工智能研究和開發(fā)。”其中就包括合作開發(fā)AI芯片，以及AWS業(yè)務(wù)的進(jìn)一步滲透。

Anthropic 的成功源于其獨(dú)特的技術(shù)路線和商業(yè)策略。首先，Claude 3.5 Sonnet 模型在性能上實(shí)現(xiàn)了質(zhì)的飛躍。根據(jù) Anthropic 官方的數(shù)據(jù)，該模型在研究生水平推理能力（GPQA）、本科水平知識(shí)（MMLU）和編碼能力（HumanEval）等多個(gè)基準(zhǔn)測(cè)試中均表現(xiàn)出色，甚至超越了其前身 Claude 3 Opus。

基于Anthropic發(fā)布了一項(xiàng)革命性的技術(shù)——模型上下文協(xié)議（Model Context Protocol，MCP）目標(biāo)是實(shí)現(xiàn)LLM應(yīng)用程序與外部數(shù)據(jù)源和工具之間的無縫集成。

因?yàn)樵试SLLM訪問和利用外部資源，它的功能性和實(shí)用性都會(huì)大大增強(qiáng)。解決LLM數(shù)據(jù)孤島的問題。使得開發(fā)者更容易開發(fā)自己的產(chǎn)品。

無論是構(gòu)建AI驅(qū)動(dòng)的IDE、聊天界面，還是創(chuàng)建自定義的AI工作流，MCP都提供了一種標(biāo)準(zhǔn)化的方式，來連接LLM與它們所需的上下文。

Claude 3.5 Sonnet 引入了革命性的"計(jì)算機(jī)使用"功能。這項(xiàng)功能允許 AI 模型像人類一樣與計(jì)算機(jī)圖形用戶界面交互，包括解釋屏幕圖像、移動(dòng)鼠標(biāo)指針、點(diǎn)擊按鈕，甚至通過虛擬鍵盤輸入文本。這種創(chuàng)新大大拓展了 AI 的應(yīng)用范圍，為企業(yè)用戶提供了前所未有的靈活性。

此外，Anthropic 還推出了"Artifacts"功能，允許用戶直接在聊天界面中與模型輸出進(jìn)行交互和操作。這不僅提高了生產(chǎn)效率，還促進(jìn)了人機(jī)協(xié)作的創(chuàng)新。

Anthropic 的成功也得益于其在安全性和道德方面的重視。公司率先提出了"憲法 AI"的概念，為其 AI 模型制定了一套道德準(zhǔn)則和行為指南。這種做法不僅贏得了用戶的信任，也為整個(gè)行業(yè)樹立了標(biāo)桿。模型與人類道德強(qiáng)對(duì)齊。

Mistral AI成立于法國(guó)和2023年4月，由DeepMind和Meta的前科學(xué)家共同組建，專注于開源模型及企業(yè)級(jí)服務(wù)。公司成立之初，就獲得了英偉達(dá)、微軟和Salesforce等科技巨頭的投資。Mistral AI被視為OpenAI在歐洲的主要競(jìng)爭(zhēng)對(duì)手，據(jù)該公司介紹，其開源模型Mixtral 8x22B是市面上參數(shù)規(guī)模第二大的開源模型，僅次于馬斯克的Grok-1。

不過，在與科技巨頭的競(jìng)爭(zhēng)中，Mistral AI面臨很大的挑戰(zhàn)。今年前三個(gè)月，Meta、Google和微軟在數(shù)據(jù)中心建設(shè)和其他基礎(chǔ)設(shè)施的投資總額超過了320億美元。不過，Mistral AI已與微軟建立了長(zhǎng)期合作伙伴關(guān)系，利用Azure AI的超級(jí)計(jì)算基礎(chǔ)設(shè)施訓(xùn)練模型，并共同為客戶提供Mistral AI的模型服務(wù)。

還有meta、谷歌、亞馬遜、推特等自研的模型！谷歌的Gemini和meta的Llama模型，性能都非常不錯(cuò)。且有流量的優(yōu)勢(shì)，agent產(chǎn)品化后搭載在自己硬件如谷歌手機(jī)，軟件如Meta的app上。

在基礎(chǔ)的算力和數(shù)據(jù)上，初創(chuàng)公司遠(yuǎn)遠(yuǎn)不如互聯(lián)網(wǎng)企業(yè)，唯獨(dú)在算法層面，或者更具體的說：AI算法認(rèn)知領(lǐng)先，在智能工程上（數(shù)據(jù)、計(jì)算機(jī)系統(tǒng)）有一定的開發(fā)領(lǐng)先知識(shí)和經(jīng)驗(yàn)。預(yù)計(jì)和大廠們有個(gè)最多8個(gè)月的技術(shù)優(yōu)勢(shì)。然而在scaling law大概率失效下，這個(gè)時(shí)間將會(huì)被快速拉短。

本身大廠們就是算法領(lǐng)域知識(shí)產(chǎn)出的主要來源（推薦算法、cv都是互聯(lián)網(wǎng)廠商的深度學(xué)習(xí)的拿手好戲，適應(yīng)新算法很快），本身的transformer算法也是由谷歌提出，且互聯(lián)網(wǎng)大廠的業(yè)務(wù)就是cash cow，不缺利潤(rùn)，后期追上很快。只是現(xiàn)在為了市場(chǎng)的競(jìng)爭(zhēng)，快速合作，ai化產(chǎn)品賦能業(yè)務(wù)增長(zhǎng)，實(shí)際上都在自己做模型。

在這種博弈下，初創(chuàng)公司只能不斷創(chuàng)造壁壘，保持技術(shù)上的領(lǐng)先的同時(shí)，找到一條可以挑戰(zhàn)互聯(lián)網(wǎng)企業(yè)的商業(yè)化路徑（至少這里還有無限的可能），否則會(huì)被互聯(lián)網(wǎng)初期免費(fèi)的策略競(jìng)爭(zhēng)（基本上互聯(lián)網(wǎng)企業(yè)的模型都免費(fèi)，或者api價(jià)格遠(yuǎn)低于初創(chuàng)企業(yè)，Llama都直接開源的）。所以初創(chuàng)企業(yè)和終端應(yīng)用層的界限將會(huì)十分模糊，大模型企業(yè)除了提供MAAS的api等服務(wù)外，也會(huì)提供豐富的產(chǎn)品給到用戶。

如果無法成功商業(yè)化，那么初創(chuàng)企業(yè)基本上就會(huì)和上一時(shí)代的CV公司一樣：商湯、曠世依靠給互聯(lián)網(wǎng)大廠賣人臉識(shí)別api起家，技術(shù)成熟后，同質(zhì)化競(jìng)爭(zhēng)，單次識(shí)別人臉的單價(jià)從幾毛錢直接降到幾厘錢，甚至更低；然后開始尋找二次增長(zhǎng)曲線，各種行業(yè)（自動(dòng)駕駛、醫(yī)療、to c等等），搞渠道，做非標(biāo)總包定制化，毛利下降。。。。。

總而言之，初創(chuàng)企業(yè)必須找到自己的有壁壘的盈利池，特別是to c領(lǐng)域作為大頭，拿到互聯(lián)網(wǎng)算力和投資后，把握好關(guān)系避免過于深入?yún)⑴c業(yè)務(wù)，要充滿想象力和勇敢挑戰(zhàn)互聯(lián)網(wǎng)大廠的業(yè)務(wù)，否則到頭來就是個(gè)大廠外包研發(fā)團(tuán)隊(duì)，有業(yè)務(wù)能量和技術(shù)的等待并購(gòu)or直接下牌桌。

那么這次的LLM浪潮到底是互聯(lián)網(wǎng)大廠們的流量競(jìng)爭(zhēng)的延續(xù)還是新時(shí)代的降臨呢？

國(guó)內(nèi)

智譜ai：同時(shí)投資生數(shù)科技（美術(shù)類）和冪律智能（法律類），補(bǔ)充能力和應(yīng)用層，商業(yè)化最成熟，主要面向to b；有語音、文本和圖像，有開發(fā)平臺(tái)；智譜 AI 已擁有超2000家生態(tài)合作伙伴、超1000個(gè)大模型規(guī)模化應(yīng)用，另有200多家企業(yè)跟智譜AI進(jìn)行了深度共創(chuàng)。

近期，在11月末智譜推出自己手機(jī)版的AutoGLM之前--可用語言操控手機(jī)的agent（LUI），下面應(yīng)用層，會(huì)詳細(xì)講述，他的股東螞蟻集團(tuán)的著名app-支付寶，在9月份早早就推出了“支小寶”，人們可以和他對(duì)話，在支付寶上進(jìn)行訂外賣、訂機(jī)票等等操作。

月之暗面：to c（主要定位）商業(yè)化最好：Kimi智能助手在2024年1月的訪問量達(dá)142萬，在大模型創(chuàng)業(yè)公司的“AI ChatBots”產(chǎn)品中居于首位，月環(huán)比增長(zhǎng)率為94.1%，增長(zhǎng)速度也在大模型創(chuàng)業(yè)公司中排名第一；技術(shù)優(yōu)勢(shì)，250ktokens的長(zhǎng)文本輸入，主打無損記憶；但只有文字，to c入手；最近又有了CoT能力，數(shù)字推理能力加強(qiáng)不少。

上述榜單為app使用榜單，非網(wǎng)頁版，更符合大家對(duì)模型和應(yīng)用層使用的市場(chǎng)認(rèn)知。豆包的使用是斷崖式的，和自己app業(yè)務(wù)的賦能，飛書等app內(nèi)置豆包免費(fèi)使用，加上宣發(fā)和教育板塊的擴(kuò)張。

字節(jié)的豆包、360、華為、百度、阿里、美團(tuán)等等都在出自己的模型。這里面字節(jié)和360做的商業(yè)化和模型成果結(jié)合的不錯(cuò)，流量好。這里要說一句，幻方的deepssek模型通過優(yōu)化注意力機(jī)制和量化的大量GPU（除了字節(jié)外，最大的英偉達(dá)算力方了），獲得了非常好的效果，性能位居世界前列，但不商業(yè)化，不賺錢，只開源模型，模型的競(jìng)爭(zhēng)實(shí)在過于強(qiáng)烈。

國(guó)內(nèi)國(guó)外的競(jìng)爭(zhēng)態(tài)勢(shì)幾乎一樣。不再贅述。

八、應(yīng)用層——軟件

AI應(yīng)用軟件綜述

目前應(yīng)用層的問題在于，大家都是嘗試在用，后續(xù)使用次數(shù)不多，無法利用好大模型的特性與需求貼合。

所以應(yīng)用層的成功的關(guān)鍵是基于場(chǎng)景的深度理解，做出復(fù)用率高的產(chǎn)品！所以MAU、復(fù)購(gòu)率等為關(guān)鍵指標(biāo)。還是得回到應(yīng)用場(chǎng)景的關(guān)鍵詞：

剛需 長(zhǎng)期 高頻

應(yīng)用層公司的模型選擇路徑

1 利用已有的閉源大模型用自己的數(shù)據(jù)微調(diào)模型：（但要找到合適的盈利模式，抵消流量費(fèi)用）

訓(xùn)練費(fèi)用和調(diào)用費(fèi)用：OpenAI對(duì)訓(xùn)練和api調(diào)用收費(fèi)。這通常基于使用的計(jì)算資源量和使用的模型。

2 自研

3 開源大模型再訓(xùn)練

基本上應(yīng)用層的公司還是微調(diào)模型，不自研，也就是所謂的“套殼”，所以他們的壁壘就在于對(duì)場(chǎng)景和LLM的理解從而開發(fā)出PMF的產(chǎn)品，而技術(shù)層面上來說，所有套殼公司要做的事情就是提示詞工程-通過LLM偏好的語言習(xí)慣，引導(dǎo)LLM最優(yōu)化的輸出結(jié)果。

To B & To G--企業(yè)服務(wù)

海外龍頭公司：Saleforce、SAP、Zoom、Adobe、云服務(wù)公司等

國(guó)內(nèi)：釘釘、企業(yè)微信、飛書、金蝶、用友等

針對(duì)大模型的已有的創(chuàng)造和歸納推理能力，可以部分替代美術(shù)創(chuàng)意、文字推理歸納。

（一）信息管理類

大型企業(yè)如 Salesforce、SAP 和 Workday 也推出自己的 AI Agent 產(chǎn)品。其中，Sales Agent 是目前 AI Agent 主要落地和商業(yè)化場(chǎng)景之一。硅谷 VC 圍繞 Sales Agent 概念投資了很多 club deal，如完成了 5000 萬美元的 B 輪融資，估值 3.5 億美元的 AI SDR （Sales Development Representative，銷售開發(fā)代表） 11X，Greenoaks Capital 領(lǐng)投新一輪的 Sierra 估值也達(dá)到了 40 億美金【57】。

與此同時(shí)，Agent 公司從按 seats 數(shù)量收費(fèi)的 SaaS 定價(jià)模式轉(zhuǎn)向基于結(jié)果定價(jià)，帶來了更大的市場(chǎng)空間和想象力。

目前的 Sales Agent Startup 大多專注于替代或優(yōu)化銷售流程中的某些環(huán)節(jié)。

客服市場(chǎng)從上世紀(jì) 50 年代發(fā)展到今天，主要經(jīng)歷了四個(gè)階段【58】：

傳統(tǒng)電話客服（2000 年以前）—多渠道客服（2000 年-2010 年）—云客服（2010 年-2015 年）—AI 客服（2015年至今）。但是即使發(fā)展到今天，客服市場(chǎng)競(jìng)爭(zhēng)格局仍然十分分散。在 LLM 之前，AI 客服依賴于自然語言理解（NLU） 和機(jī)器學(xué)習(xí)，不同的行業(yè)需要不同的語料庫，客服公司通常僅能在一至兩個(gè)垂直行業(yè)做深，難Scale。

第四階段的 AI 客服也叫 “對(duì)話式 AI（Conversational AI）”，國(guó)際主要玩家包括 Kore.ai、Amelia 等。

早期基于 Rule-Base 的 Chatbot 對(duì)答是可控、可預(yù)測(cè)、可重復(fù)的，但對(duì)話缺乏“人情味”，并且通常不保留已發(fā)生的響應(yīng)，存在重復(fù)和循環(huán)對(duì)話的風(fēng)險(xiǎn)。傳統(tǒng) Chatbot 架構(gòu)和工具非常成熟，主要包括四個(gè)部分：NLU 自然語言理解，對(duì)話流程管理（對(duì)話流和響應(yīng)消息，基于固定和硬編碼邏輯）、信息抽象（預(yù)定每個(gè)對(duì)話的機(jī)器人響應(yīng)）、知識(shí)庫檢索（知識(shí)庫和語義相似性搜索）。傳統(tǒng) Chatbot 唯一基于機(jī)器學(xué)習(xí)和 AI 模型的組件是 NLU 組件，負(fù)責(zé)根據(jù)模型預(yù)測(cè)意圖和實(shí)體。這種 NLU 引擎的優(yōu)點(diǎn)是：有眾多開源模型、占用空間小/無需過多資源、存在大量的命名實(shí)體語料庫、有大量垂直行業(yè)的數(shù)據(jù)。后來的 Chatbot 采用更復(fù)雜的算法，包括自然語言處理（NLP）和機(jī)器學(xué)習(xí)，來提供動(dòng)態(tài)和上下文相關(guān)的交互，從而解決早期基于模板的方法的缺點(diǎn)。

Chatbot 發(fā)展到后期出現(xiàn)了 Voicebot。Voicebot 的基本方程式是：Voicebot = ASR（Automatic Speech Recognition） + Chatbot + TTS（Text To Speech）。這些變化增加了復(fù)雜性，提供更好的對(duì)話效果、更長(zhǎng)的對(duì)話時(shí)間和更多的對(duì)話輪次，以及更復(fù)雜的對(duì)話元素（如自我糾正、背景噪音等）。然而，Voicebot 出現(xiàn)的同時(shí)也帶來了一系列挑戰(zhàn)：有延遲問題、需要更復(fù)雜的流程、需要加翻譯層、容易出現(xiàn)對(duì)話離題、用戶打斷對(duì)話難以解決等。

因此，開發(fā)者依然在渴望一個(gè)靈活且真正智能的對(duì)話管理系統(tǒng)。LLM 的出現(xiàn)從開發(fā)到運(yùn)行都顛覆了 Chatbot IDE 生態(tài)系統(tǒng)：不僅加速了 Chatbot 的開發(fā)設(shè)計(jì)，大大提高了Scalability；而且在對(duì)話運(yùn)行中可以實(shí)現(xiàn)上下文交互、靈活且智能的回復(fù)。但缺點(diǎn)是穩(wěn)定性、可預(yù)測(cè)性較差，以及在某種程度上的可重復(fù)性弱。

根據(jù)銷售工作流，可以將 AI 客服分為幾類:

1）營(yíng)銷類外呼：售前場(chǎng)景因?yàn)閷?duì)于模型的理解和智能能力要求較低，是目前比較好的落地場(chǎng)景。Voice agent可以帶來更自然的對(duì)話體驗(yàn)，同時(shí)能夠結(jié)合分析歷史通話數(shù)據(jù)，實(shí)現(xiàn)營(yíng)銷轉(zhuǎn)化的提高。如果遇到太難的問題，LLM 也可以檢測(cè)后發(fā)給普通的客服。

2）銷售中：目前LLM還比較少的被應(yīng)用到直面leads，因?yàn)槭苣芰ο拗疲×藫p失過大。但被充分應(yīng)用于客服培訓(xùn)中，一方面節(jié)省了因?yàn)殡婁N頻繁離職導(dǎo)致的過多培訓(xùn)時(shí)間成本；另一方面可以做到知識(shí)庫實(shí)時(shí)對(duì)齊，成為電銷的語音 copilot。

3）投訴/售后服務(wù)、客戶回訪（占比50%）：AI 可以幫助客服收集客戶投訴，解決簡(jiǎn)單的售后服務(wù)問題（不一定要使用LLM）。同時(shí)可以進(jìn)行大規(guī)模的客戶回訪，也開始被企業(yè)廣泛的采用。

根據(jù) Morgan Stanley 的報(bào)告，目前全球大約有 1700 萬名客服代理人員，代表著大約 2000 億美元的全球勞動(dòng)力市場(chǎng)。隨著多渠道協(xié)調(diào)響應(yīng)的需求增加（例如電子郵件、社交媒體、聊天），這個(gè)市場(chǎng)從傳統(tǒng)的客服中心向云服務(wù)轉(zhuǎn)型。根據(jù) Morgan Stanley 估計(jì)，目前高達(dá) 50 % 的客服互動(dòng)都屬于簡(jiǎn)單直接的類型（例如密碼重置、包裹查詢、需要退貨），隨著 AI 解決方案的改進(jìn)，這些互動(dòng)未來可能不需要人工客服的參與。但是考慮到客戶強(qiáng)烈希望與真人客服交談的偏好，在保守情況下，未來 5 年內(nèi)，可由 AI 處理的客服業(yè)務(wù)將占 10-20 %，并且這一比例預(yù)期將增長(zhǎng)。因此，Morgan Stanley 認(rèn)為在未來 5 年內(nèi)，Contact Center 市場(chǎng)（包括 CCaaS 和 對(duì)話式 AI ）2027 年市場(chǎng)規(guī)模可達(dá)約 260 億美元。

Sales AI 領(lǐng)域非常Crowded，主要競(jìng)爭(zhēng)對(duì)手可分為三大類：大型公司的銷售自動(dòng)化產(chǎn)品、同類 Gen AI 初創(chuàng)公司、以及上一代 AI 銷售軟件。

垂直行業(yè)的語料庫和客戶資源在客服 NLU 時(shí)代是玩家的競(jìng)爭(zhēng)壁壘（數(shù)據(jù)、行業(yè)認(rèn)知和客戶資源），所以客戶在選擇供應(yīng)商時(shí)更看重供應(yīng)商在垂直行業(yè)的經(jīng)驗(yàn)，因此截至目前 AI 客服市場(chǎng)格局仍然較分散。根據(jù)專家訪談，AI 客服市場(chǎng)未來很可能有 20-30 位玩家同時(shí)留在場(chǎng)上，重要玩家的收入體量大約可達(dá)到 10-30 億美元。假設(shè) LLM 落地成熟，考慮到 LLM 的通用性，市場(chǎng)格局有可能由分散變?yōu)楦蛹校妙^部公司。

眾所周知的原因-中國(guó)市場(chǎng)的暫未接受訂閱制導(dǎo)致軟件公司無法像國(guó)外企業(yè)一樣，獲得高額的收入。但這也是商業(yè)進(jìn)程問題，美國(guó)經(jīng)歷了軟硬件一體機(jī)的IBM壟斷，到Oracle等軟硬分離的訂閱制挑戰(zhàn)，再到目前大模型的API-用多少買多少；每次盈利模式背后都是市場(chǎng)受夠了被生產(chǎn)者壟斷的剩余剝削，選擇了更加平等的盈利模式；中國(guó)市場(chǎng)還需要時(shí)間。

所以即使收入增長(zhǎng)很快，國(guó)內(nèi)企業(yè)服務(wù)目前在融資低谷（大家更希望看到并購(gòu)整合，只為活出資本寒冬）。但是原有的AI客服公司明顯在新浪潮下，具有更大的先發(fā)優(yōu)勢(shì)：技術(shù)上-只需微調(diào)模型；但有大量的數(shù)據(jù)和場(chǎng)景理解；商業(yè)上有固定的渠道客戶，新的盈利模式帶來進(jìn)行溢價(jià)的升級(jí)。期待商業(yè)模式的轉(zhuǎn)折，重新將軟件類估值抬回應(yīng)有的水平。

真正到了落地階段客戶仍更多采用傳統(tǒng)機(jī)器學(xué)習(xí)/NLP 的解決方案（客戶有定制化和垂直行業(yè)解決方案的需求，LLM 對(duì)垂直行業(yè)的理解和準(zhǔn)確性反而不如傳統(tǒng)方案），需要限制LLM的幻覺。需要因此目前主要是成立年限較長(zhǎng)、有一定行業(yè)經(jīng)驗(yàn)和客戶積累的傳統(tǒng)公司受益。但傳統(tǒng)方案基于關(guān)鍵詞進(jìn)行回答，靈活度較差，用戶體驗(yàn)也不夠真實(shí)，因此該情況有可能僅是過渡階段。

國(guó)內(nèi)公司有：句子互動(dòng)、斑頭雁、追一科技、百應(yīng)科技、Stepone等

根據(jù) ReportLinker 預(yù)測(cè)，2028 年，全球企業(yè)搜索市場(chǎng)規(guī)模將達(dá)到$6.9B，2022-2028年 CAGR 為 8.3%【59】。

供需：企業(yè)搜索產(chǎn)品的目標(biāo)用戶主要為知識(shí)工作者，企業(yè)客戶覆蓋大、中、小型公司，但以大型企業(yè)和中等規(guī)模公司為主，因?yàn)殡S著企業(yè)越來越龐大，積累的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)越來越多，員工與員工之間溝通也越來越低效，因此企業(yè)越大對(duì)企業(yè)搜索的需求就越大。

海外企業(yè)搜索大致經(jīng)歷了三個(gè)階段：

1. 第一階段是基于關(guān)鍵詞的搜索，用戶需要輸入關(guān)鍵詞或關(guān)鍵詞組合進(jìn)行搜索；

2. 第二階段是基于語義的搜索，用戶可以輸入自然語言完成搜索，且搜索的相關(guān)性和準(zhǔn)確性和第一階段相比有很大提升。

前面兩個(gè)階段的共同特點(diǎn)是，均為用戶輸入關(guān)鍵詞或自然語言，搜索引擎根據(jù)相關(guān)性對(duì)搜索結(jié)果進(jìn)行排序，且搜索結(jié)果為網(wǎng)站；

3.第三階段，也就是現(xiàn)在，搜索出現(xiàn)了新的玩法，ChatGPT 或 Bard 等搜索的結(jié)果不再是一條條網(wǎng)站，而是直接提供問題的答案。Glean 屬于比較積極擁抱搜索行業(yè)的變化的玩家，技術(shù)上同時(shí)提供語義搜索和關(guān)鍵詞搜索的能力，產(chǎn)品上同時(shí)提供答案生成和網(wǎng)頁排序兩種形式。

企業(yè)搜索的需求非常明顯和穩(wěn)定，因此該賽道一直比較擁擠，主要玩家包括微軟、Google、Amazon、IBM、Oracle 等大型科技企業(yè)，以及專注做企業(yè)搜索的公司，如 Coveo、Lucidworks、Glean、Mindbreeze 等，這其中有像 Glean 這樣新成立的公司，也有像 Coveo 這樣已經(jīng)成立十幾年的公司。

與企業(yè)服務(wù)公司產(chǎn)品為互補(bǔ)品，可拆分，客戶離不開原有的企業(yè)服務(wù)產(chǎn)品，且數(shù)據(jù)均在原公司，企業(yè)檢索為增值服務(wù)，可短時(shí)間內(nèi)自研。

客戶：Glean 早期將科技公司視為目標(biāo)客戶，后來更聚焦于成長(zhǎng)期科技公司，這些公司的員工數(shù)量通常是 500-2,000 人，公司處于高速發(fā)展之中，愿意嘗試新事物且快速行動(dòng)。

技術(shù)：Glean 利用多維方法將矢量搜索、傳統(tǒng)關(guān)鍵字搜索和個(gè)性化結(jié)合到了一個(gè)混合搜索系統(tǒng)中，從而提高了搜索的相關(guān)性和準(zhǔn)確性。

核心功能是搜索；亮點(diǎn)是個(gè)性化和跨應(yīng)用。

商業(yè)價(jià)值：Glean 的跨應(yīng)用搜索相當(dāng)于在所有 SaaS 產(chǎn)品之上架了一層，用戶不需要再逐一打開 SaaS 應(yīng)用，在 Glean 上就可以查到企業(yè)數(shù)據(jù)，并完成部分高頻工作；流量進(jìn)入入口，并且還能直接有生產(chǎn)力，目前最多的還是員工入職場(chǎng)景（培養(yǎng)使用習(xí)慣！）。

商業(yè)模式：純 to B 的模式，未向個(gè)人用戶開放。Glean 通常為企業(yè)提供兩種定價(jià)模型，一是 Per-Seat 的定價(jià)模型，每個(gè) Seat 每月 100 美金以內(nèi)；二是針對(duì)企業(yè)級(jí)解決方案的個(gè)性化定價(jià)模型。

競(jìng)爭(zhēng)優(yōu)勢(shì)：1易用性（鏈接多個(gè)SaaS合作），冷啟動(dòng)快（3天）2搜索能力的數(shù)據(jù)飛輪，形成個(gè)性化 3員工的網(wǎng)絡(luò)效應(yīng)。

但是無法沉淀業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)都在SaaS，有搜索數(shù)據(jù)沉淀，提供企服的公司一般也提供（并購(gòu)邏輯），國(guó)外使用SaaS較多，所以需要企業(yè)搜索來使其串聯(lián)，不像國(guó)內(nèi)統(tǒng)一化。

未來的期待：想辦法有一定的數(shù)據(jù)沉淀，未來要成為中心平臺(tái)，需要再多做一些高價(jià)值工作替代or形成行業(yè)工作流的替代，讓使用者繼續(xù)使用。

國(guó)內(nèi)

主要是大模型層公司在做，一種是幫助企業(yè)員工進(jìn)行企業(yè)內(nèi)部知識(shí)搜索和總結(jié)-私有化部署（項(xiàng)目制，商業(yè)潛力弱）；一種是ERP公司使用大模型進(jìn)行搜索并進(jìn)行SaaS調(diào)用。

關(guān)注數(shù)據(jù)獲取留存以及如何商業(yè)化，是否考慮垂直行業(yè)工作流的agent化！泛化能力不強(qiáng)，先抓住垂直客戶的高價(jià)值需求，先商業(yè)化。感覺業(yè)務(wù)有些迷茫，目前客服和數(shù)據(jù)預(yù)處理都有大量玩家參與，大的ERP公司例如金蝶、用友等可以嘗試調(diào)用大模型復(fù)制Glean，完善自己的企業(yè)軟件使用入口，進(jìn)行優(yōu)化，通過大模型調(diào)用各類SaaS。

國(guó)內(nèi)ERP公司目前的超萬級(jí)的ISV和生態(tài)完整的工具棧壁壘是模型層完全無法競(jìng)爭(zhēng)的，大概率做個(gè)內(nèi)部技術(shù)支持。

主要是數(shù)字人視頻來代替面試（企業(yè)減少招聘投入并提供面試者之前機(jī)器面試的體驗(yàn)感）和新員工的入職培訓(xùn)視頻。

數(shù)字人互動(dòng)直播與錄播有點(diǎn)類似，只是錄播少了互動(dòng)。在錄播時(shí)會(huì)先把視頻錄制好，然后通過OBS推流，推到直播平臺(tái)就可以了。如果需要互動(dòng)流程時(shí)，要獲取直播彈幕，判斷彈幕是否滿足回答條件，如果需要回答則生成答案，然后在走一遍視頻制作流程，然后推流。

技術(shù)上無壁壘，商業(yè)上直播不允許用錄制的視頻，作用只能在短視頻平臺(tái)進(jìn)行視頻成本的下降。大廠都有在做。

目前對(duì)于可重復(fù)性多的視頻生成場(chǎng)景，有較高的價(jià)值，例如網(wǎng)課、入職培訓(xùn)等教育和營(yíng)銷領(lǐng)域。看好出海，收入增長(zhǎng)快的公司。特別是出海，詳細(xì)分析請(qǐng)看下述的視頻生成賽道。

初創(chuàng)公司代表：硅基智能、Fancytech、Heygen等，其他數(shù)字人中小公司也很多。

根據(jù)服務(wù)對(duì)象劃分，Legal Tech 的種類可以分為 ToL 服務(wù)律師事務(wù)所、ToB 服務(wù)企業(yè)法務(wù)部門及 ToC 服務(wù)消費(fèi)者。但值得注意的是，無論是 ToL 還是 ToB，企業(yè)才是最終付費(fèi)方。即便產(chǎn)品的客戶是律師事務(wù)所，由于律師事務(wù)所是為企業(yè)服務(wù)的，律師事務(wù)所會(huì)把 Legal Tech 工具轉(zhuǎn)交給客戶報(bào)銷【60】。

LLM 出現(xiàn)前的法律 AI （以 NLP 為主）主要運(yùn)用于合同管理，但這些工具以信息檢索為主，很難對(duì)信息進(jìn)行深度的處理與分析！

產(chǎn)品：

律所工作流：客戶訴求的溝通與拆分、法律研究（法條檢索和判例研究）、客戶方案設(shè)計(jì)、合同、訴訟文書或其他法律文件的處理，以及其他涉及到法律適用問題的工作

模型層：

法律 LLM 創(chuàng)業(yè)公司主要直接接入 API 或 finetune 大模型，不同公司選擇了不同的供應(yīng)商，Harvey、CoCounsel、Spellbook 接了 GPT4，其中 Harvey 和 CoCounsel 2022 年下半年就獲得了 GPT4 的優(yōu)先使用權(quán)，Robin AI 則選擇了與 Anthropic 的 Claude 合作；公司多采取多個(gè)模型組合去完成不同細(xì)分任務(wù)。

數(shù)據(jù)層：

不同公司能獲得的優(yōu)質(zhì)數(shù)據(jù)不同，這對(duì)于 LLM 的表現(xiàn)會(huì)產(chǎn)生較大影響。CoCounsel 因具有 Casetext 多年的數(shù)據(jù)積累，并被湯森路透收購(gòu)，可以使用其世界級(jí)法律內(nèi)容庫，在數(shù)據(jù)維度具有較大優(yōu)勢(shì)；Lexis AI 背靠 LexisNexis 也有類似的優(yōu)勢(shì)。而 Harvey、Robin AI 等新興創(chuàng)業(yè)公司選擇與頭部律師事務(wù)所、四大審計(jì)公司綁定的方式獲得優(yōu)質(zhì)訓(xùn)練數(shù)據(jù)。

看好有大模型訓(xùn)練能力、行業(yè)專業(yè)數(shù)據(jù)庫、深入大客戶工作流的切入團(tuán)隊(duì)是關(guān)鍵。

市場(chǎng)規(guī)模：

中國(guó)機(jī)會(huì)更大，2023年中國(guó)各類案件接受3200萬件，400萬件未處理，還有1400萬調(diào)解（每年還以30%速度增長(zhǎng)，這些都是強(qiáng)制未上升至受理案件的！中國(guó)法律服務(wù)能力缺口極大！），還有各類監(jiān)管審查工作，ai的出現(xiàn)可以極大緩解公檢法的極大壓力！中國(guó)律師事務(wù)所4萬家，每年增加2000家，中國(guó)約 57 萬名律師。保底110 美元/月/人+超量使用+定制開發(fā)，目前市場(chǎng)規(guī)模60個(gè)億元，且將會(huì)不斷快速增長(zhǎng)30%！

在中國(guó)to b法律領(lǐng)域有個(gè)重要問題就是，律師普遍工資不高，實(shí)現(xiàn)替換意愿不強(qiáng)，目前商業(yè)化進(jìn)展緩慢。但需要持續(xù)關(guān)注。

筆者更關(guān)注龐大的C端市場(chǎng)！中國(guó)人需要一款專業(yè)的法律詢問APP，依法治國(guó)的前提。

美國(guó)Harvey（openai投資），CoCounsel

中國(guó)：冪律智能（有數(shù)據(jù)、模型開發(fā)已完成）智普AI和北大的Chatlaw

需求：國(guó)家和行業(yè)合規(guī)要求--GDPR，PCI-DSS，HIPAA，SOC 2，避免罰款和停止運(yùn)營(yíng)；合規(guī)和審計(jì)成本高--大型企業(yè)完成SOC2審計(jì)的單次成本超過100萬元；工作量巨大，只能通過抽查來減少工作量，跨多部門，工作協(xié)調(diào)困難，數(shù)據(jù)隱私保護(hù)缺失，通過海量數(shù)據(jù)的采集和分析做到高效證據(jù)獲取，最終生成可支持審計(jì)目標(biāo)的合規(guī)報(bào)告。大大降低合規(guī)的成本（預(yù)計(jì)提升效率40倍）--人工審查+審計(jì)；同行檢舉過多，罰錢多。

兩大業(yè)務(wù)：審計(jì)（出海大公司）和數(shù)據(jù)合規(guī)（出海公司）

工作流：1理解當(dāng)?shù)胤煞ㄒ?guī) 2梳理業(yè)務(wù)場(chǎng)景 3找到敏感違規(guī)業(yè)務(wù)流 4合理規(guī)避法律風(fēng)險(xiǎn) 5定期人工檢查 6生成報(bào)告

市場(chǎng)測(cè)算：

數(shù)據(jù)合規(guī)（出海的中小型公司）

2027年，出海企業(yè)72萬家，每年新增5萬家，所有的涉及數(shù)據(jù)獲取的企業(yè)都要符合當(dāng)?shù)匾?guī)定，會(huì)遭同行舉報(bào)，有天價(jià)罰款。假設(shè)滲透率20%，10萬一年，中小型增量就有150億人民幣。大型公司將根據(jù)用量收款。

還有審計(jì)（出海大公司），想象空間大

發(fā)展趨勢(shì)：IT合規(guī)自動(dòng)化平臺(tái)在國(guó)內(nèi)尚無明顯領(lǐng)先者--主要是法律新規(guī)，美國(guó)歐洲很成熟，中國(guó)剛剛起步，沒有競(jìng)爭(zhēng)對(duì)手，出海和國(guó)外上市公司需要。

（二）研發(fā)設(shè)計(jì)類

從技術(shù)來說，LLM+Diffusion的生成技術(shù)就是完美契合該類行業(yè)，甚至幻想本身就是一種創(chuàng)造力。從商業(yè)價(jià)值上來說，創(chuàng)造是最好的切入工作流的入口！先創(chuàng)造后修改！

在講美術(shù)生成式的行業(yè)之前，筆者先講下國(guó)外幾家在做的事情以及思考，方便大家理解整體市場(chǎng)。

基于 Diffusion Model的Open model + Private Data，主要是針對(duì)B，G端的用戶

戰(zhàn)略：針對(duì)B端用戶做模型的開發(fā)，支持開源為了證明技術(shù)、模型可控性和低成本技術(shù)外包！C端用戶順...