• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號(hào) QbitAI

就在剛剛的CVPR上，鵝廠3D生成模型混元3D 2.1正式宣布開(kāi)源！

它可以緊跟潮流，細(xì)膩地呈現(xiàn)出當(dāng)紅炸子雞Labubu。

也可以走復(fù)古路線，生成紋理精致的青銅器。

總之相比于前一代2.0，混元3D 2.1主打的是幾何與紋理的雙重優(yōu)化。

特別在紋理貼面上有比較大的優(yōu)化，可達(dá)到當(dāng)前開(kāi)源3D模型中的SOTA。

比如這個(gè)金屬質(zhì)地的葡萄型擺件，2.1和之前2.0的質(zhì)感和光澤對(duì)比非常明顯：

并且混元3D 2.1的訓(xùn)練代碼、模型權(quán)重、數(shù)據(jù)處理流程全部開(kāi)源，支持一鍵部署，開(kāi)發(fā)者還可以自主精調(diào)。

據(jù)騰訊介紹，這是首個(gè)全鏈路開(kāi)源的工業(yè)級(jí)3D生成大模型，并且達(dá)到了閉源級(jí)水平，同時(shí)還可適配消費(fèi)級(jí)顯卡。

主打幾何與紋理雙優(yōu)化

如開(kāi)頭所述，混元3D 2.1主打的是幾何與紋理的雙重優(yōu)化。

幾何決定了建立出的模型在形狀上的精度，紋理則還原模型表面的顏色、光澤和細(xì)節(jié)表現(xiàn)。

混元3D 2.1 可生成基礎(chǔ)顏色、金屬度、粗糙度等指標(biāo)各不相同的貼圖，同時(shí)還支持皮革、木質(zhì)、金屬、陶瓷等多種復(fù)雜材質(zhì)的高質(zhì)量渲染。

比如這組青花瓷制成的小船，可以看到右側(cè)2.1版本生成的結(jié)果光澤更好，底座的紋路也更加細(xì)膩，釉面上的青花圖案分布也更為合理。

對(duì)于同樣的物體，搭配不同的材質(zhì)就能呈現(xiàn)出不一樣的效果，比如下面的金屬老虎和玉雕老虎，都栩栩如生。

還可以在同一個(gè)模型中呈現(xiàn)不同的質(zhì)感，比如這組“吹號(hào)角的僧人”當(dāng)中，不僅可以看到人臉上的皺紋更加清晰，還能看到號(hào)角的金屬感更強(qiáng)。

衣服沒(méi)有了過(guò)度的反光，衣襟的圖案也更清晰，甚至手中杯里的水看上去也更加自然了。

模型的細(xì)節(jié)和圖案的復(fù)雜程度，也可以精致到手辦級(jí)別。

技術(shù)層面，在混元3D 2.0的基礎(chǔ)上，混元3D 2.1模型進(jìn)一步強(qiáng)化了“幾何-紋理解耦”架構(gòu)。

基于DiT幾何架構(gòu)，混元3D 2.1優(yōu)化了細(xì)節(jié)建模，使網(wǎng)格精度更高，具備更好的形狀一致性，以便更好進(jìn)行后續(xù)的紋理映。

同時(shí)，混元在3D開(kāi)源模型中引入PBR（基于物理的渲染）紋理生成技術(shù)。相較傳統(tǒng)RGB貼圖技術(shù)，PBR通過(guò)模擬光線與材質(zhì)的物理交互，提升模型在不同光照環(huán)境下的視覺(jué)一致性。

相比于TexGen等其他模型，以及混元3D之前的2.0版本，新版混元3D模型的材質(zhì)還原能力均達(dá)到了最佳水平。

在用戶盲測(cè)中，混元3D 2.1的PBR紋理相較于RGB貼圖，質(zhì)感勝出率高達(dá)78%。

另外，PBR材質(zhì)的標(biāo)準(zhǔn)化特性也使其兼容主流渲染引擎（如Unreal Engine、Unity），更加容易在其他平臺(tái)中復(fù)用。

模型代碼數(shù)據(jù)全部開(kāi)源

混元3D 2.1提供了模型權(quán)重、訓(xùn)練代碼和數(shù)據(jù)處理流程的全鏈路開(kāi)源，開(kāi)發(fā)者可以自由微調(diào)、二次訓(xùn)練或優(yōu)化。

配置方面，混元3D 2.1適配于消費(fèi)級(jí)顯卡，并且提供了詳細(xì)部署和使用教程，開(kāi)發(fā)者可以輕松上手。

2024年11月，騰訊混元發(fā)布并開(kāi)源了首代3D生成模型以來(lái)，今年1月，混元3D 2.0在文本一致性與幾何精度上超越了主流模型。

開(kāi)源以來(lái)，混元3D模型在Hugging Face平臺(tái)下載量已超過(guò)180萬(wàn)，受到了全球開(kāi)發(fā)者的認(rèn)可。

現(xiàn)在的2.1版本，進(jìn)一步提升了3D模型的質(zhì)感，讓AI生成的3D模型離“真實(shí)”又近了一步。

正如騰訊混元3D負(fù)責(zé)人郭春超所說(shuō)：

• 混元3D 2.1的全面開(kāi)源是一個(gè)新起點(diǎn)，期待與全球開(kāi)發(fā)者、創(chuàng)作者及研究者攜手，共同打造更加繁榮的3D開(kāi)源生態(tài)。

另外，本周日（6月15日）中午11點(diǎn)還將有一場(chǎng)題為“玩轉(zhuǎn)混元3D 2.1”的直播，感興趣的話可以到騰訊混元視頻號(hào)觀看~

項(xiàng)目地址：https://3d-models.hunyuan.tencent.com/
體驗(yàn)地址：https://3d.hunyuan.tencent.com