金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

家人們，又有好玩兒的AI出現(xiàn)了——

火山引擎發(fā)布豆包·播客模型！

來來來，我們直接聽一段：

音頻地址：https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

如何？是不是有億點(diǎn)點(diǎn)被驚艷到了？

兩個AI的對話不論是語氣、停頓、口語化，簡直跟真人沒有差別。

男生AI在講解故事的過程中，女生AI會時不時穿插“嗯”、“沒錯”、“對”這樣的詞兒來應(yīng)和。

我們甚至拿著這個demo問了一圈身邊的人，他們竟然清一色沒有發(fā)覺這是AI！

而且操作上也非常簡單，咱們只需來到豆包PC版，打開文章的網(wǎng)頁，一個點(diǎn)擊“網(wǎng)頁播客”的動作即可：

視頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

不僅如此，生成的速度也是極快，大約5秒以內(nèi)就能搞定。

并且還是有字幕的那種哦~

除了豆包PC版之外，豆包·播客模型目前也已經(jīng)在扣子空間（space.coze.cn）上線，我們還可以通過Prompt的方式來生成播客。

整體體驗(yàn)下來，除了“真人、AI，傻傻分不清”的特點(diǎn)之外，它還具備易操作、夠?qū)崟r、有觀點(diǎn)等特性。

如此好玩的AI，我們必須安排一波實(shí)測了（文末有彩蛋哦~）。

萬物皆可AI播客

例如在實(shí)時性方面，我們就拿微博熱搜話題來測一下。

Prompt就是簡單一句話：

• 幫我根據(jù)今天的微博熱搜話題“亞朵酒店致歉”，生成一個播客。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

對話的自然度依舊保持真人水準(zhǔn)，但在這個熱搜demo中，我們更能感受到的是AI有態(tài)度。

例如對話過程中，男生AI表達(dá)了這么一句：

• 他們這個回應(yīng)啊，就是看起來很官方，但是其實(shí)并沒有真正地解決這個問題，就是你只是說會核實(shí)會有專員處理。
• 但是，這個到底什么時候能解決或者說這個問題到底出在哪？其實(shí)，客人還是一頭霧水。
• 雖然采取了一些措施，也獲得了客人的諒解，但是他們在這個管理的環(huán)節(jié)上面確實(shí)還是存在一些漏洞的。

嗯，可以說是具備“實(shí)時熱點(diǎn)講解員”的實(shí)力了。

說到這個維度的能力，就離不開最近超火的蘇超聯(lián)賽：

• 幫我根據(jù)首屆蘇超聯(lián)賽，結(jié)合賽事、網(wǎng)友熱議點(diǎn)等，生成一個播客。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

不得不說啊，關(guān)于這場賽事的獨(dú)特性、純粹性，以及江蘇13太保們的梗，妥妥拿捏到位了。

那如果面對的是超長文本呢？豆包播客模型是否也能hold住？

來，有請大火的互聯(lián)網(wǎng)女皇340頁AI報告：

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

這一次，豆包·播客模型直接一口氣生成了長達(dá)7分鐘的音頻內(nèi)容。

別看這個報告長達(dá)340頁，豆包·播客模型從話題角度，精準(zhǔn)地將大綱分為用戶增長、計算成本、全球競爭和行業(yè)影響等板塊。

并且通過雙人對話的方式，深入淺出地把每個板塊關(guān)鍵信息點(diǎn)給講解了出來。

所以，如果以后遇到超長的報告、論文或者小說，不妨丟給豆包·播客模型，先聽聽它講的通俗版內(nèi)容。

那么對于實(shí)時且開放式話題，豆包·播客模型的效果又會如何？

請聽題：

• 根據(jù)《歌手2025》中單依純演唱的《愛情沙拉拉拉》，生成一個reaction的播客。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

不得不說，和網(wǎng)上很多樂評人制作的reaction視頻的感覺頗為相似。

由此可見，不論是什么樣的形式，豆包·播客模型都可以輕松hold住，是有種萬物皆可AI播客的感覺了。

怎么做到的？

在聽完效果之后，再來聊聊豆包·播客模型背后的技術(shù)；為此，我們也和字節(jié)跳動語音中臺產(chǎn)品負(fù)責(zé)人鄭煒明進(jìn)行了一番交流。

首先需要強(qiáng)調(diào)的一點(diǎn)是，豆包·播客模型從技術(shù)角度來看并非是一蹴而就，相反，是字節(jié)跳動語音技術(shù)團(tuán)隊技術(shù)方面長期耕耘之下的產(chǎn)物。

具體而言，正是基于今年一月份發(fā)布的端到端實(shí)時語音模型，當(dāng)時就已經(jīng)取得了國內(nèi)第一、媲美GPT-4o的成績，甚至在中文語音交互上超越了GPT-4o。

“真正的端到端”，就是豆包·實(shí)時語音模型最大的亮點(diǎn)。

這種方式和傳統(tǒng)的語音對話技術(shù)截然不同，是直接在語音模態(tài)上進(jìn)行理解和推理。

而在此之前，業(yè)界比較常用的方法是一種級聯(lián)的模式：

需要先將用戶輸入語音通過ASR（Automatic Speech Recognition，自動語音識別）轉(zhuǎn)寫成文本，再送入LLM生成對話文本，最后依靠TTS（Text to Speech，文本轉(zhuǎn)語音）轉(zhuǎn)成語音輸出。

但它存在諸多不足，尚無法實(shí)現(xiàn)真人級別的語音對話交互，例如對用戶情感及副語言信息的理解能力有限、語音情感表達(dá)不夠自然、難以準(zhǔn)確響應(yīng)語音指令、系統(tǒng)延遲較高等。

而豆包端到端語音交互模型的框架實(shí)現(xiàn)了多模態(tài)輸入和輸出效果，極大提升了語音對話的效率和質(zhì)量。

在預(yù)訓(xùn)練階段，團(tuán)隊對各模態(tài)交織數(shù)據(jù)進(jìn)行深入訓(xùn)練，精準(zhǔn)捕捉并高效壓縮海量語音信息；通過Scaling理念，最大程度實(shí)現(xiàn)語音與文本能力深度融合和能力涌現(xiàn)。

在這個過程中，模型學(xué)習(xí)到了豐富多樣的輸入輸出模式，包括S2S（語音到語音）、S2T（語音到文本）、T2T（文本到文本）等，為后續(xù)的能力提升奠定了堅實(shí)基礎(chǔ)。

在后訓(xùn)練階段，團(tuán)隊使用高質(zhì)量數(shù)據(jù)與RL算法，進(jìn)一步提升模型的高情商對話能力與安全性。

團(tuán)隊精心篩選并整理了大量包含豐富情感的語音數(shù)據(jù)，涵蓋各種場景與情緒狀態(tài)，讓模型學(xué)習(xí)情感特征；通過真實(shí)與高質(zhì)量合成的語音對話數(shù)據(jù)優(yōu)化模型，使其能夠?qū)崿F(xiàn)高情商共情式對話。

例如，當(dāng)用戶表現(xiàn)出不開心時，模型會以安慰語氣回應(yīng)；用戶情緒高漲時，模型以快樂語氣積極回應(yīng)。同時，后訓(xùn)練階段引入多種安全機(jī)制，對潛在非安全內(nèi)容進(jìn)行有效壓制和過濾，降低安全風(fēng)險。

由此，豆包·實(shí)時語音模型在多個維度上實(shí)現(xiàn)了能力上的突破：

• 擬人化情感承接：以情感表現(xiàn)力、理解、承接及擬人化語音為核心，通過數(shù)據(jù)收集、預(yù)訓(xùn)練及后訓(xùn)練優(yōu)化，模型能深度理解人類情感。在親子場景中，展現(xiàn)擬人化共情與角色代入能力，提供溫暖陪伴，超越傳統(tǒng)AI。
• 聲音控制與情感演繹：支持復(fù)雜指令，實(shí)現(xiàn)專業(yè)級情緒切換與表現(xiàn)力。通過角色語音學(xué)習(xí)，可生動切換角色/狀態(tài)，增強(qiáng)交互趣味與沉浸感。方言/口音表現(xiàn)體現(xiàn)強(qiáng)大泛化能力。
• 智商與表現(xiàn)力平衡：深度理解用戶輸入，輸出真實(shí)有用且表現(xiàn)力逼近真人的語音（含副語言特征）。通過多模態(tài)數(shù)據(jù)優(yōu)化與動態(tài)評測維持平衡，并支持實(shí)時聯(lián)網(wǎng)獲取最新信息。
• 絲滑交互與超低延遲：聯(lián)合建模語音生成與理解，提升生成準(zhǔn)確性與自然度，同時優(yōu)化打斷/判停能力，實(shí)現(xiàn)真人級流暢對話，解決級聯(lián)系統(tǒng)延遲問題。

我們可以通過下面的這段實(shí)時對話的例子來感受一下：

視頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

豆包·播客模型背后的技術(shù)，是基于端到端的實(shí)時語音交互模型進(jìn)行的場景拓展，具備強(qiáng)大的文本理解與高表現(xiàn)力語音生成能力。

為了營造出逼真的雙人對談感覺，團(tuán)隊對大量播客內(nèi)容進(jìn)行了細(xì)致的體驗(yàn)拆解，分析真人對話的節(jié)奏、自然度、信息密度以及口語化表現(xiàn)等維度，并找了專業(yè)的播客內(nèi)容創(chuàng)作者進(jìn)行充分碰撞和優(yōu)化，在后續(xù)數(shù)據(jù)生產(chǎn)、模型效果、評測標(biāo)準(zhǔn)上進(jìn)行了細(xì)致打磨。

在端到端語音交互模型的預(yù)訓(xùn)練環(huán)節(jié)，字節(jié)跳動語音技術(shù)團(tuán)隊還添加了大量語音跟文本充分對齊的數(shù)據(jù)，讓模型學(xué)習(xí)到正常人交互的模式以及在播客題材下應(yīng)采用的語音播報形式。

在SFT（Supervised Fine - Tuning）階段，團(tuán)隊基于數(shù)據(jù)生產(chǎn)層面進(jìn)行精細(xì)的內(nèi)容微調(diào)，針對想要的風(fēng)格進(jìn)行上層調(diào)整。通過大量細(xì)致的標(biāo)注，使模型能夠理解如何讓整個聽感更像真人，從而在播客場景下激發(fā)出具體效果。

除此之外，豆包·聲音復(fù)刻模型方面也進(jìn)行了框架的升級。

以往行業(yè)內(nèi)的復(fù)刻模型雖能通過少量Prompt輸入復(fù)刻用戶聲音，但只能學(xué)到 “形”，難以學(xué)到 “神”。

豆包·聲音復(fù)刻模型不僅能復(fù)刻音色，還能根據(jù)對話上下文給予更加動態(tài)的回復(fù)，在情緒層面進(jìn)行匹配，甚至能夠讓復(fù)刻聲音實(shí)現(xiàn)原本發(fā)音人不能實(shí)現(xiàn)的能力，如唱歌、唱Rap等，使聲音更加擬人、靈動。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

據(jù)了解，豆包·實(shí)時語音模型即將在馬上到來的火山引擎Force大會中全量上線；更多播客的玩法也會陸續(xù)在豆包PC版中上線。

總而言之，火山引擎在AI語音上的發(fā)力，尤其是豆包·播客模型，不僅僅是增添了AI新玩法，更是可以更高效、更個性化的通過“聽”獲取信息，同時把音頻創(chuàng)作這件事的門檻再次打了下去。

One More Thing：

最后，我們還將這篇文章“投喂”給了豆包·播客模型，讓它自己對自己做了一期播客。

來聽一下效果吧~

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

扣子空間的體驗(yàn)地址放下面了，目前豆包PC端也能體驗(yàn)“網(wǎng)頁播客”的功能，感興趣的小伙伴快去感受一下吧~

扣子空間地址：
space.coze.cn