智東西

作者 | 陳駿達

編輯 | 漠影

國產語音模型又進化啦！

智東西6月12日報道，昨天，在火山引擎Force原動力大會上，豆包語音模型家族迎來上新，豆包·實時語音模型全量上線火山方舟，并對企業客戶開放使用。

在豆包端到端語音對話系統基礎上打造的豆包·語音播客模型，也在會上正式亮相。這一模型可在數秒內生成雙人對話式播客作品，效果自然，具有互相附和、插話、猶豫等播客節奏，為用戶帶來了以假亂真的收聽體驗。

以上2款模型只是豆包語音模型家族的冰山一角。

在昨日大會期間舉辦的AI應用專場論壇中，字節跳動語音產研負責人葉順平透露，目前，字節語音技術涵蓋了音頻生成與創作、音頻理解與生成和音樂理解與生成三大能力矩陣，可在語音助手、智能客服、在線教育、虛擬陪伴、有聲內容生產等場景發揮價值，日均語音處理量達到約150億次，應用到超30個行業。

亮眼數據背后，是字節在語音技術方面的持續投入。端到端架構的應用為語音交互注入了“靈魂”；數據收集、預訓練、后訓練的協同作用，賦予了模型情感表現力和洞察力；強化學習等技術的引入，也為模型的持續優化和智能水平提升提供了有力支持。

這些技術突破共同推動了豆包語音模型家族在實時語音交互、語音播客等場景下的出色表現，也讓我們看見了國產語音模型的廣闊前景。

一、語音交互人機感太重？用端到端架構給AI注入“靈魂”

過去的AI語音交互系統大多采用多階段級聯架構，包含語音識別、文本生成和語音合成三大模塊，冗長的處理鏈路限制了響應速度、控制能力和多模態一致性。

此外，由于各模塊獨立運行，此類系統難以理解語音中的情緒、語氣和停頓等副語言信息，使得語音交互始終“人機感”濃重。

隨著大模型技術的發展，如今的語音交互實現了語音理解與生成在同一模型中的協同完成，能夠更自然流暢地進行對話。

去年，GPT-4o向世界展示了“真人感”語音交互的可能性，但在中文表現上仍有局限。而火山引擎今年年初發布的豆包·實時語音模型，憑借更強的中文理解力和高情商反饋，展現了中文語音交互的理想雛形。

要與這款實時語音模型對話，用戶僅需在豆包App中點擊右上角的電話按鈕。在實測中，這款模型的“擬人感”讓人印象深刻，在語氣、用語、思考方式上更接近人類，可根據用戶情緒和語境提供實時的高情商回復，還能演會唱，支持打斷和主動搭話。

下方案例中，豆包不但根據“5歲孩子”的語境信息調整了所傳達的信息，使用了極具親和力的語氣，二者相輔相成，很好地完成了交互的目的。模型生成這段語音的速度極快，在實際使用中用戶對延遲的感知并不明顯。

00:24

豆包·實時語音模型的端到端語音系統框架是實現這一切的基礎。這一框架面向語音生成和理解進行統一建模，實現多模態輸入和輸出效果，從根本上避免了傳統級聯系統的種種劣勢。

更進一步，豆包實時語音模型具備豐富的高階語音控制與演繹能力。它不僅能根據用戶的復雜指令進行語音風格的精細調控，如語速、語調、節奏等，還擁有不錯的情緒演繹能力，能在喜怒哀樂之間自然切換，并在講故事、角色對話等任務中表現出極強的表現力和聲音創造力。

令人驚喜的是，得益于預訓練階段的大量數據泛化，模型已涌現出初步的方言與口音模仿能力，顯示出語言遷移與適應能力。

00:10

豆包·實時語音模型即將上線的“聲音復刻”能力，可以視作是上述高階能力的延申。聲音復刻實現了從“復刻音色”到“復刻表達”的全面升級，不僅能通過少量語音樣本高度還原用戶音色，更能在對話中根據語境復刻情緒與語氣，實現情感一致、自然擬人的語音表達。

二、AI播客賽道熱度不減，國產方案如何打造差異化優勢？

豆包語音模型家族在不斷擴展，其最新成員之一是于今年5月下旬推出的豆包·語音播客模型。

這一模型的推出，恰逢播客市場的蓬勃增長?！?025播客營銷白皮書》顯示，2024年，全球播客聽眾數量約為5億人，播客市場規模預計突破300億美元，同年，中文播客聽眾數量的增速達到43.6%，位居全球第一，2025年預計這一數字預計將突破1.5億。

無論是對行業頭部的專業創作者和機構，還是個人創作者而言，高度擬真的AI播客模型，都有望降低制作成本，擴展內容的豐富程度，提升創作效率。

其實，在過去很長一段時間內，AI播客屆的明星產品一直是來自谷歌的NotebookLM。在智東西的日常體驗中，NotebookLM能圍繞既有材料和信息，以雙人播客形式輸出內容，但是內容的自然度、流暢度上仍稍顯欠缺，在中文場景尤為明顯。

這正是豆包·語音播客模型想要解決的問題。這一模型在實時語音模型的基座之上，對中文播客場景做了針對性優化，使播客內容、結構和對話推進更符合中文特點，包括口語化、雙人互動等，對話節奏和感覺也更接近真人主播。

目前，這一播客模型已經可在豆包PC端、扣子空間等產品中體驗。在豆包PC端，用戶可上傳PDF文檔或是添加網頁鏈接來生成播客。這一模型的生成速度極快，在智東西上傳一篇論文后，豆包在幾秒內便返回了可供收聽的播客。

用戶還可在地址欄的右側找到網頁播客按鈕，點擊后便可立即收聽AI播客。

豆包·語音播客模型能對用戶上傳的信息進行改造，使其更適合聽眾消費。例如，智東西上傳了長達2萬余字的論文本身采取了相對結構化的寫作模式，如果照搬原文行文邏輯，播客的收聽體驗將會大打折扣。

但模型并未受到原文本的影響，會以問答的形式推進播客。每個問答的長度適中，凝練的問題為聽眾提供了更為清晰的收聽體驗，不會在長篇大論中失去方向。

豆包生成的播客文稿中有大量的語氣詞、附和、停頓，這很好地模擬了真人專業博客中的口語習慣，有效提升了擬人程度。

豆包·語音播客模型所生成播客的部分文字稿

為實現上述效果，豆包·語音播客模型先是對播客這一內容形式進行了詳細的體驗拆解，分析真人對話的節奏、自然度、信息密度等維度，基于這些認知，對模型的輸出效果進行調整。

專業播客創作者也參與到了這一過程中，與模型團隊共同探索和生產高質量數據，并在評測中不斷優化模型生成的內容。

除了依賴豆包·實時語音模型在預訓練階段培養的擬人化交互能力，有監督微調（SFT）也對播客模型交互性、真實感的提升起到了重要作用。該團隊對數據進行了細致的打磨與標注，為模型學習真人交互感提供了重要參考。

三、字節加速語音能力對外輸出，合成、識別、翻譯能力全面提升

在昨日下午的AI應用分論壇上，葉順平向外界透露豆包語音模型家族未來的發展方向。在全量上線后，豆包·實時語音模型將會提供更多音色，玩法方面擴展音色克隆、歌唱能力等等。近期，豆包在歌唱場景的指令遵循、音準等屬性已迎來提升。

近期爆火的豆包·語音播客模型，已在實踐中展現出了幾大可優化的方向。未來，這一模型生成的播客信息密度會進一步提高，用于提升對話自然度的語氣詞、句式會更加多樣化，不僅只有簡單的承接，還能有觀點的交流與碰撞。

當下，豆包·語音播客模型提供了一男一女兩個音色，不過不同風格的音色已經在開發中。未來，這款模型還可能探索更為豐富的音色組合，例如給娛樂、科技等不同細分領域的播客提供不同音色，提升收聽體驗。

豆包·語音播客模型未來或將支持單口播客、多人對談播客等形式，甚至探索互動播客的形式——允許用戶在收聽過程中插話，甚至影響播客的內容走向。

通過提供種種更多的選擇，豆包·語音播客模型有望進一步釋放用戶在播客和泛音頻內容場景的消費潛力。

字節還在近期將其語音合成模型Seed-TTS升級至2.0版本，進一步提升模型表現力，提供給用戶更豐富的指令控制能力；Seed-ASR語音識別模型基座再次升級，支持更友好的上下文理解能力，識別準確率進一步提升；端到端同聲傳譯模型已經在豆包和飛書內部落地，在教育、金融、體育等等領域的中英互譯效果已媲美人類譯員。

未來，字節跳動將大力加速語音能力對外輸出。相關舉措包括全量開放豆包·實時語音模型、提供更多豆包同款音色，播客模型也有望在近期對外部客戶開放。對業內企業而言，字節語音模型家族近期的集中上新，意味著革新業務的機遇。

結語：押注下一代交互入口，字節搶占領先身位

語音交互的龐大潛力，已在業內成為共識。這一交互形態原生的沉浸感、陪伴感，使其在語音助手、AI硬件、內容制作與消費等領域展現出獨特的優勢和廣闊的應用場景。隨著生成式AI驅動的語音技術不斷進化，語音或許有望成為下一代人機交互的主要入口之一。

作為國內少數在語音模型側和語音交互產品側都占據行業領先身位的玩家，字節有望通過底層技術的持續提升和真實數據指導下的能力優化，為行業和用戶帶來更加智能、便捷和自然的語音交互體驗。