撰文丨王聰

編輯丨王多魚(yú)

排版丨水成文

在皮膚疾病的診斷和管理方面，充分利用人工智能（AI）的潛力迫在眉睫。盡管深度學(xué)習(xí)已展現(xiàn)出卓越的性能，常常能與皮膚科醫(yī)生相媲美甚至超越，但目前用于皮膚科的 AI 模型仍局限于孤立的任務(wù)（例如從皮膚鏡圖像中診斷皮膚癌）。這些模型難以整合各種數(shù)據(jù)類(lèi)型和成像模式，從而降低了其在不同實(shí)際臨床環(huán)境中的實(shí)用性。

皮膚科與內(nèi)科一樣，本質(zhì)上十分復(fù)雜，涵蓋了從常見(jiàn)皮膚病到危及生命的惡性腫瘤等廣泛的病癥，因此需要一種全面的、以患者為中心的方法，將各種臨床工作流程整合起來(lái)。

2025 年 6 月 6 日，澳大利亞莫納什大學(xué)戈宗元團(tuán)隊(duì)（博士生燕思遠(yuǎn)為第一作者）在Nature Medicine期刊發(fā)表了題為 ： A multimodal vision foundation model for clinical dermatology 的研究論文。

該研究開(kāi)發(fā)了一種用于臨床皮膚科的多模態(tài)視覺(jué)基礎(chǔ)模型——PanDerm，其在 包括皮膚癌篩查、風(fēng)險(xiǎn)分層、常見(jiàn)和罕見(jiàn)皮膚疾病的鑒別診斷、病變分割、縱向監(jiān)測(cè)以及轉(zhuǎn)移預(yù)測(cè)和預(yù)后在內(nèi)的 28 種的基準(zhǔn)測(cè)試中達(dá)到了最先進(jìn)的性能，并在 3 向臨床測(cè)試中超越了臨床醫(yī)生——在早期黑色素瘤檢測(cè)方面優(yōu)于臨床醫(yī)生、提高了臨床醫(yī)生在皮膚癌診斷中的準(zhǔn)確性、支持非 皮膚科醫(yī)生進(jìn)行 各種皮膚病鑒別診斷。

這些結(jié)果表明，PanDerm 模型在各種臨床場(chǎng)景中都有改善患者護(hù)理的潛力，并可作為在其他醫(yī)學(xué)專(zhuān)科開(kāi)發(fā)多模態(tài)基礎(chǔ)模型的范例，有可能加快 AI 在醫(yī)療保健領(lǐng)域的支持整合。

歡迎進(jìn)群分享/討論生物醫(yī)學(xué)領(lǐng)域 AI 智能體研究進(jìn)展

在臨床實(shí)踐中，診斷和治療皮膚疾病涉及一系列任務(wù)，包括全身皮膚癌檢測(cè)和風(fēng)險(xiǎn)評(píng)估、對(duì)諸如炎癥性皮膚病和色素性病變等數(shù)百種皮膚科疾病的鑒別診斷、多模式圖像分析、病理學(xué)解讀、監(jiān)測(cè)病變變化以及預(yù)測(cè)結(jié)果。目前，缺乏能夠支持這些不同工作流程的集成式 AI 解決方案，這阻礙了 AI 在皮膚科的實(shí)際應(yīng)用效果。基礎(chǔ)模型的最新進(jìn)展已成為應(yīng)對(duì)這一挑戰(zhàn)的一個(gè)有前景的方向。

基礎(chǔ)模型是通過(guò)在海量、多樣的數(shù)據(jù)上使用自監(jiān)督學(xué)習(xí)技術(shù)進(jìn)行預(yù)訓(xùn)練的大規(guī)模神經(jīng)網(wǎng)絡(luò)，通常利用弱標(biāo)注或未標(biāo)注的數(shù)據(jù)。這些模型基于豐富的知識(shí)表示構(gòu)建而成，在眼科、放射科和病理學(xué)等醫(yī)學(xué)領(lǐng)域展現(xiàn)出了令人矚目的性能。通過(guò)在大量且多樣化的數(shù)據(jù)上進(jìn)行全面的預(yù)訓(xùn)練，這些模型形成了多用途的表征，能夠有效地適應(yīng)各種臨床場(chǎng)景，在下游任務(wù)中超越了以往的深度學(xué)習(xí)模型。它們強(qiáng)大的特征表示能力還使得應(yīng)用能夠更高效地利用數(shù)據(jù)，需要的標(biāo)注樣本更少，這對(duì)于專(zhuān)家標(biāo)注數(shù)據(jù)往往有限的醫(yī)療領(lǐng)域來(lái)說(shuō)尤為重要。

然而，為皮膚病學(xué)開(kāi)發(fā)有效的基礎(chǔ)模型面臨著獨(dú)特的挑戰(zhàn)。基礎(chǔ)模型的性能本質(zhì)上與其參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)規(guī)模相關(guān)聯(lián)。在通用計(jì)算機(jī)視覺(jué)領(lǐng)域，基礎(chǔ)模型是在諸如 ImageNet 或 JFT-300M 這樣的大規(guī)模數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的，而大多數(shù)現(xiàn)有的皮膚科 AI 模型仍依賴(lài)這些模型進(jìn)行下游任務(wù)的適配。一些研究工作專(zhuān)門(mén)針對(duì)皮膚科的自監(jiān)督學(xué)習(xí)，利用公共數(shù)據(jù)集或網(wǎng)絡(luò)來(lái)源的皮膚圖像展開(kāi)。然而，這些方法常常受到數(shù)據(jù)集規(guī)模、多樣性或缺乏真實(shí)患者數(shù)據(jù)的限制。此外，盡管近期醫(yī)學(xué)基礎(chǔ)模型在多個(gè)專(zhuān)科領(lǐng)域展現(xiàn)出了前景，但它們?nèi)詿o(wú)法完全滿足皮膚病學(xué)的獨(dú)特需求。特定專(zhuān)業(yè)的基礎(chǔ)模型通常專(zhuān)注于單一的成像模式，而通用的生物醫(yī)學(xué)模型盡管涵蓋范圍廣泛，但在處理特定領(lǐng)域的數(shù)據(jù)稀缺以及整合異質(zhì)性模式以進(jìn)行全面臨床分析方面存在困難。

在這項(xiàng)最新研究中，研究團(tuán)隊(duì)開(kāi)發(fā)了一種通用的、多模態(tài)皮膚科基礎(chǔ)模型——PanDerm。PanDerm 系統(tǒng)經(jīng)過(guò)獨(dú)特設(shè)計(jì)，能夠整合多種成像模式，它基于來(lái)自多個(gè)國(guó)家 11 家機(jī)構(gòu)的超過(guò) 200 萬(wàn)張圖像進(jìn)行了預(yù)訓(xùn)練，涵蓋了 4 種成像模式（三維全身攝影分塊圖像、臨床圖像、皮膚鏡圖像、皮膚病理切片），涉及多種皮膚科疾病。在預(yù)訓(xùn)練階段，PanDerm 采用掩碼潛在建模和對(duì)比語(yǔ)言-圖像預(yù)訓(xùn)練（CLIP）特征對(duì)齊進(jìn)行自監(jiān)督學(xué)習(xí)，與現(xiàn)有的自監(jiān)督算法相比，展現(xiàn)出更出色的數(shù)據(jù)可擴(kuò)展性和訓(xùn)練效率。該模型實(shí)現(xiàn)了全身皮膚影像檢查（TBP）以及臨床、皮膚鏡和皮膚病理學(xué)圖像的統(tǒng)一表示學(xué)習(xí)，從而能夠在各種臨床工作流程中對(duì)患者進(jìn)行全面分析。

具體來(lái)說(shuō)，PanDerm 是一個(gè)通過(guò)自監(jiān)督學(xué)習(xí)在來(lái)自 11 家臨床機(jī)構(gòu)的涉及 4 種成像模式的 200 多萬(wàn)張真實(shí)世界皮膚疾病圖像上進(jìn)行預(yù)訓(xùn)練的多模態(tài)皮膚科基礎(chǔ)模型。

研究團(tuán)隊(duì)在 28 個(gè)不同的基準(zhǔn)測(cè)試中對(duì) PanDerm 進(jìn)行了評(píng)估，包括皮膚癌篩查、風(fēng)險(xiǎn)分層、常見(jiàn)和罕見(jiàn)皮膚疾病的鑒別診斷、病變分割、縱向監(jiān)測(cè)以及轉(zhuǎn)移預(yù)測(cè)和預(yù)后。PanDerm 在所有評(píng)估任務(wù)中均達(dá)到了最先進(jìn)的性能，通常在僅使用 10% 的標(biāo)注數(shù)據(jù)時(shí)就超過(guò)了現(xiàn)有的模型。

研究團(tuán)隊(duì)進(jìn)一步評(píng)估了 PanDerm 模型的潛在臨床效用。通過(guò)縱向分析，PanDerm 模型在早期黑色素瘤檢測(cè)中的表現(xiàn)比臨床醫(yī)生高出 10.2%；在皮膚鏡圖像分析中使臨床醫(yī)生的皮膚癌診斷準(zhǔn)確率提升 11%；針對(duì)臨床照片中 128 種皮膚病癥的鑒別診斷，該模型使非皮膚科醫(yī)生醫(yī)療人員的診斷準(zhǔn)確率提升 16.5%。

這些結(jié)果表明，PanDerm 模型在各種臨床場(chǎng)景中都有改善患者護(hù)理的潛力，并可作為在其他醫(yī)學(xué)專(zhuān)科開(kāi)發(fā)多模態(tài)基礎(chǔ)模型的范例，有可能加快 AI 在醫(yī)療保健領(lǐng)域的支持整合。

論文鏈接：

https://www.nature.com/articles/s41591-025-03747-y