新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】SeReNet是一個(gè)物理驅(qū)動(dòng)的自監(jiān)督三維重建網(wǎng)絡(luò)，能在毫秒級(jí)速度下實(shí)現(xiàn)高保真、高分辨率的光場(chǎng)三維重建，擺脫了對(duì)標(biāo)簽數(shù)據(jù)的依賴，顯著提升了活體成像的效率和質(zhì)量。

細(xì)胞是生命最基本的構(gòu)造單元，而它們的諸多功能以及細(xì)胞間復(fù)雜精密的交互作用，往往只有在活體動(dòng)物的真實(shí)生理與病理狀態(tài)下才能完整展現(xiàn)，難以在體外實(shí)驗(yàn)中真實(shí)復(fù)現(xiàn)。

因此，若能在活體內(nèi)、原位、長(zhǎng)時(shí)程地實(shí)現(xiàn)對(duì)大規(guī)模細(xì)胞群體的高速、高分辨率三維成像，將為我們深入理解腦科學(xué)、免疫調(diào)控、藥物反應(yīng)等復(fù)雜生命過程提供前所未有的全景視角，有望揭示生命活動(dòng)中尚未被觀測(cè)的關(guān)鍵細(xì)節(jié)，開啟生物醫(yī)學(xué)觀測(cè)的全新時(shí)代。

近年來(lái)，隨著原理層面的突破，計(jì)算成像技術(shù)逐步興起，徹底改變了傳統(tǒng)「所見即所得」的成像范式。

傳統(tǒng)光學(xué)系統(tǒng)本質(zhì)上是一種明文傳輸，場(chǎng)景信息直接映射至圖像傳感器，類比于香農(nóng)信息論中的經(jīng)典信道，其信息傳遞效率受限。

計(jì)算成像實(shí)現(xiàn)了從「光」到「算」的根本躍遷，將場(chǎng)景視為信源，通過前端光學(xué)編碼器進(jìn)行冗余調(diào)控，再利用后端重建算法還原場(chǎng)景。

基于場(chǎng)景的稀疏性、低維性與結(jié)構(gòu)先驗(yàn)，計(jì)算成像能夠?qū)崿F(xiàn)更高信息壓縮率與更強(qiáng)魯棒性，在大規(guī)模神經(jīng)活動(dòng)、免疫反應(yīng)、腫瘤微環(huán)境等復(fù)雜生物場(chǎng)景中展現(xiàn)出卓越的成像潛力。

然而，隨著重建精度的不斷提升，數(shù)據(jù)處理效率成為制約成像系統(tǒng)實(shí)用化的關(guān)鍵瓶頸。

盡管有監(jiān)督深度神經(jīng)網(wǎng)絡(luò)可在一定程度上加速重建過程，但其泛化能力受限，尤其在面對(duì)樣本分布劇烈變化的實(shí)際場(chǎng)景時(shí)，往往需重新訓(xùn)練，極大限制了其在生命科學(xué)中的通用性。

如何在保持高保真、高分辨的同時(shí)，實(shí)現(xiàn)對(duì)不同樣本、不同噪聲條件下三維結(jié)構(gòu)的實(shí)時(shí)重建，依然是制約計(jì)算成像顯微鏡廣泛應(yīng)用的核心障礙。

最近，清華大學(xué)研究團(tuán)隊(duì)首次提出了物理驅(qū)動(dòng)的自監(jiān)督三維重建網(wǎng)絡(luò)SeReNet，以毫秒級(jí)速度實(shí)現(xiàn)對(duì)非配對(duì)數(shù)據(jù)下的高保真、高分辨率光場(chǎng)三維重建，同時(shí)徹底擺脫了傳統(tǒng)監(jiān)督學(xué)習(xí)對(duì)標(biāo)簽數(shù)據(jù)的依賴。

論文鏈接：https://www.nature.com/articles/s41592-025-02698-z

SeReNet通過構(gòu)建一套物理一致性驅(qū)動(dòng)的優(yōu)化框架，在訓(xùn)練過程中逐步縮小網(wǎng)絡(luò)預(yù)測(cè)的重投影與原始采集數(shù)據(jù)之間的差異，將光學(xué)成像過程中的物理先驗(yàn)（如多角度幾何、點(diǎn)擴(kuò)散函數(shù)等）深度融合進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)。

網(wǎng)絡(luò)的學(xué)習(xí)過程不再依賴靜態(tài)的樣本映射，而是從數(shù)據(jù)本身出發(fā)，在物理約束下進(jìn)行結(jié)構(gòu)化學(xué)習(xí)，確保模型始終忠實(shí)于原始采集所承載的真實(shí)場(chǎng)景。

該研究由清華大學(xué)自動(dòng)化系博士后盧志、復(fù)旦大學(xué)未來(lái)信息創(chuàng)新學(xué)院與上海創(chuàng)智學(xué)院聯(lián)合培養(yǎng)博士生金滿昌共同一作完成，清華大學(xué)戴瓊海教授、吳嘉敏副教授，天津大學(xué)楊敬鈺教授為共同通訊作者。

SeReNet原理

光場(chǎng)顯微鏡的工作原理可被理解為一種多視角和離焦模糊的組合采樣，其本質(zhì)是在同一曝光中從多個(gè)視角同時(shí)獲取樣本的光場(chǎng)投影。

SeReNet受「數(shù)字重聚焦」思想啟發(fā)，首先將這些視角信息基于幾何方向反投影對(duì)齊到三維空間中（深度解碼模塊），再通過三維卷積網(wǎng)絡(luò)融合視角間信息并去模糊重建三維體。

SeReNet原理

訓(xùn)練過程中，SeReNet采用真實(shí)的物理點(diǎn)擴(kuò)散函數(shù)（PSF）將三維預(yù)測(cè)投影回4D光場(chǎng)觀測(cè)域，并以此為監(jiān)督信號(hào)優(yōu)化網(wǎng)絡(luò)參數(shù)，形成封閉的「物理感知—預(yù)測(cè)重建—光學(xué)重投影—誤差反饋」閉環(huán)，從而實(shí)現(xiàn)無(wú)需標(biāo)簽數(shù)據(jù)的自監(jiān)督高精度重建。

在標(biāo)準(zhǔn)分辨率（429×429×101）下，SeReNet實(shí)現(xiàn)了每秒約20幀的高速三維重建性能，將計(jì)算速度提升了數(shù)百倍。

在實(shí)際的活體成像中，為降低光毒性并維持長(zhǎng)時(shí)程觀測(cè)，激光強(qiáng)度必須受到嚴(yán)格限制，過強(qiáng)則會(huì)引發(fā)熒光漂白或蛋白失活，同時(shí)由于活體中細(xì)胞的高速運(yùn)動(dòng)、節(jié)律性震動(dòng)以及深層組織引發(fā)的光學(xué)像差，傳統(tǒng)方法極易出現(xiàn)重建失真與偽影。

SeReNet對(duì)此進(jìn)行了全鏈路建模：對(duì)成像過程中的高斯-泊松復(fù)合噪聲進(jìn)行建模仿真，引入相位相關(guān)性實(shí)現(xiàn)多角度數(shù)字像差預(yù)矯正，并自動(dòng)檢測(cè)場(chǎng)景中劇烈運(yùn)動(dòng)區(qū)域進(jìn)行動(dòng)態(tài)抑制，使得其在多種復(fù)雜干擾下仍可輸出穩(wěn)定、可靠的三維結(jié)構(gòu)。

為驗(yàn)證泛化性能，研究團(tuán)隊(duì)在完全仿真的極端數(shù)據(jù)集（微球、氣泡、微管）上訓(xùn)練SeReNet，在多種真實(shí)生物樣本中進(jìn)行推理測(cè)試，依然表現(xiàn)出優(yōu)異的重建效果，證明了其出色的樣本遷移能力與跨場(chǎng)景適應(yīng)性。

鼠肝損傷實(shí)驗(yàn)中免疫細(xì)胞和內(nèi)皮細(xì)胞之間的行為記錄

在真實(shí)的生命實(shí)驗(yàn)中，SeReNet同樣展現(xiàn)出非凡價(jià)值。研究團(tuán)隊(duì)利用其對(duì)小鼠肝損傷模型進(jìn)行了三維動(dòng)態(tài)監(jiān)測(cè)，發(fā)現(xiàn)肝臟缺血再灌注（LIRI）手術(shù)后，中性粒細(xì)胞數(shù)量顯著上升，并觀測(cè)到中性粒細(xì)胞被巨噬細(xì)胞牽引并吞噬的罕見交互行為。

在另一藥物性肝損傷模型（AILF）中，SeReNet則首次清晰記錄到CD63+內(nèi)皮細(xì)胞與單核細(xì)胞之間的精準(zhǔn)接觸與粘附過程，提示其可能為藥物誘導(dǎo)肝衰竭的重要信號(hào)通路。這一發(fā)現(xiàn)或?qū)楦尾「深A(yù)策略提供全新靶點(diǎn)與診斷窗口。

斑馬魚幼蟲剪尾手術(shù)和對(duì)照組全身免疫細(xì)胞活動(dòng)路徑追蹤

更為震撼的是，在長(zhǎng)時(shí)程免疫研究中，SeReNet的算力突破令大規(guī)模時(shí)空追蹤成為現(xiàn)實(shí)。團(tuán)隊(duì)對(duì)斑馬魚幼蟲尾部創(chuàng)傷后的免疫反應(yīng)進(jìn)行了連續(xù)48小時(shí)成像，累計(jì)產(chǎn)生超過34萬(wàn)幀的數(shù)據(jù)。

傳統(tǒng)方法預(yù)計(jì)重建耗時(shí)需兩年，而SeReNet在一周內(nèi)即完成全部數(shù)據(jù)的三維重建，堪稱「科研加速器」，真正打通了實(shí)驗(yàn)數(shù)據(jù)獲取與重建分析之間的最后一道瓶頸。

總結(jié)

這項(xiàng)研究不僅在方法論上提供了從光學(xué)物理到神經(jīng)網(wǎng)絡(luò)的系統(tǒng)融合范式，更在實(shí)用層面推動(dòng)了高維生物成像技術(shù)從實(shí)驗(yàn)室走向臨床與生命科研的關(guān)鍵一步。

物理模型與AI算法的深度協(xié)同，不僅賦予了計(jì)算成像前所未有的速度與準(zhǔn)確性，也為解碼復(fù)雜生命過程提供了更精密的顯微「語(yǔ)言」。

SeReNet的誕生，不只是一次成像技術(shù)的飛躍，更是生命科學(xué)與智能算法融合創(chuàng)新的里程碑。

參考資料：

https://www.nature.com/articles/s41592-025-02698-z