877
0
2025-10-16
2025-10-16
該論文發(fā)表于IEEE Journal of Biomedical and Health Informatics（中科院二區(qū)，IF=6.8），題目為《SEEG Emotion Recognition Based on Transformer Network With Channel Selection and Explainability》。
天津大學(xué)楊卓斌博士、司霄鵬副教授和天津市環(huán)湖醫(yī)院金衛(wèi)篷主任醫(yī)師為該論文的共同第一作者，天津大學(xué)明東教授、司霄鵬副教授、天津市環(huán)湖醫(yī)院尹紹雅主任醫(yī)師為該論文的共同通訊作者。
論文鏈接：https://ieeexplore.ieee.org/document/11068118
情緒在決策過程在社會(huì)交往中發(fā)揮著關(guān)鍵作用。難治性情緒障礙（如重度抑郁障礙）長(zhǎng)期以來(lái)一直是臨床治療的重大挑戰(zhàn)。隨著神經(jīng)科學(xué)和人工智能技術(shù)的進(jìn)步，閉環(huán)情緒調(diào)控腦機(jī)接口（BCI）有望為這一問題提供新的解決途徑。
腦電圖（EEG）作為一種非侵入性信號(hào)，具有高時(shí)間分辨率和低成本的優(yōu)勢(shì)。然而，EEG只能記錄頭皮表面的信號(hào)，且極易受到噪聲和運(yùn)動(dòng)偽跡的干擾，這使其不適合用于患者狀態(tài)的長(zhǎng)期監(jiān)測(cè)。自20世紀(jì)中葉發(fā)明以來(lái)，立體腦電圖（SEEG）已被廣泛應(yīng)用于神經(jīng)疾病的治療。與EEG等非侵入性神經(jīng)影像方法相比，SEEG具有高時(shí)間分辨率、高信噪比、更豐富的頻段信息、更高的空間分辨率等優(yōu)勢(shì)。對(duì)于難治性情緒障礙患者而言，SEEG對(duì)大腦的侵入性相對(duì)較小，所記錄的腦信號(hào)更加穩(wěn)定。
基于大腦皮層進(jìn)行情緒解碼的研究在穩(wěn)步推進(jìn)，已有許多研究表明，情緒可通過皮層腦活動(dòng)進(jìn)行解碼。SEEG在腦活動(dòng)解碼任務(wù)中同樣展現(xiàn)出獨(dú)特優(yōu)勢(shì)，深度學(xué)習(xí)方法已成為SEEG數(shù)據(jù)解碼中的主要手段，但基于SEEG的情緒信息解碼方面的研究卻略顯不足。
本研究設(shè)計(jì)了情緒視頻范式來(lái)誘發(fā)三類情緒，并收集了9名癲癇患者的SEEG數(shù)據(jù)，提出了一種基于空間Transformer的混合網(wǎng)絡(luò)（為表述方便，后文中簡(jiǎn)寫為STHN）用于情緒識(shí)別。實(shí)驗(yàn)結(jié)果表明，STHN能夠有效提取SEEG的全局空間表征，其識(shí)別性能優(yōu)于所有基線模型。同時(shí)，STHN具備自動(dòng)通道選擇能力，即使僅使用權(quán)重最高的前30%通道，識(shí)別精度也幾乎不受影響，證明其能夠聚焦于對(duì)情緒識(shí)別最關(guān)鍵的通道信號(hào)。進(jìn)一步分析發(fā)現(xiàn)，這些高權(quán)重通道主要位于額葉、顳葉和海馬等情緒相關(guān)腦區(qū)，體現(xiàn)了STHN的可解釋性，并為理解情緒識(shí)別的神經(jīng)機(jī)制提供了有益啟示。
在本研究中，SEEG數(shù)據(jù)使用BlackRock NeuroPort系統(tǒng)采集，原始采樣率為2000 Hz。原始數(shù)據(jù)通過硬件50 Hz陷波濾波器進(jìn)行濾波。此外，還收集了每位受試者術(shù)前MRI數(shù)據(jù)和術(shù)后CT數(shù)據(jù)，以確定SEEG電極的位置。
本研究選取6個(gè)正性，6個(gè)負(fù)性以及12個(gè)中性情緒視頻作為刺激材料，部分材料來(lái)源于SEED和SEED-IV數(shù)據(jù)集，其余材料則選自評(píng)分較高的電影片段（豆瓣評(píng)分）。
圖1情緒誘發(fā)實(shí)驗(yàn)的流程
整個(gè)實(shí)驗(yàn)包含三個(gè)組塊（blocks），每個(gè)組塊包含8個(gè)試次（trial）。每個(gè)試次由三個(gè)階段組成：
每個(gè)試次之間設(shè)置30秒休息時(shí)間，每個(gè)組塊持續(xù)約20分鐘。在每個(gè)組塊中，8個(gè)刺激材料包括2個(gè)正性視頻、2個(gè)負(fù)性視頻和4個(gè)中性視頻。正性與負(fù)性情緒視頻與中性視頻交替呈現(xiàn)。由于有些患者處于治療時(shí)期，不宜接觸情緒價(jià)偏低的視頻，并非所有受試者完成了三個(gè)組塊的實(shí)驗(yàn)。
對(duì)于采集到的原始SEEG信號(hào)，首先使用 50 Hz、100 Hz 和 150 Hz 陷波濾波器進(jìn)行濾波。隨后，對(duì)原始數(shù)據(jù)進(jìn)行了 1–140 Hz 的帶通濾波，然后將濾波后的數(shù)據(jù)下采樣至300Hz，并根據(jù)觸發(fā)信號(hào)將每個(gè)試驗(yàn)的數(shù)據(jù)進(jìn)行分段。對(duì)于每個(gè)試次的數(shù)據(jù)，進(jìn)行基線校正，通過減去刺激呈現(xiàn)前3秒數(shù)據(jù)的均值進(jìn)行歸一化。最終，選取步長(zhǎng)為2秒、窗口長(zhǎng)度為2秒的滑動(dòng)窗口，獲取輸入模型的數(shù)據(jù)樣本。
模型整體架構(gòu)如圖2所示，模型由局部時(shí)間特征提取器，全局空間特征提取器，高層特征提取器三部分組成，分別對(duì)應(yīng)下圖中綠色方框，紅色方框，藍(lán)色方框中內(nèi)容。
圖2 模型的整體框架圖
1. 局部時(shí)間特征提取器：局部時(shí)間特征提取器的功能是從每個(gè) SEEG 通道中提取情緒相關(guān)的時(shí)間信息。該提取器由兩個(gè)卷積模塊組成，每個(gè)模塊包含一個(gè)卷積層、一個(gè)批歸一化（BN）層、一個(gè) ReLU 激活函數(shù)層以及一個(gè)平均池化層。如果以 Conv(:) 表示卷積層，以 σ(:) 表示批歸一化層、ReLU 激活函數(shù)層和平均池化層的計(jì)算過程，則該特征提取器可表示為：
X為原始SEEG信號(hào)，Xt為經(jīng)過特征提取器后得到的特征圖。
2. 全局空間特征提取器：在輸入空間Transformer之前，Xt首先經(jīng)過一個(gè)卷積模塊。該模塊旨在提取全局時(shí)間特征，同時(shí)保留通道之間的依賴關(guān)系。其結(jié)構(gòu)包括一個(gè)卷積層、一個(gè)BN層、一個(gè)ReLU激活函數(shù)層以及在時(shí)間維度上的全局平均池化層。該模塊的卷積層計(jì)算過程記為Conv3(:)，其余操作記為γ(:)。此外，還在特征圖中加入一個(gè)可學(xué)習(xí)向量xl，用于與每個(gè)通道向量計(jì)算相關(guān)性。同時(shí)，添加一個(gè)可學(xué)習(xí)的位置向量Xpos到特征圖中，以保留各通道的相對(duì)位置信息。上述過程可表示為：
其中，S作為Transformer編碼器的輸入。
Transformer編碼器由兩個(gè)模塊組成：多頭自注意力機(jī)制（MSA）和前饋神經(jīng)網(wǎng)絡(luò)。每個(gè)模塊都應(yīng)用了層歸一化（LN）和殘差連接自注意力（SA）使模型在處理多通道數(shù)據(jù)時(shí)，能夠關(guān)注不同通道位置上的重要信息。SA可以描述為在查詢向量Q、鍵向量K和值向量V之間計(jì)算縮放點(diǎn)積注意力，其公式如下：
其中，Q和K的維度設(shè)為dk，而V的維度設(shè)為dv。它們對(duì)應(yīng)的映射矩陣分別為
。
與SA 相比，MSA（多頭注意力）提供了并行計(jì)算的優(yōu)勢(shì)，并且在捕獲全局和局部特征差異方面具有更強(qiáng)的能力。MSA的計(jì)算過程如下所示：
其中映射矩陣 
，h表示MSA的頭數(shù)。空間Transformer的完整計(jì)算過程如下：
其中S2表示信號(hào)通過空間Transformer后得到的特征圖。
3. 高層特征提取器：該特征提取器由一個(gè)深度卷積層（depth convolution layer）、一個(gè) BN 層、一個(gè) ReLU 激活函數(shù)層以及一個(gè)全局平均池化（GAP）層組成。輸入該模塊的特征首先會(huì)與空間Transformer中學(xué)到的通道注意力權(quán)重相乘。這種乘法操作使得模型能夠更加關(guān)注具有較高權(quán)重的通道。隨后，該模塊利用全局空間卷積提取關(guān)鍵的空間高層信息。該模塊的計(jì)算過程如下：
其中
，C表示輸入信號(hào)的通道數(shù)，通過選取自注意力矩陣第一行中，從第一列到第C+1列數(shù)據(jù)得到通道注意力權(quán)重得到。最后將空間 Transformer 中學(xué)到的可學(xué)習(xí)向量xl重新提取出來(lái)，與Xss拼接。隨后，三類情緒的概率輸出通過一個(gè) MLP 實(shí)現(xiàn)。整個(gè)分類過程如下所示：
本研究中數(shù)據(jù)集采用留一分段交叉驗(yàn)證進(jìn)行構(gòu)建，即將受試者觀看每個(gè)視頻時(shí)采集的SEEG 數(shù)據(jù)按照時(shí)間順序劃分為五組，每組數(shù)據(jù)用作一次測(cè)試集，其余四組數(shù)據(jù)作為訓(xùn)練集。此外，隨機(jī)選取訓(xùn)練集數(shù)據(jù)的20%作為驗(yàn)證集。該過程重復(fù)五次，以確保每組數(shù)據(jù)都被用作一次測(cè)試集。
圖3 數(shù)據(jù)集劃分示意圖
本研究中，對(duì)于深度學(xué)習(xí)模型使用 Python 3.10 和 PyTorch 1.12 實(shí)現(xiàn)，并在 GeForce RTX 3090 GPU 上運(yùn)行。對(duì)于機(jī)器學(xué)習(xí)模型，結(jié)合網(wǎng)格搜索與交叉驗(yàn)證來(lái)評(píng)估不同參數(shù)組合的性能，并選取在驗(yàn)證集上準(zhǔn)確率最高的參數(shù)組合，在測(cè)試集上進(jìn)行最終測(cè)試。
九名受試者的SEEG信號(hào)基線模型和所提出的STHN模型性能對(duì)比如表1所示。總體來(lái)看，深度學(xué)習(xí)算法在情緒識(shí)別中的準(zhǔn)確率高于機(jī)器學(xué)習(xí)算法。STHN在情緒識(shí)別準(zhǔn)確率方面優(yōu)于所有基線模型。此外，STHN在所有受試者上的準(zhǔn)確率均超過80%，其中在受試者S8上更是超過90%。同時(shí)，STHN的標(biāo)準(zhǔn)差最低，表明其在跨受試者的情緒識(shí)別中具有更高的穩(wěn)定性。
表1 使用不同方法的準(zhǔn)確率
表2 使用不同模塊模型的準(zhǔn)確率
本研究通過消融實(shí)驗(yàn)評(píng)估了STHN各組件對(duì)情緒識(shí)別的影響（表2）。完整模型效果最佳；移除Transformer權(quán)重共享機(jī)制性能下降0.6%，而移除空間Transformer則顯著下降12.1%。結(jié)果表明，空間Transformer在捕捉SEEG通道間判別性情緒信息方面具有重要作用。
圖4 受試者不同電極權(quán)重可視化
圖4展示了受試者S1的電極植入情況，權(quán)重大于0.6的觸點(diǎn)顯示為紅色。“L”代表左側(cè)，“A”代表前側(cè)，“R”代表右側(cè)。可見SEEG通道呈稀疏性，只有少數(shù)通道權(quán)重較高。為驗(yàn)證高權(quán)重通道的有效性，本文以10%為間隔，選取各受試者權(quán)重排名前10%至100%的通道作為輸入進(jìn)行實(shí)驗(yàn)，并采用Wilcoxon符號(hào)秩檢驗(yàn)。結(jié)果（圖5）表明，當(dāng)通道比例從前10%增至30%時(shí)性能顯著提升，而超過30%后不再顯著增加。進(jìn)一步驗(yàn)證（圖6）顯示，除SVM外，其余對(duì)比模型在僅使用前30%通道時(shí)與使用全部通道相比準(zhǔn)確率無(wú)顯著差異，說(shuō)明STHN篩選的前30%通道具有代表性與有效性。圖5和圖6中*代表結(jié)果在95%的置信區(qū)間下顯著。
圖5 按權(quán)重，選取不同百分比SEEG通道時(shí)模型的準(zhǔn)確率
圖6 不同方法使用權(quán)重前30%通道與100%通道對(duì)比
不同受試者的SEEG電極植入位置差異顯著，這種個(gè)體特異性給數(shù)據(jù)處理與分析帶來(lái)了挑戰(zhàn)。為確保研究結(jié)果的普適性，當(dāng)某一腦區(qū)在至少四位受試者中屬于前30%高權(quán)重通道所在位置時(shí)，該腦區(qū)才被納入后續(xù)分析。此標(biāo)準(zhǔn)確保了所篩選出的腦區(qū)在不同個(gè)體中具有較高的出現(xiàn)頻率，能夠反映穩(wěn)定的神經(jīng)活動(dòng)模式，從而提升研究的可信度。
篩選結(jié)果如表3和圖7所示。表3列出了篩選出的腦區(qū)及其對(duì)應(yīng)的受試者，而圖7借助可視化技術(shù)直觀展示了這些腦區(qū)在大腦中的位置。結(jié)果表明，當(dāng)受試者情緒被誘發(fā)時(shí)，右海馬、右額上回、右額中回吻側(cè)部及右顳中回表現(xiàn)出顯著的激活。這些腦區(qū)在情緒神經(jīng)活動(dòng)中具有重要意義。
圖7 篩選出的腦區(qū)在大腦中對(duì)應(yīng)位置
表三 篩選的腦區(qū)及與腦區(qū)對(duì)應(yīng)的受試者
本研究提出的STHN模型在SEEG情緒識(shí)別任務(wù)中表現(xiàn)優(yōu)異，驗(yàn)證了SEEG在臨床情緒解碼中的可行性與應(yīng)用潛力。通過注意力權(quán)重分析，模型能夠從全部通道中篩選出對(duì)情緒識(shí)別貢獻(xiàn)較大的少量通道，僅使用前30%權(quán)重通道即可保持接近使用全部通道的識(shí)別精度，體現(xiàn)了其有效的通道選擇能力。進(jìn)一步的可解釋性分析發(fā)現(xiàn)，STHN自動(dòng)聚焦于海馬、額上回、額中回頭端部和顳中回等關(guān)鍵腦區(qū)，這些區(qū)域與情緒感知、調(diào)控密切相關(guān)，印證了模型的合理性和科學(xué)性。同時(shí)，結(jié)果也提示情緒解碼更依賴右半球腦區(qū)，這與“右腦優(yōu)勢(shì)”理論一致。盡管如此，本研究仍存在受試者數(shù)量有限、SEEG植入腦區(qū)覆蓋不足以及腦區(qū)定位精細(xì)度不足等局限，未來(lái)需要在更大規(guī)模樣本和更精細(xì)腦區(qū)層面開展研究，以進(jìn)一步提升情緒識(shí)別性能和應(yīng)用價(jià)值。
撰稿人：陳俊文
審稿人：高煒
