206
0
2025-12-16
2025-12-16
近日，團(tuán)隊(duì)2024級(jí)研究生崔江渝等在梁艷老師和潘家輝老師的共同指導(dǎo)下，與華南師范大學(xué)心理學(xué)院、廣州華美英語(yǔ)實(shí)驗(yàn)學(xué)校合作，其研究成果“MSDM: A Lightweight Multi-Scale Dynamic Mamba for Dynamic Facial Expression Recognition in Smart Classrooms”被人工智能領(lǐng)域國(guó)際頂級(jí)期刊IEEE Transactions on Affective Computing（JCR Q1，中科院大類學(xué)科計(jì)算機(jī)科學(xué)一區(qū)TOP，IF：9.8）接收。該論文自2025年7月25日提交，于2025年12月16日被正式接收。
1. 研究背景
動(dòng)態(tài)面部表情識(shí)別技術(shù)在課堂互動(dòng)中發(fā)揮著重要作用，能夠?qū)崟r(shí)反映學(xué)生的情緒狀態(tài)，為個(gè)性化教學(xué)提供有力支持。與語(yǔ)音、文本等情緒識(shí)別方式相比，面部表情具有直觀、自然的特點(diǎn)，便于在真實(shí)課堂環(huán)境中無(wú)接觸采集。動(dòng)態(tài)面部表情識(shí)別通過(guò)捕捉表情的時(shí)序變化，能夠更準(zhǔn)確地反映情緒演變過(guò)程，在情感計(jì)算與教育智能交互領(lǐng)域具有獨(dú)特價(jià)值。然而，現(xiàn)有動(dòng)態(tài)面部表情識(shí)別模型仍存在兩方面的局限：一方面，輕量級(jí)模型的識(shí)別精度不足；另一方面，高精度模型的計(jì)算復(fù)雜度高，難以在教室場(chǎng)景中實(shí)時(shí)部署。同時(shí)，現(xiàn)有方法對(duì)長(zhǎng)時(shí)間表情序列的建模能力有限，未能充分挖掘表情動(dòng)態(tài)演變中的時(shí)序依賴關(guān)系。因此，構(gòu)建兼顧效率與精度的動(dòng)態(tài)表情識(shí)別模型，對(duì)于推動(dòng)智能課堂情感交互具有重要意義。
2. 方法和結(jié)果
在本研究中，我們提出了一種新穎的輕量級(jí)動(dòng)態(tài)面部表情識(shí)別框架——多尺度動(dòng)態(tài)Mamba（MSDM），如圖1所示。該模型結(jié)合了多尺度注意力融合模塊（MSAFM），以有效整合全局與局部面部特征，并引入動(dòng)態(tài)時(shí)序聚焦機(jī)制（DTF）來(lái)增強(qiáng)對(duì)長(zhǎng)期面部表情動(dòng)態(tài)的建模。這些組件協(xié)同工作，能夠在減少背景干擾的同時(shí)突出關(guān)鍵的面部肌肉運(yùn)動(dòng)。此外，我們提出了雙分辨率雙向Mamba（DR Bi-Mamba）塊，可并行處理高分辨率和低分辨率面部圖像，實(shí)現(xiàn)從粗到細(xì)的特征提取。這種受生物啟發(fā)的策略通過(guò)有效融合全局上下文與局部細(xì)節(jié)，增強(qiáng)了模型的魯棒性。
實(shí)驗(yàn)結(jié)果表明，MSDM模型在四個(gè)公共動(dòng)態(tài)表情識(shí)別數(shù)據(jù)集（DFEW，F(xiàn)ERV39k，MAFW，AFEW）上取得了最佳性能，加權(quán)平均召回率（WAR）分別為74.71%，52.60%，56.16%，57.48%。在兩個(gè)公開(kāi)的靜態(tài)表情識(shí)別數(shù)據(jù)集（SFEW，RAF - DB）上也表現(xiàn)優(yōu)秀，識(shí)別率分別達(dá)到了61.95%，90.06%。
圖1 多尺度動(dòng)態(tài)Mamba (MSDM)架構(gòu)
圖2 HM-Class數(shù)據(jù)集上四種表情示例
我們還構(gòu)建了一個(gè)新的課堂動(dòng)態(tài)表情數(shù)據(jù)集HM - Class，將課堂常見(jiàn)的情緒劃分為專注、理解、感興趣和分心四類（如圖2所示），然后在我們的模型和現(xiàn)有的自監(jiān)督模型上進(jìn)行訓(xùn)練測(cè)試。我們的方法優(yōu)于其他模型，UAR值和WAR值達(dá)到了86.23%和93.01%的最佳水平（見(jiàn)表1）。
表1 不同模型在HM-Class數(shù)據(jù)集上的比較
3. 總結(jié)
本研究針對(duì)智慧教室場(chǎng)景，提出了一種輕量級(jí)自監(jiān)督動(dòng)態(tài)面部表情識(shí)別框架——MSDM。為克服現(xiàn)有方法的局限性，MSDM引入了3種創(chuàng)新性的模塊：多尺度注意力融合模塊、動(dòng)態(tài)時(shí)序聚焦機(jī)制和雙分辨率雙向Mamba模塊，實(shí)現(xiàn)了性能與效率之間的最優(yōu)平衡。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的自監(jiān)督架構(gòu)相比，MSDM在六個(gè)公共數(shù)據(jù)集及我們新建的課堂情感數(shù)據(jù)集上均取得了更優(yōu)的性能，同時(shí)所需參數(shù)量顯著減少，GPU消耗更低。在未來(lái)的工作中，我們計(jì)劃使用更大規(guī)模的模型變體探索MSDM的擴(kuò)展性，并在更廣泛、更多樣的數(shù)據(jù)集上驗(yàn)證其泛化能力。
