本發(fā)明屬于醫(yī)學(xué)圖像處理機(jī)人工智能,特別是涉及到一種基于改進(jìn)yolov8n-seg模型的腦腫瘤分割方法。
背景技術(shù):
1、腦腫瘤作為一種嚴(yán)重威脅人類生命健康的重大疾病,其早期、精準(zhǔn)的檢測(cè)對(duì)提升臨床診斷的準(zhǔn)確性及治療效果具有重要意義。目前,磁共振成像(mri)作為腦腫瘤檢測(cè)的主要成像手段,廣泛應(yīng)用于臨床。然而,傳統(tǒng)mri圖像的分析主要依賴醫(yī)生的人工評(píng)估,受限于腦腫瘤在不同患者之間在大小、形狀及種類等方面的高度異質(zhì)性,該過程往往需要大量人工干預(yù),不僅加重了醫(yī)務(wù)人員的工作負(fù)擔(dān),也可能因主觀判斷造成誤診或漏診。近年來,深度學(xué)習(xí)技術(shù),尤其是卷積神經(jīng)網(wǎng)絡(luò)(cnn)在醫(yī)學(xué)圖像處理領(lǐng)域取得了顯著進(jìn)展。特別是基于yolo(you?only?look?once)架構(gòu)的模型,憑借其高效的目標(biāo)檢測(cè)和實(shí)例分割能力,在醫(yī)學(xué)圖像分割任務(wù)中逐漸受到關(guān)注。然而,現(xiàn)有基于yolo架構(gòu)的模型在處理腦腫瘤mri圖像時(shí)仍存在一些局限性,例如模型結(jié)構(gòu)復(fù)雜、計(jì)算資源需求高,以及在面對(duì)復(fù)雜背景和邊界模糊的病灶時(shí)分割精度有限。
2、例如,bonagiri?dinesh?kumar?reddy?等人提出了一種基于yolov8的深度學(xué)習(xí)模型,應(yīng)用于mri圖像中腦腫瘤的檢測(cè)與分類。他們的研究表明,yolov8在目標(biāo)檢測(cè)任務(wù)中表現(xiàn)優(yōu)異,其變體yolov8n-seg也在圖像分割方面展現(xiàn)出一定潛力,但仍存在模型重量大、對(duì)細(xì)粒度結(jié)構(gòu)分割能力不足等問題。此外,ming?kang?等人提出的?asf-yolo?模型針對(duì)細(xì)胞實(shí)例分割任務(wù)進(jìn)行了結(jié)構(gòu)性優(yōu)化,引入了注意力尺度序列融合(ssff)模塊、三重特征編碼(tfe)模塊以及通道與位置注意機(jī)制(cpam),顯著提升了小目標(biāo)分割的性能。這些結(jié)構(gòu)性改進(jìn)對(duì)腦腫瘤mri圖像的分割任務(wù)亦具有一定的參考價(jià)值。在另一項(xiàng)研究中,maram?fahaadalmufareh?等人提出了一種基于yolo架構(gòu)的腦腫瘤分割方法,專注于腦膜瘤、膠質(zhì)瘤和垂體瘤三類腫瘤的檢測(cè)。其方法結(jié)合了yolov5與yolov7,分別處理邊界框檢測(cè)和掩碼分割任務(wù),并融合了先進(jìn)的圖像預(yù)處理策略以提升檢測(cè)精度。pankaj?kasar?等人則基于經(jīng)典的u-net?和?segnet?架構(gòu),提出了兩種適用于mri圖像腦腫瘤自動(dòng)分割的卷積神經(jīng)網(wǎng)絡(luò)方法。其中,u-net?以其對(duì)稱的編碼-解碼結(jié)構(gòu)與跳躍連接機(jī)制,在高分辨率圖像處理上表現(xiàn)出色;而?segnet?則以較高的計(jì)算效率為優(yōu)勢(shì),但在分割精度上相對(duì)遜色。s.?karthikeyan等人利用?roboflow?進(jìn)行數(shù)據(jù)標(biāo)注和模型訓(xùn)練,采用?yolov8?實(shí)現(xiàn)mri圖像中腦腫瘤的自動(dòng)檢測(cè)與分割,其研究進(jìn)一步驗(yàn)證了yolov8在醫(yī)學(xué)圖像分割中的可行性與應(yīng)用潛力。此外,nur?iriawan?等人提出了一種結(jié)合?yolo?和?u-net?的混合架構(gòu)——yolo-unet。該方法利用yolo實(shí)現(xiàn)快速而準(zhǔn)確的腫瘤區(qū)域定位,并通過?u-net?對(duì)腫瘤邊界進(jìn)行精細(xì)分割,從而提升模型在處理形態(tài)多變、邊緣模糊等復(fù)雜病灶時(shí)的魯棒性和精確性。
3、現(xiàn)有基于yolo架構(gòu)的醫(yī)學(xué)圖像分割方法在應(yīng)用于腦腫瘤mri圖像時(shí)仍存在一定局限性,主要體現(xiàn)在:對(duì)多尺度腫瘤區(qū)域特征的提取能力不足,易造成關(guān)鍵信息丟失,影響分割精度;模型結(jié)構(gòu)復(fù)雜、計(jì)算資源消耗大,難以部署于資源受限的醫(yī)療環(huán)境中;同時(shí)在應(yīng)對(duì)腫瘤形態(tài)、大小和種類多樣性時(shí),模型的適應(yīng)性和魯棒性仍顯不足。
4、綜上所述,盡管現(xiàn)有多種基于yolo及其他經(jīng)典架構(gòu)的分割方法已在腦腫瘤檢測(cè)中取得一定成效,但仍存在模型復(fù)雜度高、邊緣細(xì)節(jié)分割不夠精確、以及難以適應(yīng)多尺度特征等問題。因此,迫切需要一種結(jié)構(gòu)更為輕量、同時(shí)具備多尺度感知能力并能有效提升分割精度的改進(jìn)方案,以更好地服務(wù)于實(shí)際臨床應(yīng)用。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明所要解決的技術(shù)問題是:提供一種基于改進(jìn)yolov8n-seg的多尺度輕量化腦腫瘤分割方法,通過引入結(jié)構(gòu)優(yōu)化與特征增強(qiáng)機(jī)制,本發(fā)明在有效降低模型計(jì)算復(fù)雜度的同時(shí),增強(qiáng)了對(duì)小目標(biāo)區(qū)域的感知能力,并提升了模型在多尺度腫瘤識(shí)別中的魯棒性和泛化能力,從而更適用于臨床實(shí)踐中對(duì)腦腫瘤自動(dòng)分割的實(shí)際需求。
2、一種基于改進(jìn)yolov8n-seg的多尺度輕量化腦腫瘤分割方法,包括以下步驟,且以下步驟順次進(jìn)行:
3、步驟一:輸入待分析的腦腫瘤mri圖像,通過圖像預(yù)處理操作進(jìn)行圖像質(zhì)量?jī)?yōu)化;模型的主干網(wǎng)絡(luò)采用flrdown模塊作為高效的下采樣結(jié)構(gòu),并融合c2f模塊與sppf模塊以實(shí)現(xiàn)多尺度特征提取,分別生成淺層特征圖p3/8、中層特征圖p4/16和深層特征圖p5/32,用于捕捉不同層級(jí)的圖像語義與細(xì)節(jié)信息;
4、步驟二:將步驟一提取的特征圖輸入至頸部網(wǎng)絡(luò)中,所述頸部網(wǎng)絡(luò)基于特征金字塔結(jié)構(gòu)fpn和路徑聚合網(wǎng)絡(luò)pan構(gòu)建,融合了上采樣層upsample、連接層concat、卷積層conv、c2f層、以及adasimam注意力模塊,進(jìn)行不同尺度特征之間的深度信息融合;頸部網(wǎng)絡(luò)輸出的多尺度特征圖p3-s、p4-m及p5-l,顯著增強(qiáng)了對(duì)目標(biāo)區(qū)域結(jié)構(gòu)細(xì)節(jié)的建模能力;
5、步驟三:經(jīng)步驟二深度信息融合后的特征圖被傳遞至經(jīng)過改進(jìn)的lcsdsh分割頭部網(wǎng)絡(luò)中,lcsdsh結(jié)合精確的邊界框檢測(cè)與掩碼生成機(jī)制,實(shí)現(xiàn)腦腫瘤區(qū)域的精準(zhǔn)定位與分割,輸出包含空間位置信息和區(qū)域邊界的完整分割結(jié)果。
6、步驟一所述的flrdown模塊,替代yolov8n-seg主干網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積,首先,輸入特征圖?x沿通道維度被拆分為兩部分:x1和x2;其中,x1通過低秩卷積進(jìn)行降采樣處理,先進(jìn)行1×3的橫向卷積,再進(jìn)行?3×1?的縱向卷積,生成降采樣后的特征圖y1;同時(shí),x2被送入頻域處理流程,x2?先經(jīng)過二維離散傅里葉變換2d-dft轉(zhuǎn)換到頻域,并在頻域中裁剪出低頻成分以保留全局信息;隨后,通過逆二維離散傅里葉變換2d-idft將裁剪后的低頻成分還原至空間域,生成特征圖?y2;需要通過1×1頻域卷積cv_freq和雙線性插值bilinearinterpolate對(duì)y2進(jìn)行調(diào)整,使其尺寸與低秩卷積輸出的?y1對(duì)齊;最后,將處理后的?y1和?y2在通道維度上進(jìn)行拼接,并通過特征融合操作生成最終的下采樣特征圖y。
7、步驟二所述adasimam注意力模塊工作流程為:經(jīng)過頸部網(wǎng)絡(luò)的多尺度特征融合后輸出的三個(gè)層次的特征圖分別輸入到adasimam注意力模塊中,利用平均池化對(duì)輸入各個(gè)特征圖進(jìn)行平滑處理;采用局部窗口的平均池化方式提取局部區(qū)域的統(tǒng)計(jì)特征;將平滑后的特征圖與其局部均值之間的差異作為核心信息,計(jì)算每個(gè)空間位置的注意力響應(yīng),通過歸一化方式獲得相對(duì)重要性,生成通道級(jí)別的注意力權(quán)重圖;根據(jù)輸入特征圖在空間維度上的標(biāo)準(zhǔn)差,動(dòng)態(tài)地調(diào)整超參數(shù);將計(jì)算得到的注意力權(quán)重與原始輸入特征圖進(jìn)行逐元素相乘,得到加權(quán)后的輸出特征圖p3-s、p4-m和p5-l。
8、所述超參數(shù)的計(jì)算公式為:
9、
10、式中:為縮放因子,經(jīng)驗(yàn)上取較小的常數(shù)值,例如0.01;
11、為輸入特征圖,在空間維度上的標(biāo)準(zhǔn)差;
12、
13、式中:為通道c上位置(i,j)的像素值,h,w分別表示空間維度上的高和寬,為通道c的均值;
14、。
15、步驟三所述改進(jìn)的lcsdsh分割頭部網(wǎng)絡(luò)工作流程包括三個(gè)階段:
16、第一階段為特征增強(qiáng),加權(quán)后的輸出特征圖p3-s、p4-m、p5-l分別經(jīng)過?1×1?輕量卷積模塊conv_gn進(jìn)行通道壓縮后,統(tǒng)一輸入至共享卷積模塊,由兩層串聯(lián)的?3×3?卷積conv_gn完成特征增強(qiáng);
17、第二階段為目標(biāo)檢測(cè),增強(qiáng)后的特征在每個(gè)尺度上分別通過獨(dú)立的回歸頭conv_reg和分類頭conv_cls輸出邊界框偏移量和類別概率并計(jì)算邊界框回歸損失bbox.loss和分類損失cls.loss,回歸結(jié)果經(jīng)由尺度調(diào)節(jié)模塊scale縮放處理后,通過?dfl解碼得到最終邊界框坐標(biāo)與分類結(jié)果同時(shí)計(jì)算分布式焦點(diǎn)損失dfl.loss;
18、第三階段為實(shí)例分割處理,其中最淺層特征圖p3-s用于原型掩碼生成模塊proto,提取一組全圖共享的原型掩碼;同時(shí),各尺度特征圖經(jīng)過輕量級(jí)的掩碼分支1×1?和?3×3conv_gn生成對(duì)應(yīng)的掩碼系數(shù);最終通過將掩碼系數(shù)與原型掩碼線性組合,恢復(fù)出每個(gè)目標(biāo)的高質(zhì)量實(shí)例分割掩碼生成最后的實(shí)例分割結(jié)果并計(jì)算分割掩碼損失seg.loss。
19、所述尺度調(diào)節(jié)模塊scale的處理公式及原理為:
20、
21、式中:為回歸頭輸出的原始預(yù)測(cè)(即每個(gè)像素點(diǎn)的邊界框偏移預(yù)測(cè))。
22、是一個(gè)可學(xué)習(xí)的標(biāo)量參數(shù),初始化為?1.0,在訓(xùn)練過程中通過梯度下降優(yōu)化。為縮放后的預(yù)測(cè)結(jié)果,作為距離分布的輸入送入?dfl?解碼。
23、所述邊界框回歸損失bbox.loss計(jì)算公式為:
24、
25、式中:為真實(shí)邊界框的坐標(biāo),為預(yù)測(cè)邊界框的坐標(biāo);
26、所述分類損失cls.loss的計(jì)算公式為:
27、
28、式中:為一個(gè)指示器,如果樣本o屬于類別c,則為1,反之為0;
29、為模型預(yù)測(cè)樣本o屬于類別c的概率;l為類別數(shù)。
30、所述分布式焦點(diǎn)損失dfl.loss的計(jì)算公式為:
31、
32、式中:為預(yù)測(cè)的概率分布;為真實(shí)分布;reg_max為控制離散化回歸的粒度,決定分布預(yù)測(cè)的范圍大??;
33、所述分割掩碼損失seg.loss采用二元交叉熵?fù)p失bce和骰子損失dice.loss結(jié)合計(jì)算:
34、
35、
36、
37、式中,為像素點(diǎn)個(gè)數(shù);為第i個(gè)像素點(diǎn)真實(shí)掩碼像素值;為i個(gè)像素點(diǎn)預(yù)測(cè)像素值為平滑項(xiàng)常數(shù);為像素點(diǎn)矩陣預(yù)測(cè)掩碼像素值;為像素點(diǎn)矩陣真實(shí)掩碼像素值。
38、通過上述設(shè)計(jì)方案,本發(fā)明可以帶來如下有益效果:
39、1、新型下采樣模塊flrdown:本發(fā)明設(shè)計(jì)并引入了一種融合低秩卷積與傅里葉變換的新型下采樣模塊flrdown,替代yolov8n-seg主干網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積操作。該模塊在有效降低空間分辨率的同時(shí),能夠更充分地保留圖像的低頻全局信息,顯著提升模型的感受野與特征表達(dá)能力,同時(shí)降低整體計(jì)算復(fù)雜度,為醫(yī)學(xué)圖像中小目標(biāo)的識(shí)別提供更強(qiáng)支持。
40、2、自適應(yīng)簡(jiǎn)單無參注意力模塊adasimam:本發(fā)明在?simam?注意力機(jī)制的基礎(chǔ)上進(jìn)行了進(jìn)一步改進(jìn),提出了一種新型的注意力模塊——adasimam。該模塊通過有效削弱高頻噪聲對(duì)特征表達(dá)的干擾,增強(qiáng)局部區(qū)域的特征響應(yīng),并引入自適應(yīng)參數(shù)調(diào)整機(jī)制,使模型能夠更好地適應(yīng)目標(biāo)檢測(cè)、語義分割等視覺任務(wù)中對(duì)多尺度特征的敏感性需求。adasimam在保持結(jié)構(gòu)簡(jiǎn)潔、無需額外可學(xué)習(xí)參數(shù)的前提下,提升了特征表示的質(zhì)量與模型的整體性能。
41、3、輕量化分割頭部網(wǎng)絡(luò)lcsdsh:針對(duì)原yolov8n-seg模型的分割頭參數(shù)量大、資源消耗高的問題,本發(fā)明改進(jìn)了原分割頭,設(shè)計(jì)出lcsdsh分割頭部網(wǎng)絡(luò),優(yōu)化了頭部網(wǎng)絡(luò)結(jié)構(gòu)并減少了冗余參數(shù)。lcsdsh使模型在保持高精度輸出的同時(shí),顯著降低了模型的計(jì)算負(fù)載,提升了其在資源受限環(huán)境下的部署能力。