[DL-醫療-綜述] 002 綜合指南及實例（中）

01-31

Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases

Andrew Janowczyk, Anant Madabhushi

5 USE CASES

本文共考察了7個數字病理學的實例，具體見表1。

5.2 Nuclei Segmentation Use Case

Challenge

細胞核形態是多數癌症定級中重要的依據，所以需要進行細胞核分割。近期研究發現檢測細胞核的技術趨於成熟，

但是發現它們的精確邊界或者分離開有重疊區域的細胞核還是比較困難。生成訓練圖像塊也要注意，一般用標識好的圖像生成二值掩碼，然後從正/負區域隨機剪切產生正/負樣本，但是負樣本中可能包含未標記的正樣本區域。

Patch selection technique

圖像塊選取的一種標準方法是在正樣本掩碼區域選取正樣本，在負樣本掩碼區域使用閾值化的color-deconvolved圖像選取負樣本（如圖2所示）。這主要是依據非細胞核區域很少吸收染色劑的原理。圖2顯示了這種方法提取的樣本所屬類別都是正確的，但是負樣本（圖2a）對於訓練該任務網路不會提供太多有用信息。結果（圖3d）顯示用上述方法選取的樣本訓練的模型性能並不好，無法描繪出細胞核的正確輪廓，這是因為在訓練集中沒有強調邊界信息。

本文在上述方法的基礎上進行改進，選取更多更有挑戰性的負樣本以增強訓練集中的邊界信息。圖3a展示了一張示例圖像，圖3b是其掩碼圖像，需要注意的是只有部分細胞核被標識，使用為改進的樣本選取方法所獲得的訓練集來訓練模型的預測結果如圖3d所示，可以看到網路沒有準確確定出細胞核邊界。為了增強邊界信息，使用形態學方法處理圖3b中所示掩碼圖像，得到如圖3c中所示的邊界掩碼圖像。依據圖3c掩碼圖像選取負樣本（如圖2c所示），這些樣本與正樣本相似，所以學習難度提升。另外也保留一定比例的圖2a樣式的負樣本，以確保這部分樣本在訓練集中也有很好的表示。使用改進方法選取的樣本所訓練的模型的預測結果見圖3e，可以看出模型對邊界的確認更準確。

Results and Discussions

5折交叉驗證集，每折包含約100張訓練圖像和28張測試圖像，正樣本:邊界負樣本:其他負樣本=1:1:0.3，訓練集中共130k圖像塊，在20倍和40倍解析度上進行度量，使用的度量方法有F-score、true positive rate (TPR)、positive predictive value (PPV)，DL生成的概率圖0.5閾值化後得到二值結果。

定性來看，圖4顯示了一個可視化結果，可以看出網路在40倍解析度上的邊界比在20倍上更加準確。

定量來看，從表4中可以看出，網路在40倍解析度上的各項度量指標都優於20倍。Dropout在這個實例上存在消極影響。

5.3 Epithelium Segmentation Use Case

Challenge

癌細胞一般出現在上皮組織，而基質的組織模式有助於預測乳腺癌患者的生存期，所以上皮組織-基質（epithelium-stroma）分離就尤為重要。但是該任務一般不太明確，因為標記數據比較抽象並且都是低放大倍數，圖5顯示了標記和預測的對比，這種差異使得訓練和評估都更加困難，本文也考慮用額外的專家評價指標來評估結果。

Patch selection technique

首先確定放大倍數，基本的原則是相應解析度的圖像塊中有足夠的環境信息，人類專家可以做出正確的判斷，所以要根據先驗知識來確定合適的放大倍數。本文使用10倍放大倍數，如果網路接受的輸入尺寸較大，可能需要更高的放大倍數。首先在灰度圖使用0.8閾值去除脂肪或背景區域，不在這些區域選取訓練樣本，然後使用上節的改進方法提取樣本。

Results and Discussion

5折交叉驗證集，每折包含約34張訓練圖像和8張測試圖像，正樣本:邊界負樣本:其他負樣本=5:5:1.5，訓練集中共765k圖像塊。

定量分析結果如表5，使用F-score作為度量指標。在度量之前(a)閾值化去掉背景區域(b)去除面積<300的區域。

定性來看，病理學家將這個任務視為更高等級的抽象，而並不是像素級的分類，如圖5所示。病理學家一般不會將背景分離標識出來，有時也會忽略掉小區域。

5.4 Tubule Segmentation Use Case

Challenge

細管的形態可以體現癌症的侵略性，癌症後期病人的細管形態逐漸呈無組織狀態，如圖6所示。識別和分割細管有兩個方面用處：(a)自動進行面積估算，減少inter-/intra-reader差異；(b)提供更大的特異性，可能更好的制訂預後指標。

細管被認為是迄今為止發現的最複雜的結構，它包含多種成分（如細胞核、上皮組織、內腔），這些組成成分的組織結構確定了細管的邊界。不同階段的癌症不同的潛在侵略性的細管的形態有很大差異。良性（如圖6a）整體有組織性，每個細管的尺寸和形態特徵比較相似，比較容易進行分割；但患癌（如圖6c）時細管就沒有組織性，也不容易精確確定它們的邊界。另外細管整體比其中的組成成分要大得多，所以需要在更大的視野中進行觀察以保證有足夠的環境信息來確保評估的準確性。

Patch selection technique

引入一種經濟的預處理方法來確定較難訓練的圖像塊，使用這些樣本可以增加信息和多樣性。首先在每張圖像中隨機選取一些像素點（如15000個）作為訓練集，這些像素點應該覆蓋所有類別，並計算一些簡單的紋理特徵（如對比度、相關性、能量、同質性等）；然後使用樸素貝葉斯分類器來確定同一張圖像中所有像素點的類別。經過上述處理，可以確定哪些像素點可能容易判斷錯誤（假陽/陰），選取這些像素點可以增加樣本的表示能力。可以根據誤分類像素的置信度來選取，例如偏向於選取預測概率趨向於1的假陽樣本。這種方法不需要相關領域的知識，能很好的去除重要性低的樣本。

良性組織中的細管要比患癌的更容易分割，那麼不均衡的多選患癌樣本可以提高模型的泛化性能。

Results and Discussion

5折交叉驗證集，每折包含約21張訓練圖像和5張測試圖像，惡性樣本數量是良性的2倍，並且包含一些旋轉處理（180、270）的惡性樣本，共320k個訓練圖像塊。閾值0.5時的平均F-score為0.827±0.05，使用最優閾值時0.836±0.05。

5.5 Invasive Ductal Carcinoma Segmentation Use Case

Challenge

浸潤性導管癌（Invasive Ductal Carcinoma, IDC）是乳腺癌中最長出現的亞種。病理學家一般都是根據包含IDC區域的組織狀態來判斷侵略性等級，所以對侵略性定級的一個常見的預處理就是提取包含IDC的區域。

Patch selection technique

使用已有的數據集，將放大倍率40的原圖像降採樣1/16，以提供更豐富的環境信息，圖像塊尺寸為50x50，本文網路輸入尺寸32x32，分別做以下不同處理：

Resizing：直接將50x50的圖像縮放為32x32。

Cropping：剪切50x50圖像的中心32x32區域。

Cropping+additional rotations：為了解決數據不均衡問題，將正樣本進行旋轉增加數量，最終正負樣本數量基本一致。

Results and Discussion

圖7顯示了不同處理方式對訓練模型的影響。

表6定量評估了不同樣本處理方式的影響。值得注意的是resizing的性能是最好的，cropping可能是因為損失了部分環境信息，另外dropout對泛化性能並沒有提升，數據均衡處理也沒有明顯效果。

註：對於文中醫學相關的名詞翻譯可能不準確，如有異議請指正。