詳解：智能醫學影像分析的前沿與挑戰 | 硬創公開課
楊士霆，畢業於台灣長庚大學電機工程研究所博士班，主攻醫學影像處理與應用。研究領域涉及醫學影像處理，生物醫學資訊，醫用光學，類神經與模糊理論，功能性磁振造影，醫學物理與生醫統計。曾在台灣林口長庚醫院，寧波杜比醫療負責影像演算法開發工作，現任職於北京雅森科技發展公司，擔任高級演算法研究員。
公開課視頻如下：
117期：智能醫學影像診斷的前沿與挑戰 | 硬創公開課 - 騰訊視頻 https://v.qq.com/x/page/z0367i06eg0.html?start=371
以下為雷鋒網整理的演講主要文字內容（關注雷鋒網(公眾號：雷鋒網)醫療科技微信公眾號「AIHealth」，回復「117」下載完整PPT）：
本次公開課主要分為四部分：
一是醫學成像的概念及其類型與方式，以及人工智慧及深度學習等技術的介紹；
二是深度學習如何應用於醫學影像處理等醫療領域；
三是深度學習目前遇到的困難與需要突破的方向；
最後是總結。
醫學影像與人工智慧
近三十年的醫學成像，是一種實用性及創新概念的革命，主要包括兩個部分：
一是硬體發展的突飛猛進，包括MR、CT等硬體的發展，這些成像技術讓我們得到了很好的影像；
二是複雜數學工具的利用，通過這些方式可以對醫學影像進行重建、分析與處理，從而得到清晰可見的醫學圖像。
這兩個部分造就了成像上的進展。
醫學成像主要分為兩個形態：
一是結構性圖像，它主要可以得到組織的結構性特徵，但無法看到生物有機代謝的情況；
二是功能性圖像，它可以提示代謝的衰變與下降，或功能性的疾病。
相比結構性圖像，功能性圖像的空間解析度較差。
我們可以透過不一樣的介質來形成圖像，結構性成像包括：
X-ray，如血管攝影和電腦斷層，它可以看到組織結構；
聲音的方法，如超聲成像；
熒光，它可以用來探討組織和細胞的形狀與結構；
磁場，如核磁共振，它可以看到腦組織和身體器官的結構；
光學，比如眼底圖像，光學相干斷層掃描，它可以偵探到身體的結構，幫助診斷。
功能性圖像有：
光子，如用單光子電腦斷層掃描，可以看到代謝狀況，不過沒法看到組織結構；
正子，如正子斷層掃描，它加上一些醫學藥物的應用，可以看到代謝情況，看到腫瘤和病灶；
血氧水平，如fMRI功能性磁共振；
電流活動，下中圖是腦波圖的方法，透過腦波圖，拓撲到腦部對應位置，可以看到活動狀態下腦部電流改變的狀況；
磁場，與腦波圖類似，通過腦磁圖的方法，用磁場偵探微弱電流，可以感應出大腦中的功能性差異。
關於深度學習，可以理解為它是機器學習的一個分支，其主要目的是模擬更高層次抽象思維。
深度學習主要有非監督與半監督特徵學習，它會分層進行特徵提取。
一藉助影像設備獲取圖像，由於近幾年影像設備的進步，它在診斷上取得了比較好的效果。
二是解讀醫學圖像。現在主要依靠醫師完成，但有一些問題需要克服，比如主觀性，醫師的經驗和訓練不同，在看醫學圖像時有不同方式的解讀與定義；另外醫師的經驗不同，對同一組資料的解讀有較大的差異；而且醫師會疲勞，從而導致解讀的錯誤。
三是檢測出異常。
四是將想量測的位置進行量化，比如術前術後，讓醫師評估手術前後的差異時，要針對圖像做量化，透過前後數據的差別，協助醫師判斷手術是否成功。
上面提到的四個主要問題，都可以通過深度學習的方式來促進診斷，即將需要治療的地方做明確的辨識，輔助醫師做更有效地診斷，找到病灶。
深度學習在醫學影像上的應用
接下來要講解深度學習技術在醫學影像上的應用。目前醫學影像領域的主要處理內容有：
CAD，即計算機輔助診斷，醫師可以據此評估病人的治療情況，以及術前術後的差別等。輔助診斷也可以通過圖像分析的方法，找到腫瘤和癌症病灶。
圖像分割，主要是對身體的組織做明確的分割。
圖像配准與圖像融合，這兩者可以一起講。我們知道，圖像有結構性與功能性之分，後者圖像空間解析度差，可以看到組織的代謝情況，但不知道位於組織中的位置。所以需要影像配准與融合，將不同類型的圖像結合在一起，一個提供清晰的結構，一個提供代謝情況，這樣可以了解到組織與器官的病變。
影像導引治療。它可以分成兩類，一是影像導引手術，比如做開腦手術時，癲癇病人會不自主地出現放電異常抽動，用藥物抵制可能沒效果，這就要在大腦中植入電極，而這樣就需要引導的方法，將電極放到正確位置上。二是放射手術治療，即放療，它需要對腫瘤的位置做評估，因為放射線可以殺死癌細胞，也可能殺死正常細胞，所以要引導將放療固定在正確的位置，這也就需要醫學圖像的應用。
最後是醫學資料庫的搜尋與獲取，即如何從資料庫中檢索出想要的數據，這些可以通過深度學習的方法處理。
接下來講講深度學習的臨床應用。
上圖中的案例是全自動淋巴結檢測。左邊是縱隔的淋巴結，右邊是腹部淋巴結。可以看到，圖像標定出來的位置中，其實淋巴結有很大的差異，比如形狀與位置不一定，它與周圍的組織也非常類似。
過去傳統的圖像處理，是透過電腦斷層圖像，取得3D的立體影像，然後做影像上的處理分析與應用。比較新的方法是増強式3D Haar特徵，建立整體完整的檢測器，透過scanning window檢測淋巴結。
但傳統方法表現不佳，主要是維度上的限制。
在前兩年的一篇論文中，有人透過深度學習的方式自動檢測淋巴結。做法是，首先通過隨機森林分類器RF，檢測出大概位置並做標定；然後將標定出來的淋巴結，根據矢狀面、橫切面、冠狀面、三維角度，互相正交結合，創建出2.5維的空間投影立體特徵。接下來，透過HOG特徵提取方法，對空間投影圖像進行向量特徵截取。然後通過SVM訓練方法，將取得的特徵做加強和訓練，然後自動檢測出淋巴結位置。
用深度學習的方法做分割，在2015年的一篇文章也有展現。它主要利用卷積神經網路CNN，自動將大腦灰質、白質、腦脊髓翼自動分割，從而分析大腦的病變。
這篇論文中利用深度學習將不同的病人的資料做分割，精確度都不錯。
具體來說，作者用CNN將不同類型的MRI圖像，做有效分割，精確分割灰質、白質、腦脊髓翼。
他們通過CNN，將圖像分成一塊塊patch，然後對完整圖像做學習，訓練與分類。
上面這個研究是海馬回的分割。研究表明，海馬回主要與記憶有關。上圖是用手標定的海馬回的位置，可以看出與淋巴結一樣，它與臨近組織很相近，分割有一定難度。
在2015年的一篇論文中，就有作者通過CNN，用2D patches、三平面patches，以及改良式3D patches的方法，將海馬回進行深度學習，從而分割。左邊是還沒處理的情況，右是明確定位了海馬回的位置。
在光學圖像上，這裡的例子是糖尿病視網膜病變的檢測。一般來說，糖尿病患者容易發生眼部疾病，視網膜血管也會有所改變。上面中間的圖是正常情況，右邊是患者圖像。
所以，在一些研究中用CNN的方法，針對眼底圖像進行糖尿病視網膜病變的辨識。已經可以判斷嚴重的情況。
另外還有深度學習在細胞檢測中的應用。比如2013年的一篇論文，主要是胸部癌症細胞的檢測，標定的是細胞癌症，通過max-pooling CNN，針對胸部組織圖像做有絲分裂的分析。結果顯示，精確度達到了將近9成。
上圖就是針對組織圖像的分析，得到的有線分裂的情況。
另外，還有個很好玩的例子。CNN除了做圖像識別，還可以將3T MRI圖像透過CNN網路，重建出類7T MRI的圖像。所謂T是指特斯拉，即磁場感應強度。我們醫學中常見的核磁機器是1T和1.5T，而7T是磁場強達7特斯拉，這種設備昂貴，需要很多的費用，但7T圖像的性噪比強。所以，研究中想通過深度學習將3T變7T圖像。
上圖可以看出，左邊3T圖像中，腦部邊緣有些模糊，但處理過後的右圖變得清晰了。這是用低成本的方法做重建。
智能醫學影像分析的挑戰
以上就是深度學習在醫學影像上的應用案例。那深度學習在應用當中，還有哪方面的挑戰呢？
目前論文的實驗，主要是探討結構效度的評估，一般是在實驗架構的基礎上，評估CNN配合哪一個patch，哪些在實驗中是好是壞。但沒有思考，在實際使用深度學習的過程當中，表現是否如預期想的那麼好。
使用模型當中，也常常選擇很多不一樣類型的特徵去訓練，這個過程中怎麼樣找出好的有效特徵？另外，在建構深度學習模型中，如何透過那麼多參數做調整。這些都是深度學習的挑戰。
另外，想要發展一個有效的深度理論學習模型，要基於經驗資料，去調試與評估網路的效果，這也是主要挑戰的目標。在這個過程中，要評估與測量模型複雜的程度，比如：
一是深度學習過程中有神經元的概念，那到底要多少數量？到底要多少patch？
二是還要考慮計算單元的形態，要放置多少的隱藏層、卷積層？這部分是深度學習要思考的。
三是考慮到模型的架構和拓撲的結構，怎麼樣將CNN與不同類型的機器學習模型，做互相的結合與比較？
四是是怎麼樣有效地將模型產生與建立起來？
最後是學習中效率問題。深度學習早在80年代就有所發展，但由於計算機的限制，其發展也並不如意。最近計算力的進步才將機器學習的機制建立起來。回過頭來看，到了如今的情況，硬體越來越好，那怎麼樣讓學習效率做更有效的分配或調整呢？怎麼樣將學習效率調整到比較好的階段，達到很好的結果？這都是深度學習的挑戰。
另外，也需要採集數據的量到底需要有多大？聽到了很多大數據的概念，但MR圖像可能是128*128維度，也有很多的訓練。大的數據量的分析與統計都會影響到大數據分析與學習。怎麼樣做權衡和評估的一個挑戰。
我們需要融合經驗資料，建構深度的理論學習模型，以取得好的評估效果。要做到這些，我們就需要定義一個理論策略，通過這個策略，去評估、調試模型。
在這個過程中，有一個常規化的機制。即最簡單的輸入-隱藏-處理-輸出訓練模型。但我們如何調整順序，使得對模型的調試更加明確、更加常規化，也是值得探討的地方。
我們在做深度學習的過程中，有個很一致的概念：我們都希望多放些層，或者減少內容。有時候，可能需要多一些特殊的加成層。但如何明確定義這個概念，使其常規化，也是我們要挑戰的目標。
另一個挑戰是：我們在做深度學習的過程中，最常使用的是非深度學習的架構。那我們要怎樣評估這個架構，找出一個好方法呢？
最後，是關於計算效率。我們先前也有提到，機器效能和數據都會直接或間接影響計算效率。如何取得平衡點，是之後的深度學習研究中很好的一個研究方向。
我們做一個最簡單的總結：深度學習主要用來做什麼？
深度學習有很大的潛力，能分析大量資料，通過學習給出分析結論和答案。所以其應用廣泛，不僅是在醫學影像領域，在其他領域也有很大的貢獻。並且在我們分析大數據時，深度學習可以為我們提供精簡信息。深度學習的可發展性還是非常大的，還有很多東西值得去挑戰，值得大家一起去探討。
在2016年RANA會議上，深度學習、智能學習非常熱門，醫生們意識到深度學習可以輔助診斷，甚至能幫他們找出更有效的治療方法，並且最近的一些會議中，我們都可以發現深度學習、智能分析的龐大市場和發展潛力
我相信，深度學習在智能醫學影像分析中一定有很大的價值。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
推薦閱讀：
※PS教程-通過海綿工具凸顯圖片中的人物
※載入選區與儲存選區
※《Fully Convolutional Instance-aware Semantic Segmentation》論文筆記
※1.16【OpenCV圖像處理】卷積邊界處理