醫學圖像和自然圖像的重要區別有哪些？

深度學習中很多計算機視覺方面的自然圖像處理方法和技巧，放到醫學圖像中，貌似就沒有很大的效果。醫學圖像和自然圖像有那些重要的區別？視覺要素特徵？先驗性結構知識？？

謝邀，大家講了很多醫學圖像小數據集的特點，我就不贅述了。

從原理上講：醫學圖像大多數是放射成像，功能性成像，磁共振成像，超聲成像這幾種方式；而自然圖像大多數是自然光成像；這實際上就反應了很多的區別，並且在使用演算法以及設計演算法時要特別小心；舉例：自然成像中光譜比較複雜，有散射的成分，波譜寬度比較大，但是放射成像比如DR，CT等，各個廠家均要花大力氣去除人體內的散射，努力使光譜單一；這其實導致了一個重要區別，在自然圖像中雜訊分布絕大多數情況可以認為是均勻的，可以近似為高斯雜訊，因為直射和散射光造成光場分布可以認為是均勻的，但是在醫學圖像中由於光源單一再加上探測手段，人體厚度的影響往往會導致雜訊分布不均一，往往認為是一種泊松雜訊，因此不能簡單用套用自然圖像降噪中的方法。在設計相關演算法時需要慎重考慮，不能因為直接的演算法遷移表現不好而簡單的換用演算法，而是應當仔細分析其中的原由。

從圖像的物體內在特徵來講：醫學圖像多是單通道灰度圖像，儘管大量醫學圖像是3D的，但是醫學圖像中沒有景深這種概念，這一點需要仔細分析。舉例：自然圖像中object detection 發展如火如荼，大量演算法針對由於景深而引起的小目標檢測有非常nice的設計；但是需要指出的是景深所造成的的影像是物體邊緣模糊，物體形態變小，很多演算法也是針對這個，然而在醫學圖像中一個很小的異常組織之所以被檢測出來，不是由於它形態很小並且邊緣像什麼東西而是該區域同周圍區域有明顯的差異，比如說DR中檢測肺結核纖維化病灶，一個直觀的表現就是病灶區域紋理走向同周圍不同。這些都需要在設計時進行慎重考慮。

從圖像所反映的信息來講：一個不得不承認的事實是絕大多數同部位，同體態的醫學圖像相似度非常高，這主要是人體組織本身相似度高所致；並且醫學圖像中的細微結構並不能像自然圖像中那樣認為是無關緊要，在相似度極高的背景組織中的細微變化有可能就代表著某種病變。這就為醫學圖像分析處理帶來難度，因為很多指標諸如SSIM在這裡會失效，同時很多細小紋理都不得不被考慮。舉例：醫用顯示屏的價格往往遠高於工作站本身，這主要是因為為了很好的顯示醫學圖像所包含的所有特徵，不得不用具有很優化的gamma曲線的屏幕，已提供完整的，優秀的灰階顯示，而這種屏幕生產成本遠高於普通屏。這又不得不影響醫學圖像展示以及評估。總之，一張醫學圖像中包含的所有信息都具有潛在利用價值，而自然圖像則不然，往往一張自然圖像可能就只有一部分ROI有用。

另外在多說一點，醫學圖像拍攝成本高，產業鏈複雜，入行門檻高是造成醫學圖像處理一系列問題的根源；一張高質量的醫學圖像，不僅僅是圖像處理的工作，還涉及到機械加工精度、探測器材料性能，電子學設計是否優秀，病患身體是否配合等等非圖像方面可控的因素，但是圖像演算法又不得不考慮的地方。舉例：CT裡面去除金屬偽影根本上就是一個可優化但無法根本解決的問題；而類似的（可能我理解有誤）自然圖像中的防抖，運動偽影的處理會容易得多。

--------------------------------------------補充------------------------------------------

醫學圖像還有個較為重要的差異，作為圖像演算法設計者不得不吐血的地方；很多情況下，醫療圖像演算法並不如硬體提升來的作用大，以我的經驗，一萬個優化的降噪演算法比不上一個探測器水平的提升；另外，很多在自然圖像領域業已勢微（這也有可能我理解錯誤）的方向，比如圖像融合技術，在醫學圖像研究中依然佔據非常重要的地位。

Anyway，醫療圖像演算法並不像自然圖像演算法那樣迭代快速，很多時候醫療圖像還是依賴於很多經驗性東西。

以上是我的淺見。

我覺得除了以上幾位答主的答案，還有以下幾點:

1，動態範圍，一般的自然圖像動態範圍就是3乘255。但是醫學圖像會到幾千(ct)，甚至乾脆就是浮點型數據(x光)

2，模態，醫學圖像這個概念很大，包含的圖像模態很多。不同模態的圖像反應的信息是不一樣的，比如ct反應出血，骨頭比較清楚，mri看軟組織更好。另外即便同一模態，成像參數不一樣也會帶來巨大的區別，比如kv的x光和mv的x光，圖像質量差異巨大，但前者可以用來擺位，後者也可以進行劑量驗證，qa等。而上述這些特性是自然圖像沒有的

3，成像原理帶來的干擾，雜訊，以及偽影。對於醫學圖像來說，其成像過程是與自然圖像截然不同的。比如x光或者cbct，成像中必然有散射與量子雜訊的存在，重建的三維圖像大多數有偽影。這個特性是自然圖像中沒有的，做深度學習網路時，還應結合其相應的成像特性進行設計。

主要是以下幾個方面：

1. 樣本數據量少，並且無法人工生成：醫學圖像只能來源於病患，並且，無法人工產生。從醫學倫理角度，我們不可能人為製造病患來收集醫學圖像。在其他領域，往往可以人工生成樣本數據。這是最大的區別點。
2. 雜訊大，關鍵信息佔比小：醫學圖像中，關鍵信息往往是細節，比如肺癌圖片，有無肺癌結節才是關鍵信息，肺癌結節的亮點在整個肺癌圖像上面積佔比不到1%、甚至更低，所以，醫學圖像的信噪比很低。在其他領域的圖像，要識別的對象往往是佔主體的，所以，其他領域圖像的信噪比往往較高。
3. 標註難度大 ，成本高：醫學圖像的標註，必須是醫學專業的人員，標註數據極難獲得（有時候，這都不是花錢就能解決的問題）。其他領域的圖像，往往可以請普通人標註，甚至藉助深度學習技術來標註，標註成本低。標註成本高也決定了醫學圖像樣本數據量不可能太大。
4. 研究人員少，前沿技術難以應用：能夠接觸醫學圖像的圖像處理的研究人員範圍很小，一般來說，最前沿的圖像處理技術是針對其他領域的來設計的，當這些技術應用到醫學圖像領域時，往往會出現適應性的問題，所以，醫學圖像處理的技術水平往往也不是最高的。

這幾點應該是醫學圖像領域效果一般的根本原因。

補充雜訊大，關鍵信息佔比小的說明：

這麼說吧，把兩張胸正位片放在我們面前，一張是有肺癌的，另一張是沒有肺癌的，這兩張圖像的絕大部分的都是一樣的，區別在於，有肺癌的胸片上可能有一個或者多個小結節，小結節體現為亮斑，大小可能只有1mm見方左右。除此之外，小結節周圍是否有光滑、是否浸潤（不光滑、細微的絨毛狀物）決定了是否是肺癌、是否是惡性的。是否肺癌、是否惡性，對於醫療來說，影響是十分巨大的：肺癌且惡性的，治療的原則可能是切除部分肺葉；若是良性的，有可能保守治療。在圖像上，區別十分細微。

我認為，在將來，醫學圖像處理的輸入並不是醫學圖像，而是生成這些圖像的原始數據，比如x光或者ct掃描的原始數據等，因為原始數據中包含的信息更多，醫學圖像也只是根據這些數據來生成。

補充一個和病理圖像有關的，不是圖像本身，而是在處理方法上。

很多病理圖像大多都是超大尺寸的（幾萬*幾萬像素），應用CV演算法處理之前經常會縮小尺寸然後對原圖劃分patch再分別處理。但是在做項目的時候聽合作的醫生說，新來的實習生或許會這樣一點一點的細細看，但實際上這種方法既速度慢效率又低。

有經驗的大夫在檢查病理切片的時候通常是先從全局看，覺得哪一個區域有問題才會仔細去放大看，因為有些判斷是可以基於周圍組織的形態做出的，很多時候看到切片整體的形態就已經能判斷病症了。

怎麼沒人說三維和二維的區別！

醫學圖像的數據少，自然圖像的數據容易採集。自然圖像的標註也容易很多，醫療圖像的標註需要非常專業的醫學知識。

大致可能有如下幾點吧

（1）數據量少，標註要求高；（2）同一領域的圖像既有整體結構的高度相似性，同時又有細節上的多樣性；（3）圖像處理結構要求高準確性高可靠性。另外一個，我覺得要比較醫學圖像和自然圖像的差異，可以考察一下人類在處理這兩種圖像的時候的流程策略特徵的差異。感覺對醫學圖像處理中會使用更多的統計信息，處理過程相對於自然圖像是更加複雜，需要多次反饋調整和多線索融合，要反覆斟酌，而自然圖像處理過程更多是一過性的。