計算機視覺技術

第1部分 計算機視覺概述

第2部分 數字圖像處理基礎

第3部分 模式識別基礎

第1部分 計算機視覺概述

計算機視覺:（1）視覺基礎：視覺基礎理論，神經生理學、認知科學；色度學、光學；

射影幾何、矩陣理論。

（2）底層處理：圖像處理，空域圖像處理，頻域圖像處理，圖像特徵提取。

（3）中層處理：圖像分割、相機標定、深度估計、運動估計。

（4）高層處理： 三維重建、目標識別

1.計算機視覺的意義

（1）在人類的感知器官中，視覺獲取的信息量最大，大約80%，因此對於發展智能機器

而言，賦予機器以人類視覺功能是十分重要的。

（2）計算機視覺：研究用計算機來模擬生物外顯或宏觀視覺功能的技術學科。

（3）計算機視覺的任務是用圖像創建或恢復現實世界模型，然後認知現實世界。

（4） 具體來說，讓計算機具有對周圍世界的空間物體進行感測、抽象、判斷的能力，

從而達到識別、理解的目的。

2.視覺的過程分為三個階段

（1）底層處理：特徵提取和區域分割，基於輪廓,紋理,顏色…

（2）中層處理：建模與模式表達，基於各種物體的抽象化模型

（3）高層處理：描述和理解，基於景物的結構知識。

3.計算機視覺的研究內容

（1）輸入設備(input device)的研製,包括成像設備和數字化設備．成象設備是指通過光學攝像機或紅外、激光、超聲、X射線對周圍場景或物體進行探測成象，得到關於場景或物體的二維或三維數字化圖像．

（2）對輸入的原始圖像進行預處理．這一過程借用了大量的圖像處理技術和演算法，如圖像濾波、圖像增強、邊緣檢測等，以便從圖像中抽取諸如角點、邊緣、線條、邊界以及色彩等關於場景的基本特徵；這一過程還包含了各種圖像變換（如校正）、圖像紋理檢測、圖像運動檢測等．

（3）恢復場景的深度、表面法線方向、輪廓等有關場景的信息,並在此基礎上恢復物體的完整三維圖，建立物體三維描述.

（4）根據機器預先存貯的模型知識以及形狀、色彩等特徵,對於圖像中各種物體進行識別,確定它們用於哪一類物體.

（5）建立各個圖像中物體的拓撲關係圖,給出圖像所反映景物的結構描述.

（6）體系結構（system architecture）,涉及一系列相關的課題,並行結構、分層結構、信息流結構、拓撲結構以及從設計到實現的途徑．

4.視覺面臨的困難

（1）圖像多義性：三維場景被投影為二維圖像，深度和不可見部分的信息被丟失，因而會出現不同形狀的三維物體投影在圖像平面上產生相同圖像的問題。另外，在不同角度獲取同一物體的圖像會有很大的差異。

（2）環境因素影響：場景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機以及空間關係變化都會對成像有影響。

（3）知識導引：同樣的圖像在不同的知識導引下，將會產生不同的識別結果。

（4）大量數據：灰度圖像，彩色圖像，深度圖像的信息量十分巨大，巨大的數據量需要很大的存貯空間，同時不易實現快速處理。

5.計算機視覺與其它學科領域的關係

（1）圖像處理：圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說，圖像處理系統的輸入是圖像，輸出仍然是圖像，信息恢復任務則留給人來完成

（2）計算機圖形學：通過幾何基元，如線、圓和自由曲面，來生成圖像，它在可視化（Visualization）和虛擬現實(Virtual Reality）中起著很重要的作用。計算機視覺正好是解決相反的問題，即從圖像中估計幾何基元和其它特徵。因此，計算機圖形學屬於圖像綜合，計算機視覺屬於圖像分析。

（3）模式識別：模式一般指一類事物區別於其它事物所具有的共同特徵。

（4）人工智慧（AI）：涉及到智能系統的設計和智能計算的研究．在經過圖像處理和圖像特徵提取過程後，接下來要用人工智慧方法對場景特徵進行表示，並分析和理解場景．人工智慧有三個過程：感知、認知和行動。

（5）神經生理學與認知科學：將人類視覺作為主要的研究對象。計算機視覺中已有的許多方法與人類視覺極為相似．許多計算機視覺研究者對研究人類視覺計算模型比研究計算機視覺系統更感興趣，希望計算機視覺更加自然化，更加接近生物視覺。

6.計算機視覺的應用

零件識別與定位、產品檢驗、移動機器人導航、遙感圖像分析、醫學圖像分析、安全鑒別、監視與跟蹤、國防系統（目標自動識別ATR與目標跟蹤）、其它（體育、考古、動畫 ）

第2部分 數字圖像處理基礎

1.圖像預處理技術：（1）圖像降噪 ：a雜訊的產生是數字圖像的雜訊主要源於圖

像的獲取和傳輸過程。

b雜訊類型：高斯雜訊、瑞利雜訊、愛爾蘭（伽馬）雜訊、

指數雜訊、均勻雜訊、脈衝（椒鹽）雜訊

c常用的降噪方法：均值濾波、中值濾波、維拉濾波

（2）圖像增強：a概念：將圖像中感興趣的特徵有選擇地突出，而衰減其不需

要的特徵，故處理後輸出的圖像並不需要去逼近原圖像

b空間域法：對圖像像素直接處理、灰度變換、直方圖處理、

直方圖均衡化、直方圖規定化

（3）.頻率域法：在圖像的某種變換域內對圖像進行運算，再對圖像的頻譜進行某種計算，最後將計算後的圖像逆變換到空間域。

灰度變換

直方圖處理：直方圖就是表示圖像中某一灰度級的像素個數。通常用概率密度來表示，即某一灰度級的像素個數占圖像中所有像素個數的百分比。

直方圖均衡化：為了使圖像的灰度級能跨越更大的範圍，採用均勻直方圖的基本增強。

直方圖均衡化處理的「中心思想」是把原始圖像的灰度直方圖從比較集中的某個灰度區間變成在全部灰度範圍內的均勻分布。對圖像進行非線性拉伸，重新分配圖像像素值，使一定灰度範圍內的像素數量大致相同。把給定圖像的直方圖分布改變成「均勻」分布直方圖分布。

直方圖匹配：通過指定圖像直方圖所具有的形狀來實現。

直方圖均衡化能夠自動增強整個圖像的對比度，但它的具體增強效果不容易控制，處理的結果總是得到全局均勻化的直方圖。實際上有時需要變換直方圖，使之成為某個特定的形狀，從而有選擇地增強某個灰度值範圍內的對比度。 這時可以採用比較靈活的直方圖規定化。一般來說正確地選擇規定化的函數可以獲得比直方圖均衡化更好的效果。

2.圖像區域檢測技術

（1）圖像分割

　　概念：就是在一幅圖像中，把目標從背景中分離出來，以便於進一步處理。

　方法：

基於邊緣檢測的圖像分割

基於閾值的圖像分割

基於區域增長法的圖像分割

基於變形模型的圖像分割

基於聚類法的圖像分割

基於遺傳演算法的圖像分割

基於模糊集理論的圖像分割

基於神經網路的圖像分割

（2）邊緣檢測

作用：邊界檢測，缺陷邊緣檢測。

方法：

梯度法（Roberts運算元、 Prewitt運算元、 Sobel運算元、Kirsch運算元、高斯拉普拉斯（LOG）運算元）。

Canny邊緣檢測法

小波分析技術

差影技術：先腐蝕，再做差

圖像平滑技術

邊緣提取運算元舉例比較：

閾值分割法：

基本思想：確定一個合適的閾值T（閾值選定的好壞是此方法成敗的關鍵）

將大於等於閾值的像素作為物體或背景，生成一個二值圖像。

If f (x，y) ≥T set 255 Else set 0

　　特點：

適用於物體與背景有較強對比的情況，重要的是背景或物體的灰度比較單一。

閾值的選取是圖像閾值分割方法中的關鍵技術。

第３部分　模式識別基礎

１.基本概念

２.原理理論

３.核心應用

４.具體實例

１.基本概念

什麼是模式（Pattern）？

　　廣義講，存在於時間和空間中可觀察的物體，如果我們可區別它們是否相同或是否相似，都可稱之為模式。

　　模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現為具有時間和空間分布的信息。

　　模式的直觀特性:①可觀察性②可區分性③相似性

什麼是模式識別（PR）？

　　識別存在於時間和空間中可觀察的物體的相同性或相似性。

　　人和動物的模式識別能力是極其平常的，但對計算機來說卻是非常困難的。

2 原理理論

模式識別方法

模式識別系統的目標：在特徵空間和解釋空間之間找到一種映射關係，這種映射也稱之為假說。

特徵空間：從模式得到的對分類有用的度量、屬性或基元構成的空間。

解釋空間：將c個類別表示為

其中 ，Ｃ為所屬類別的集合，稱為解釋空間。

數據獲取：用計算機可以運算的符號來表示所研究的對象

二維圖像：文字、指紋、地圖、照片等

一維波形：腦電圖、心電圖、季節震動波形等

物理參量和邏輯值：體溫、化驗數據、參量正常與否的描述

預處理單元：去雜訊，提取有用信息，並對輸入測量儀器或其它因素所造成的退化現象進行復原

　　特徵提取和選擇：對原始數據進行變換，得到最能反映分類本質的特徵

測量空間：原始數據組成的空間

特徵空間：分類識別賴以進行的空間

模式表示：維數較高的測量空間->維數較低的特徵空間

　　分類決策：在特徵空間中用模式識別方法把被識別對象歸為某一類別

基本做法：在樣本訓練集基礎上確定某個判決規則，使得按這種規則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小

3.現代模式識別技術

　　1 基於Bayes決策理論

　　2 感知器演算法(The Perceptron Algorithm)

　　3 Support Vector Machines-SVM(支持向量機)

　　4 Nearest neighbor (近鄰分類)

　　5 線性鑒別分析

4 模式識別過程實例

任務：在傳送帶上用光學感測器件對魚按品種分類——鱸魚(Seabass)或鮭魚(Salmon)。

識別過程：

①數據獲取：架設一個攝像機，採集一些樣本圖像，獲取樣本數據

②預處理：去雜訊，用一個分割操作把魚和魚之間以及魚和背景之間分開

③特徵提取和選擇：對單個魚的信息進行特徵選擇，從而通過測量某些特徵來減少信息量。如長度、亮度、寬度、魚翅的數量和形狀、嘴的位置，等等……

④分類決策：把特徵送入決策分類器