東海大學(xué) 資訊工程與科學(xué)系 專題成果 監(jiān)視系統(tǒng)之物件切割與陰影偵測(cè) Object Segmentation and Shadow Detection for Surveillance System 指導(dǎo)老師：林正基教授 學(xué)生： 942916 陳俊廷 942960 何乃如 942922 王京郁 中華民國九十七年十二月 i Abstract 本專題研究是針對(duì)監(jiān)視系統(tǒng)所錄下的影片來做處理 ，首先是將來源影片分析 成連續(xù)的單張影像，再針對(duì)單張影像來做後續(xù)的處理，包含影片轉(zhuǎn)換圖像的存 取、利用色彩系統(tǒng)轉(zhuǎn)成灰階影像的處理、像素變動(dòng)差值之門檻值的設(shè)定，文中也 針對(duì)色彩系統(tǒng)作簡單的介紹；在這次的研究中，我們採用 YUV 的色彩系統(tǒng)來作 為所有處理的基本架構(gòu)，利用背景相減法，選取適當(dāng)?shù)拈T檻值，取得初步的物件 與背景資訊，後續(xù)利用 UV 資訊，對(duì)於影像中光影的連續(xù)和不連續(xù)性所造成的影 響，來處理物件陰影的偵測(cè)與去除，再使用 morphological algorithm 來改善因?yàn)? 陰影偵測(cè)衍生出來的破碎畫面的問題，也使物件影像更加完整，最後整個(gè)演算法 在 Borland C++ Builder 6.0 的平臺(tái)來實(shí)現(xiàn)。 ii Index 1. Introduction ....................................................... 1 1.1 Motivation ........................................................... 1 1.2 Goal..................................................................... 1 2. Related Work and Background.......................... 2 2.1 RGB color space.................................................. 2 2.2 YUV color space ................................................. 3 2.2.1 U-V plane projection method ............................. 4 2.3 pixel-based .......................................................... 5 3. System Architecture........................................... 6 4. Proposal method ................................................ 8 4.1 Segmentation....................................................... 8 4.2 Shadow elimination........................................... 10 4.3 Morphology ....................................................... 13 5. Simulation Result ............................................ 17 6. Conclusion ....................................................... 19 7. References ....................................................... 20 iii 圖表目錄 2-1 : 2 2-2 : 3 2-3 : UV 4 2-4 : 5 3-1 : 7 4-1:.8 4-2 :segmentation...10 4-3 : segmentation 10 4-4 : YUV RGB 11 4-5 12 4-6 : Morphology 13 4-7 : Dilation 14 4-8 : Erosion 14 4-9 : opening 15 4-10 : closing 15 4-11 : Dilation.16 4-12 : Erosion.16 4-13 17 5-A : Borland C++ Builder 18 5-B : 18 5-C : 18 5-D : UV 18 5-E : 19 方程式目錄 2-1 .4 4-1 .9 iv 1. Introduction 1.1 Motivation 隨著科技的發(fā)展，資訊的日新月異，電腦運(yùn)算的能力越來越強(qiáng)大，影像技術(shù)的發(fā)展越來越成熟；資料儲(chǔ)存設(shè)備的價(jià)格日趨降低，光學(xué)取像設(shè)備的逐漸普及，加上人工智慧技術(shù)日益成熟，使得視訊監(jiān)控系統(tǒng)成為近年來大家所重視的項(xiàng)目。 在過去資訊科技尚不發(fā)達(dá)的時(shí)代 ，監(jiān)控環(huán)境的系統(tǒng)主要依賴閉路電視系統(tǒng)和人力來監(jiān)視環(huán)境 。故此種系統(tǒng)只能提供事後的錄影存證功能或要求人力注視於監(jiān)視螢?zāi)?。前者只能提供事後的資訊，並不能及時(shí)提出偵測(cè)的資訊或於第一時(shí)間發(fā)出警告；後者的方式，系統(tǒng)的運(yùn)作完全依賴人類感官的判斷，而會(huì)受到人類精神和感官疲累的影響，而有出錯(cuò)或遺漏的可能性。 因此，近年來促成了智慧型視訊監(jiān)控系統(tǒng)的發(fā)展；它是一種利用電腦視覺的方法，在不需要人為的操作之下，自動(dòng)對(duì)攝影機(jī)所擷取的影像進(jìn)行分析，進(jìn)而對(duì)目標(biāo)物進(jìn)行偵測(cè)、追蹤、辨識(shí)和行為分析，如此一來若是有物品遺失，或者疑似爆裂物的放置就會(huì)被偵測(cè)出來並且發(fā)出警告 ，因此可以大幅地減少人力的浪費(fèi)以及增加成本效益。 智慧型視訊監(jiān)控系統(tǒng)除了一般的監(jiān)視功能之外，還要有自動(dòng)偵測(cè)，自動(dòng)辨識(shí)，自動(dòng)警示等功能。配合現(xiàn)今之網(wǎng)路技術(shù)，能使監(jiān)控範(fàn)圍更加廣大，監(jiān)控成本 更加降低，操作環(huán)境更加便利 。視訊監(jiān)控系統(tǒng)的應(yīng)用範(fàn)圍非常廣泛 ，舉凡停車場(chǎng)、智慧型運(yùn)輸系統(tǒng)〔 ITS〕、公共場(chǎng)所、軍事應(yīng)用、商業(yè)環(huán)境、社會(huì)照顧、交通資訊統(tǒng)計(jì)、核能安全、地區(qū)治安等，都是非常有潛力的發(fā)展項(xiàng)目。尤其隨著犯罪率 的上升，治安方面的需求更是強(qiáng)烈，所以世界各國無不把視訊監(jiān)控技術(shù)列為重要的研究課題。 1.2 Goal 經(jīng)過多年的發(fā)展，智慧型視訊監(jiān)控系統(tǒng)已逐步成型，而我們將著重在以移 動(dòng)物體為主要目標(biāo)的偵測(cè)；根據(jù)像素變化初步分辨物件與背景資訊，再利用色彩 系統(tǒng)的特性與比較，配合適當(dāng)?shù)难菟惴?，排除外在因素的影響；最後針?duì)實(shí)驗(yàn)的 階段性結(jié)果，去除不必要的雜訊並填補(bǔ)空洞，顯示出最佳的物件切割成果；並且 使得系統(tǒng)能快速而且正確的分析追蹤在屏幕出現(xiàn)的物件、降低人力資源的浪費(fèi)， 1 提高安全系統(tǒng)的確保性；並針對(duì)影片中出現(xiàn)的異常物件加以區(qū)隔，助於分辨背景 和物件的變化及對(duì)應(yīng)關(guān)係。 2. Related Work and Background 要談到即時(shí)的監(jiān)控系統(tǒng)，那相對(duì)的就會(huì)有影像的輸出，而我們通常見到的監(jiān) 視器錄影影像色彩和實(shí)際上肉眼所見的色彩多少都有些差異 ，這可能跟監(jiān)視器所 在位置的光線、外在環(huán)境光影的變化有關(guān)，所以首先我們先針對(duì)色彩系統(tǒng)來做說 明。 2.1 RGB color space RGB 色彩空間是我們最常見的色彩系統(tǒng)， R表示紅色 ( Red) 、 G表示綠色 ( Green) 而B表示為藍(lán)色 ( Blue) ，即為色彩的基本三原色，透過三原色的強(qiáng)度組合 可以搭配出各式各種的顏色。以數(shù)位影像而言， R、G、B 分別以 8位元 ( bits) 表 8 8 示，也就是單一原色 2 的層次變化 ( 256種變化 ) ，因此三原色可以組合表現(xiàn)出 2 2828 ＝ 224 ＝ 1677216 ≒ 1677萬種顏色。對(duì)於 RGB色彩空間而言，任何一張 彩色影像都可以基本解析為三張獨(dú)立的三原色影像 ，( 如圖 2-1所示 )，也就是說， 當(dāng)這三張平面色彩組合在一起時(shí)，即可構(gòu)成一張彩色影像。 圖 2-1 : 色彩平面 一般來說，大部分的使用者將 RGB色彩空間強(qiáng)度分佈以色彩正方體模型來表 2 示，其三原色強(qiáng)度範(fàn)圍分別為 0~255，( 如圖 2-2所示 ) 。 R、 G、B 分別表示該座 標(biāo)軸的三個(gè)頂點(diǎn) ( 255,0,0) 、( 0,255,0) 、( 0,0,255) ，原點(diǎn)表示黑色，三軸的交會(huì)頂 點(diǎn)為 ( 255,255,255) 表示為白色，而黑色到白色之間的直線則表示為灰階的變化 ( Gray scale) ，其他的色彩則以三原色相互混合而得。 但是當(dāng)需要將影像做解析處理時(shí) ，由於三原色色彩空間是非線性且具有強(qiáng)烈 的關(guān)連性，對(duì)於影像本身以外的變化干擾十分敏感，尤其是陰影的部分，所以在 本研究專題中對(duì)影像資料作解析時(shí)，為了色彩特徵辨識(shí)的準(zhǔn)確性，我們選擇以 YUV 的色彩空間直接分析影像資料，而不使用 RGB系統(tǒng)。 B White Gray Black scale G R 圖 2-2 : 色彩正方體表示圖 2.2 YUV color space YUV 色彩空間是歐洲電視系統(tǒng) PAL ( Phase Alteration Line) 中的色差訊號(hào)的 通稱，包含數(shù)位色差 ( Y,Cr,Cb) 及類比色差 ( Y,Pr,Pb) 的訊號(hào)都統(tǒng)稱為 YUV ，所採 用的色彩空間，該視訊傳送規(guī)格為每張圖像有 625條掃描線構(gòu)成，每秒需傳送 25 張圖像。該色彩空間中， Y 代表亮度向量， U和 V 為色差向量，分別表示去除亮 度後的紅色和藍(lán)色，當(dāng) U和 V 皆為零時(shí)，也就是說其 R、G、B三原色信號(hào)相等， 僅剩 Y表示黑白灰階色彩，因此 YUV 色彩空間對(duì)於光源對(duì)色彩影響時(shí)，可以獨(dú)立 將彩度取出分析 。YUV 色彩空間和 RGB色彩空間之間的關(guān)係式如方程式 2-1所示： 3 Y ＝ 0.299*R + 0.587*G + 0.114*B U ＝ -0.147*R - 0.289*G + 0.436*B V ＝ 0.615*R - 0.515*G - 0.100*B 方程式 2-1 色彩學(xué)中，為了可以準(zhǔn)確定量的描述顏色，將色彩定義為三大屬性。在色彩 明暗的區(qū)別上，以亮度 ( Luminance) 表示；在色彩的濃淡上，我們稱之為彩度 ( Chrominance) ，為了表示彩度，必須細(xì)分為色相 ( Hue) 與飽和度 ( Saturation) ，以 YUV 色彩空間來說，其實(shí) Y 值相當(dāng)於為黑白灰階影像，除去亮度訊號(hào)後，由 U 與 V單純表現(xiàn)出彩度。因此如果要將 U與V 色差訊號(hào)以色相、飽和度來表示的話，必須從含有三維空間的色點(diǎn) P投影至 U-V 平面的 P’點(diǎn)，才能清楚的表示， ( 如圖 2-3 所示 ) ，但是 U-V 平面投影法在影像資料受到不穩(wěn)定光源亮度的擾動(dòng)時(shí)，對(duì)於目 標(biāo)色塊有較大的精確性且不易辨識(shí)錯(cuò)誤，但是當(dāng)光源色溫變化過大時(shí)，其飽和度 和色相的增減變化就較不易掌握。 P P’ 圖 2-3 : UV 平面投影表示 因此如果需要判定兩個(gè)任意色點(diǎn)是否為同一彩度時(shí) ，必須確定其色相與飽和 度是相等的 ( 見圖 2-4) ，當(dāng) a1 ＝ a2 時(shí)，表示該色彩的色相相等；當(dāng) p1 ＝ p2 時(shí)，表示該色彩的飽和度相等，兩者皆相等時(shí)則表示此二色點(diǎn)是相同的彩度。由 此我們可以歸納一個(gè)結(jié)果，對(duì)於光源亮度的不穩(wěn)定因素來說，當(dāng)光源亮度不是極 值時(shí) ( 極亮或極暗 )，只要是相似色彩 ，如粉紅色和紅色 ，就具有相近的彩度關(guān)係。 4 因此利用此特性，可以更利於我們?cè)诓环€(wěn)定光源中，準(zhǔn)確的搜尋目標(biāo)色塊。 R  V p1 a1 p2 Y a2 U B G 圖 2-4 : 色相與飽和度向量表示 2.3 pixel-based 在處理影像過程中，從影像中找出存在於影像中物體的特徵，並且進(jìn)行分析 分類、辨識(shí)與描述出此影像的技術(shù)，稱之為影像分類。早期進(jìn)行遙測(cè)影像數(shù)位處 理時(shí)，在影像分析時(shí)的影像切割 ( Image Segment) 方式多採取像素 ( Pixel-based) 的方式，將地表事物切割成一格格的獨(dú)立像素來處理，每一個(gè)獨(dú)立像素經(jīng)過影像 分類後擁有自己的特徵類別；但實(shí)際上，我們的世界並不是如此規(guī)律的，而是由 許多大小不同的空間事物所組成，而且這些事物都是獨(dú)立完整的個(gè)體，例如房 子、樹。且隨著高空間解像力影像的進(jìn)步，相鄰近兩像素之間的相關(guān)性變得更加 的密切，甚至可說這兩相鄰像素是相同的，所以，我們更應(yīng)該把圖像視為一個(gè)個(gè) 大小不一的物件來處理，在這樣的趨勢(shì)之下注重鄰近像素彼此之間的關(guān)係，也就 發(fā)展出以物件的概念來進(jìn)行影像處理 ，而此種物件導(dǎo)向式影像處理的基本原理是 將原始影像加以切割成大小不一的物件，並且在此物件基礎(chǔ)上進(jìn)行影像處理。 5 3. System Architecture Start video input Read RGB→YUV If i = 0 Yes store into PicArray_BG No store into PicArray_Y A. Segmentation Yes |PicArray_BG- No PicArray_M=1 PicArray_Y| >15 PicArray_M=0 Combine PicArray_M Morphological processing B. Morphology Yes Pixel=0 background No object(with shadow) 6 No Y < Ymin object C. Shadow elimination Yes Yes U < V No Yes V < ε U <ε No No U / V <Δα No No V / U <Δα Yes Yes shadow object shadow 圖 3-1 : 程式流程圖 此圖 ( 圖 3-1) 是本專題研究的細(xì)部程式流程圖，主要分成 part. A 、 part. B、 part. C 三部分。 part. A 為 segmentation，主要功能為將影像二值化並將背景與物 件分割。圖中 PicArray_BG 和 PicArray_Y 是用來儲(chǔ)存影像中的各點(diǎn) pixel 的 Y 值，也就是經(jīng)由方程式 2-1 轉(zhuǎn)換所得到的值，而 PicArray_BG 是用來儲(chǔ)存影片中背景影像的 pixel 值、 PicArray_Y 是用來儲(chǔ)存正讀取到的影像 pixel 值， PicArray_M 則用來儲(chǔ)存兩者的差值 ( | PicArray_BG - PicArray_Y | )，並轉(zhuǎn)換為二值化數(shù)值，因 此在 PicArray_M 這個(gè)矩陣中儲(chǔ)存的資料矩陣均為二值化數(shù)值，方便實(shí)驗(yàn)結(jié)果影 像的顯示以及後續(xù)的陰影去除、影像破碎處理。 part. B 為 morphology，主要功 能為去除雜訊、修補(bǔ)物件殘缺、處理影像破碎的問題，其細(xì)部的運(yùn)算方法說明， 會(huì)在下一章節(jié)中做詳細(xì)的介紹。 part. C 為 shadow elimination，主要功能為偵測(cè) 7 物件陰影並去除、降低陰影誤判對(duì)實(shí)驗(yàn)結(jié)果的影響，圖中 Y ＝ | Yc-Yb |、 U ＝ | Uc-Ub | 、 V ＝ | Vc-Vb | 分別代表的是經(jīng)由方程式 2-1 轉(zhuǎn)換後，每張正讀 取到影像 ( Xc) 的 pixel 的 Y 、U、 V 值和背景影像 ( Xb) 的 Y 、U、 V 差值，用來 作為判斷是否為物件或陰影的依據(jù)； Ymin 是用來判斷是否為陰影的條件之一， 我們將 Ymin 的值設(shè)為 30，並與 Y 作判斷比較，數(shù)值大小的設(shè)定與結(jié)果的判 定以及各部份的細(xì)部說明，我們將在下一個(gè)章節(jié) ( 4. Proposal method) 中深入的 探討。 4. Proposal method 首先我們的目標(biāo)和演算法都是建立在單張影像上面，分別對(duì)單張影像來做 處理，因此首要步驟便是將影片切割成連續(xù)的單張影像來處理，這個(gè)部分由於我 們的開發(fā)環(huán)境為 Borland C++ Builder 6 ，此軟體內(nèi)建有分析影片的函式，因此可 以直接套用，利於我們影像實(shí)驗(yàn)的執(zhí)行。而 我們所提出的演算法流程如圖 ( 圖 4-1) 所示：  Video 4.1 Segmentation 關(guān)於視訊物件分割的演算法種類相當(dāng)多， 而這些方法都是為了找出一種最可行、效果最 好的視訊物件分割演算，普遍廣為使用的有以 下幾種方法，在此作一個(gè)簡單的介紹： 1. change detection-based segmentation：此方法為設(shè)定一個(gè) global threshold value，用來判斷連續(xù)兩張影像（ frame）間的變化，而 threshold 的選擇是憑經(jīng)驗(yàn)的根據(jù) false alarm rate 來決定，此方法的缺點(diǎn)為不能正確判別視訊物件中 covered 和 uncovered背景。 2. morphological segmentation：關(guān)於連續(xù)兩張  Segmentation Shadow elimination Morphology No The processing conform with the real or not Yes Result 圖 4-1:演算法流程圖 8 frame 之間的變化，另外一種方法為 morphological segmentation。以上兩種方 法為利用時(shí)間上的資訊來追蹤為利用數(shù)學(xué)上形態(tài)學(xué)運(yùn)算的特性來有效達(dá)成視 訊物件分割的目的，如有效的處理一些幾何學(xué)上的特徵如大小，形狀，對(duì)比 和連接的線條等，這些特徵的處裡正可表現(xiàn)出物件的雛形。然而由形態(tài)學(xué)所 定義分割出的區(qū)塊可能和我們所要求的物件區(qū)塊還有一段差距。 3. motion-based segmentation：在此方法中，藉由一組一致的動(dòng)作和位置參數(shù) 來定義一個(gè)可分割出的區(qū)域 ，這些參數(shù)是經(jīng)由空間和時(shí)間上每個(gè) pixel 色度值的改變所估計(jì)出的，可解決在 change detection-based segmentation的問題。 這項(xiàng)處理的目標(biāo)是預(yù)計(jì)要初步的將物件和背景分離 ，我們主要是利用背景相減的方法來獲得，在目前影像處理的應(yīng)用中，背景相減法依然是最直觀且有效的變動(dòng)偵測(cè)方式，但是相對(duì)的此方法的使用受限於某些條件，例如：光照的變化、背景的更新 等等，但是若忽略這些外在因素的考量，單就物件及背景的區(qū)隔，這的確是一個(gè)簡單而有效的方法。 我們?cè)谧?segmentation之前，還有一個(gè)前置的動(dòng)作，那就是影像的二值化；先將影像的色彩系統(tǒng)，藉由公式 ( 方程式 2-1) ，從 RGB 系統(tǒng)轉(zhuǎn)換成 YUV 系統(tǒng)；然後取其 Y 值來做背景相減的依據(jù)，我們將每個(gè) pixel 經(jīng)由轉(zhuǎn)換的 Y 值，在相減之後的值存入和影像大小相符的陣列中，以便後續(xù)的相關(guān)處理。 取得正在讀取中的影像與背景影像相減的 Y 值，而我們將依據(jù)這些差值，作為判定轉(zhuǎn)換為二值化影像 ( Binary image) 的根據(jù)，公式如下 ( 方程式 4-1) ： 1 if | Y(x,y,t i)-Y(x,y,t 0) | > T di0(x, y)= { 0 otherwise 方程式 4-1 其中 di0 ( x, y) 表示影像中各點(diǎn) pixel 的座標(biāo)位置，Y ( x, y, ti ) 代表目前影像 ( 正 在被讀取的影像第 i 張) pixel 的 Y 值， Y ( x, y, t0) 代表背景影像 pixel 的 Y 值； 我們將兩者的差值用來和門檻值 T 做比較，經(jīng)過多次的測(cè)試我們得到如果將門 9 檻值設(shè)為 15，將會(huì)獲得最佳的效果；因此，我們將絕對(duì)值 15 作為分水嶺，差值 大於 15 以上的，視為變動(dòng)的部分，即物件，並將它設(shè)定為 1，以白色的方式顯 現(xiàn)出來；差值小於 15 以下的，僅產(chǎn)生微小差異的像素，即背景；並將它設(shè)定為 0，以黑色的方式呈現(xiàn)，然後放進(jìn)同一個(gè)陣列當(dāng)中顯示，成為一張二值化影像。 經(jīng)過這段的處理之後，顯示出來的影像已經(jīng)大略可以看出物件和背景的區(qū) 別，而且二值化的顯示方式 ，更是讓整個(gè)影像看起來更加的一目了然 。( 見圖 4-2) 圖 4-2 : 上圖左方為原始影像，右方為 segmentation 處理後的影像 4.2 Shadow elimination 在移動(dòng)物件偵測(cè)的過程中，常受到物件遮蔽或光線所造成的陰影干擾，而這 些陰影將會(huì)對(duì)偵測(cè)的結(jié)果產(chǎn)生不良的影響，尤其在背景相減法的實(shí)作中，陰影將 會(huì)直接被視為物件的本體 ，如此一來，便會(huì)造成物件範(fàn)圍的誤判 。如圖 4-3 所示： 圖 4-3 : segmentation 所造成的誤判情形 10 因此，為了解決此問題，我們針對(duì)經(jīng)由 RGB 色彩系統(tǒng)轉(zhuǎn)換後的 YUV 色彩 系統(tǒng)所提供的 UV 資訊來做處理 ，原理是利用陰影像素點(diǎn)的色調(diào)和飽和度與背景 的像素點(diǎn)色差雖然相似，但是陰影像素點(diǎn)的明亮度卻會(huì)低於背景像素點(diǎn)來偵測(cè)。 如圖 4-4所示，當(dāng)我們以亮度為 Z軸、色調(diào)為 X軸與飽和度為 Y軸所形成的錐 體，發(fā)現(xiàn)越往上方尖錐的部分越白，越往下方尖錐則越黑；因?yàn)楫嬅嫔{(diào)及飽和 度的不同，造成轉(zhuǎn)換二值化處理時(shí)仍然有會(huì)有差異，因此在這個(gè)部分將針對(duì)經(jīng)由 二值化轉(zhuǎn)換所造成的誤判情形加以修正 ，使用陰影偵測(cè)進(jìn)一步的來做物件與陰影 區(qū)隔的判斷。 圖 4-4 : YUV 色彩系統(tǒng)與 RGB 色彩系統(tǒng)的關(guān)係向量圖 經(jīng)由測(cè)試，將目前影像的Ｙ值與背景影像的Ｙ值相減，即 Y；一但 Y 大 於臨界值 Ymin ，表示像素差異較大，可能為變動(dòng)成分，因此將它判定為物件的 一部分；若否，則取其經(jīng)由 RGB 色彩系統(tǒng)轉(zhuǎn)換成 YUV 色彩系統(tǒng)中的 UV 值， 作 U 是否小於 V 的判斷， ( 註： Uc、 Vc 代表目前偵測(cè)的 UV 影像值； Ub、 Vb 代表背景偵測(cè)的 UV 影像值 ) ，如果成立的話，表示可能是屬於陰影的部分， 因此再作 V 是否小於ε的比較，由於ε設(shè)定的值相當(dāng)小，如果再次成立的話， 表示兩張影像的飽和度相近，便視為陰影；若 U 不小於 V 則做 U 是否小於 11 ε的判斷，若成立表示兩張影像的色相相似，則視為陰影；再者，當(dāng) V < ε的 判斷不成立時(shí)，則須再做 U / V 的運(yùn)算，代表的是一個(gè) arctan 值，並判斷其 值是否小於 Δα，如果成立代表此兩張影像的色相與飽和度非常相似，因此我們 便可將它視為陰影，若不成立則視為物件； U <ε是否成立的判斷也是類似的 情形，如果不成立的話，將再做 V / U 此 arctan 值是否小於 Δα的判斷，如 果判斷成立，則視為陰影；若不成立表示其色相與飽和度的差異度較大，因此則 視為物件。在此比較運(yùn)算中 U 、 V 何者作為分母是按照其差值大小來決定， 將數(shù)值較大者作為分母，用來和 Δα做比較。 圖 4-5 即為經(jīng)過 UV 偵測(cè)法而去除陰影，以及只經(jīng)過 segmentation處理的影 像，相互比較的結(jié)果。由比較的結(jié)果可發(fā)現(xiàn) shadow detection algorithm的確有效 的減少了陰影對(duì)於物件本體的干擾。 圖 4-5 : 左半部為 segmentation 的結(jié)果，右半部為經(jīng)過 shadow elimination 改進(jìn)的結(jié)果 12 4.3 Morphology 我們這裡所指的型態(tài)學(xué) ( Morphology) 是針對(duì)數(shù)學(xué)形式來介紹，簡單的說，它 就是集合理論；在形態(tài)學(xué)中最常使用的就是膨脹 ( Dilation ) 和侵蝕 ( Erosion) 。它是利用一個(gè) structuring element 來跟圖形作邏輯運(yùn)算，例如 AND 、OR 等等，如下圖所示 ( 圖 4-6)，以這些運(yùn)算為基礎(chǔ)，便形成 Dilation 跟 Erosion 的基本運(yùn)算架構(gòu)。 圖 4-6 : Morphology 的各種運(yùn)算與結(jié)果 13 膨脹為形態(tài)學(xué)上最基本的運(yùn)算元之一。假定在一平面中，有 A 、 B 兩個(gè)影 像，如圖 4-7 所示，則 A、 B 的膨脹演算定義為：將影像 B 設(shè)為一遮罩，當(dāng)影像 B 沿著影像 A 由左上到右下掃描時(shí)，若在遮罩鄰域範(fàn)圍內(nèi)有任何像素點(diǎn)其二值 化的值為 1 時(shí)，則將影像 A 之遮罩內(nèi)中心點(diǎn)設(shè)定為 1，否則為 0。A 將根據(jù) B 的 形狀，擴(kuò)增與遮罩的鄰域範(fàn)圍，因?yàn)?A 、B 皆為正方形，若 B 邊長為 d/4 單位， 則經(jīng)過 Dilation 運(yùn)算的 A 將會(huì)每邊增加 2 個(gè) d/8 單位的長度，也總是總長增加了 2* ( d/8) 個(gè)單位長度，如圖 4-7 所示： 圖 4-7 : Dilation 運(yùn)算情形表示 侵蝕也是形態(tài)學(xué)上的另一種運(yùn)算元。假定在一平面中，有 A 、B 兩個(gè)影像， 如圖 4-8 所示，則 A、B 的侵蝕演算定義為：將影像 B 設(shè)為一遮罩，當(dāng)影像 B 沿 著影像 A 由左上到右下掃描時(shí)，若在遮罩鄰域範(fàn)圍內(nèi)有任何像素點(diǎn)其二值化的 值為 0 時(shí)，則將影像 A 之遮罩內(nèi)中心點(diǎn)設(shè)定為 0，否則為 1。A 將根據(jù) B 的形狀， 縮減與遮罩的鄰域範(fàn)圍，因?yàn)?A、 B 皆為正方形，若 B 邊長為 d/4 單位，則經(jīng)過 Erosion 運(yùn)算的 A 將會(huì)每邊減少 2 個(gè) d/8 單位的長度，也總是總長減少了 2* ( d/8) 個(gè)單位長度如圖 4-8 所示： 圖 4-8 : Erosion 運(yùn)算情形表示 具備以上概念之後，將介紹實(shí)際操作所運(yùn)用的 Opening 和 Closing method； 14 Opening 是被廣泛使用來消去圖片中的突起或是將不必要的細(xì)連結(jié)線消除， Opening 的作法一樣先利用一遮罩，對(duì)目標(biāo)先做一次 erosion 使其邊緣輪廓根據(jù) 遮罩形狀縮減一些，同時(shí)去除不必要的雜訊如細(xì)線，再根據(jù)遮罩對(duì)目標(biāo)做一次 dilation，使目標(biāo)膨脹回到與原本較相似的狀態(tài) ，藉此來去除雜訊 ，如圖 4-9 所示： 圖 4-9 : opening 示意圖 而相對(duì)的 Closing 則是被應(yīng)用在連接斷點(diǎn)、消除空洞並填補(bǔ)空隙， Closing 的 作法是取一遮罩，先對(duì)目標(biāo)做一次 dilation 使其邊緣輪廓根據(jù)遮罩形狀膨脹一 些，藉此填補(bǔ)空洞，降低雜訊對(duì)目標(biāo)的影響，再根據(jù)遮罩對(duì)目標(biāo)做一次 erosion， 使目標(biāo)縮減回到與原本相似的狀態(tài)，藉此來填補(bǔ)殘缺，減少雜訊影響產(chǎn)生的空 隙，如圖 4-10 所示： 圖 4-10 : closing 示意圖 15 因此，我們藉由以上方法，針對(duì)經(jīng)過 UV 偵測(cè)的影像且去除陰影的影像來做 除雜訊的處理，先前所介紹的 structuring element範(fàn)例皆為正方形，這是為了方 便解釋它的運(yùn)算過程 ，所以實(shí)際應(yīng)用上，並不一定都會(huì)使用如此方正的 structuring element 來做運(yùn)算，通常需要視擷取出的物件型態(tài)來做選擇 structuring element形 狀的根據(jù)，在本專題實(shí)驗(yàn)中，由於大部分的首要處理是去除雜訊，而這些雜訊通 常為細(xì)微影像，所以我們先針對(duì)影像做 Opening 的處理，藉此除掉不必要的細(xì)微 雜訊，再針對(duì)剩餘的物件本體部分作修補(bǔ)的工作，選擇 Closing 的處理，使物件 因?yàn)樵诮?jīng)過 UV 偵測(cè)去除陰影後，所產(chǎn)生的空缺及邊緣的破碎加以填補(bǔ)；在這幾 項(xiàng)的處理中，我們都選取以菱形的 structuring element 來運(yùn)作，示意圖如下 ( 圖 4-11、圖 4-12) ： 圖 4-11 : Dilation 圖 4-12 : Erosion 而經(jīng)過 morphological method 處理的實(shí)驗(yàn)結(jié)果如下圖 4-13 所示，由比較圖 中，我們可以很清楚的發(fā)現(xiàn)，因?yàn)?segmentation所產(chǎn)生的細(xì)微雜訊以及 shadow elimination 所產(chǎn)生的不良影響，在經(jīng)過這次的處理後，對(duì)於物件本體的干擾，大 幅度的被加以改善了： 16 圖 4-13 : 左半部為 segmentation＋ shadow elimination 的結(jié)果，右半部為加入了 morphological method 處理的比較圖 由上面這個(gè)實(shí)驗(yàn)結(jié)果的比較圖可知， morphological method 確實(shí)有效的將雜 訊去除，且有效的填補(bǔ)物件破碎與空洞。 5. Simulation Result 關(guān)於本實(shí)驗(yàn)的 電腦硬體設(shè)備如下： ?Intel(R) Pentium(R) 4 CPU 3.00GHz ?512 MB RAM ?120 GB HardDisk ?Operation System: Microsoft Windows XP SP3 17 實(shí)驗(yàn)用的影片資訊如下： ?Format : AVI ?Format/Info : Audio Video Interleave ?Format/Family : RIFF ?File size : 87.0 MiB ?PlayTime : 12s ?Bit rate : 61 Mbps ?Codec : RGB ?Width : 352 pixels . Height : 288 pixels ?Frame rate : 25.000 fps ?Resolution : 24 bits 下圖為實(shí)驗(yàn)各個(gè)階段的結(jié)果比較圖 ，從 5-A 圖與 5-B 圖可看出原始影像與灰階影像之間的差異；而經(jīng)過陰影偵測(cè)處理的比較圖如 5-C、5-D 所示， 5-C 是只經(jīng)過 segmentation的結(jié)果，而 5-D 為經(jīng)過 shadow elimination 處理的結(jié)果，由此比較圖可以發(fā)現(xiàn)，在經(jīng)過陰影去除後，物件判讀的正確性，的確相對(duì)的提高了。 5-A 5-B 5-C 5-D 圖 5-A : 原始影片經(jīng) Borland C++ Builder 分析出來的影像 圖 5-B : 原始影像經(jīng)過色彩系統(tǒng)轉(zhuǎn)換所呈現(xiàn)的灰階影像 圖 5-C : 直接作背景相減尚未經(jīng)過其他處理的二值化影像 圖 5-D : 經(jīng)過 UV 偵測(cè)，去除陰影的二值化影像 18 而程式執(zhí)行畫面如下所示： 圖 5-E : 程式執(zhí)行畫面 6. Conclusion 在這個(gè)實(shí)作結(jié)果當(dāng)中 ，我們發(fā)現(xiàn)這個(gè)演算法可以有效地切割出移動(dòng)物件與背景。在偵測(cè)過程中，發(fā)現(xiàn)此演算法也可以去除大部份的陰影和雜訊，但是因?yàn)槲? 們的實(shí)驗(yàn)方法是固定以第一張影像當(dāng)作背景影像來做背景相減 method 的運(yùn)算，用來判斷後續(xù)的影像中是否產(chǎn)生移動(dòng)物件 ，對(duì)於之後背景環(huán)境的改變沒有辦法即時(shí)更新，導(dǎo)致門檻值判斷無法準(zhǔn)確。 而 shadow elimination 的處理，雖然有效的去除物件陰影的部分，使得圈選的物件範(fàn)圍更加的確實(shí)，但是相對(duì)的也造成物件本體的破碎與殘缺，因此我們利用 morphological method 的處理來改善，其中 closing 與 opening 的方法改善了雜訊干擾並且填補(bǔ)破碎物件，從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)，絶大多數(shù)的細(xì)微雜訊皆可有效的去除，完整的保留主要移動(dòng)物件的區(qū)塊，並且發(fā)現(xiàn)此方法可以有效填補(bǔ)大部份的破碎物件區(qū)塊，但對(duì)於較大的破碎物件區(qū)塊則無法填補(bǔ)完整。從實(shí)驗(yàn)結(jié)果中顯示，此方法達(dá)到我們預(yù)期的效果。 19 未來展望的部分，除了針對(duì)目前的實(shí)驗(yàn)結(jié)果，修正演算法增進(jìn)效率外，也希 望能利用不同的演算法，更完整的取出物件資訊，例如即時(shí)的背景更新方法，同 時(shí)也更進(jìn)一步的改善物件殘缺情形，對(duì)於破碎區(qū)塊的填補(bǔ)能獲得更佳的效果，使 得陰影偵測(cè)的效果更加的顯著。 7. References [1] Rafael C. Gonzalez, Richard E. Woods ,“Digital Image Processing”Proc. Second Edition, Prentice Hall, 2002. [2] Ingo Feldmann, Serap Askar, Nicole Brandenburg, Peter Kauff, Oliver Schreer, “Real-Time Segmentation For Advanced Disparity Estimation In Immersive Videoconference Applications” , Heinrich-Hertz-Institut, Berlin, Einsteinufer 37,10587. [3] Yung-Chin Lin, “Human Gait Classification Using Compressed Video Data” [4] Jen-Hung Chang, “Object Detection for Surveillance System and Vehicle Detection and Indexing for Traffic Video” , Institute of the Department of Electrical Engineering National Yunlin University of Science and Technology, July 2004. 20