《計算機視覺單幅圖像深重建 SFTPPT課件》由會員分享，可在線閱讀，更多相關《計算機視覺單幅圖像深重建 SFTPPT課件（53頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、包含多個紋理區(qū)域的圖象包含多個紋理區(qū)域的圖象第1頁/共53頁beerenflowerfoodwater彩色紋理圖像彩色紋理圖像第2頁/共53頁1 1 紋理（紋理（TextureTexture） 目前對于紋理的精確定義還未形成統(tǒng)一認識，目前對于紋理的精確定義還未形成統(tǒng)一認識，多根據(jù)應用需要做出不同定義多根據(jù)應用需要做出不同定義 兩種較常采用的定義：兩種較常采用的定義： 定義定義1 1 按一定規(guī)則對元素（按一定規(guī)則對元素（elementselements）或基元（或基元（primitivesprimitives）進行排列所形成的重）進行排列所形成的重復模式復模式. . 定義定義2 2 如果圖像函數(shù)

2、的一組局部屬性是如果圖像函數(shù)的一組局部屬性是恒定的，或者是緩變的，或者是近似周期性恒定的，或者是緩變的，或者是近似周期性的，則圖象中的對應區(qū)域具有恒定的紋理的，則圖象中的對應區(qū)域具有恒定的紋理第3頁/共53頁紋理紋理紋理的基本特征紋理的基本特征 紋理是區(qū)域?qū)傩?，并且與圖像分辨率（或稱尺度，紋理是區(qū)域?qū)傩?，并且與圖像分辨率（或稱尺度，resolution or scaleresolution or scale）密）密切相關切相關 重復性重復性規(guī)則性規(guī)則性周期性周期性方向性方向性第4頁/共53頁紋理分析與合成紋理分析與合成紋理分析紋理分析(analysis):(analysis): 紋理分類紋理分

3、類(classification)(classification)、紋理分割、紋理分割(segmentation)(segmentation)、從紋理恢復形、從紋理恢復形狀狀(shape from texture).(shape from texture).紋理合成紋理合成(synthesis):(synthesis): 由基元合成紋理圖像由基元合成紋理圖像. . 圖形繪制圖形繪制(graph rendering)(graph rendering)、圖像壓縮、圖像壓縮(image compression)(image compression)、紋理、紋理分析分析. . 第5頁/共53頁紋理分割

4、與分類紋理分割與分類紋理分割紋理分割 確定圖像中紋理的邊界。確定圖像中紋理的邊界。 紋理分類紋理分類 確定紋理區(qū)域或圖像的類別確定紋理區(qū)域或圖像的類別. .第6頁/共53頁2 2 紋理分析的方法紋理分析的方法統(tǒng)計方法（統(tǒng)計方法（statistical methodsstatistical methods） 利用紋理在空間上的灰度分布特性：利用紋理在空間上的灰度分布特性： 灰度級同現(xiàn)矩陣，自相關函數(shù)灰度級同現(xiàn)矩陣，自相關函數(shù)結(jié)構(gòu)方法（結(jié)構(gòu)方法（structural methodsstructural methods） 利用基元排列成紋理的規(guī)則性：利用基元排列成紋理的規(guī)則性： 基元特征，基元組合規(guī)

5、則基元特征，基元組合規(guī)則第7頁/共53頁紋理分析的方法紋理分析的方法 基于模型的方法基于模型的方法(modal based methods)(modal based methods) 一幅紋理圖像是一類參數(shù)模型的實例：一幅紋理圖像是一類參數(shù)模型的實例： Markov (Gibbs) Markov (Gibbs) 隨機場，分形隨機場，分形(fractal)(fractal) 信號處理方法信號處理方法(signal processing methods)(signal processing methods) 根據(jù)紋理的周期性，采用濾波方法處理：根據(jù)紋理的周期性，采用濾波方法處理： 空域濾波、頻域濾

6、波（空域濾波、頻域濾波（FourierFourier變換，變換，GaborGabor變換，小波變換）變換，小波變換）第8頁/共53頁3 3 統(tǒng)計方法統(tǒng)計方法研究紋理在空間上的灰度分布特征研究紋理在空間上的灰度分布特征 灰度級同現(xiàn)矩陣（灰度級同現(xiàn)矩陣（grey level co-occurrence matricesgrey level co-occurrence matrices，GLCMGLCM） 自相關性函數(shù)（自相關性函數(shù)（autocorrelation functionautocorrelation function） 用下式表示一幅用下式表示一幅 圖像圖像第9頁/共53頁3.1 3.1

7、 灰度級同現(xiàn)矩陣灰度級同現(xiàn)矩陣對于具有對于具有G G個灰度級的圖像，受位移矢量個灰度級的圖像，受位移矢量控制的灰度級同現(xiàn)矩陣控制的灰度級同現(xiàn)矩陣 是一個是一個 的矩陣，的矩陣，矩陣行列表示各個灰度級，矩陣元素反映兩種灰矩陣行列表示各個灰度級，矩陣元素反映兩種灰度在相距一定距離的位置上同時出現(xiàn)的次數(shù)，具度在相距一定距離的位置上同時出現(xiàn)的次數(shù)，具體按下式計算：體按下式計算：(Haralick, 1979)(Haralick, 1979)第10頁/共53頁灰度級同現(xiàn)矩陣灰度級同現(xiàn)矩陣例例1 1 2 1 2 0 1 0 2 1 1 2 i 0 2 2 0 1 2 2 0 j 2 1 2 1 2 2 0

8、 1 2 3 2 2 0 1 0 1左邊為一幅左邊為一幅5 55 5的圖象，具有三個灰度級，的圖象，具有三個灰度級，右邊為灰度級同現(xiàn)矩陣，位移矢量右邊為灰度級同現(xiàn)矩陣，位移矢量d=(1,1)d=(1,1)0 01 12 20 0 1 1 2 2第11頁/共53頁灰度級同現(xiàn)矩陣灰度級同現(xiàn)矩陣例例2 21 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 1 i i j j 1 24 0 0 i 1 0 28 0 i

9、49 56 0 25 1 28 0 1 0 1 0 1 j jd=(1,1)時的Pi,j d=(1,0) 時的Pi,j左邊為棋格圖像，中間為位移矢量為d=(1,1)的灰度級同現(xiàn)矩陣，右邊為位移矢量為d=(1,0)的灰度級同現(xiàn)矩陣。第12頁/共53頁灰度級同現(xiàn)矩陣灰度級同現(xiàn)矩陣請計算請計算 位移矢量位移矢量d=(1,1)d=(1,1)灰度級同現(xiàn)矩陣？灰度級同現(xiàn)矩陣？第13頁/共53頁基于灰度級同現(xiàn)矩陣的紋理特征基于灰度級同現(xiàn)矩陣的紋理特征 灰度級同現(xiàn)矩陣在一定程度上反映了紋理圖像中各灰度級在空間上的分布灰度級同現(xiàn)矩陣在一定程度上反映了紋理圖像中各灰度級在空間上的分布特性特性 如果灰度級同現(xiàn)矩陣集

10、中于對角線上，則對應位移矢量接近于該紋理中基如果灰度級同現(xiàn)矩陣集中于對角線上，則對應位移矢量接近于該紋理中基元的排列規(guī)則元的排列規(guī)則 在灰度級同現(xiàn)矩陣的基礎上，可定義多種紋理特征在灰度級同現(xiàn)矩陣的基礎上，可定義多種紋理特征. . 紋理分析領域中廣為人知和最經(jīng)常采用的特征之一紋理分析領域中廣為人知和最經(jīng)常采用的特征之一. .第14頁/共53頁紋理特征紋理特征公式公式墑墑 (entropy)(entropy)能量能量 (energy)(energy)對比度對比度 (contrast)(contrast)均勻度均勻度 (homegeneity)(homegeneity)相關性相關性 (correla

11、tion)(correlation)第15頁/共53頁灰度級同現(xiàn)矩陣的問題與發(fā)展灰度級同現(xiàn)矩陣的問題與發(fā)展問題問題 缺乏選擇位移矢量的有效方法缺乏選擇位移矢量的有效方法. . 發(fā)展發(fā)展 自適應多尺度灰度級同現(xiàn)矩陣自適應多尺度灰度級同現(xiàn)矩陣 (adaptive multi-scale GLCM)(adaptive multi-scale GLCM)：種子區(qū)：種子區(qū)域增長域增長 基于遺傳算法的基于遺傳算法的GLCGLC特征提取特征提取 (genetic algorithm based GLC (genetic algorithm based GLC feature extraction): fea

12、ture extraction): 用遺傳算法實現(xiàn)高斯加權優(yōu)化用遺傳算法實現(xiàn)高斯加權優(yōu)化第16頁/共53頁3.2 3.2 自相關函數(shù)自相關函數(shù)圖像自相關圖像自相關(autocorrelation)(autocorrelation)函函數(shù)數(shù) ： NuNvxNuyNvvuINyvxuIvuIyNxNyxp112211,1,1, 自相關函數(shù)的周期性反映紋理基元重復出現(xiàn)自相關函數(shù)的周期性反映紋理基元重復出現(xiàn)的周期性；其下降速度反映紋理基元的粗細的周期性；其下降速度反映紋理基元的粗細度度(coarseness)(coarseness)：紋理粗，則緩降；紋理細，：紋理粗，則緩降；紋理細，則速降則速降. .

13、 規(guī)則紋理的自相關函數(shù)具有峰值和規(guī)則紋理的自相關函數(shù)具有峰值和谷值，可用于檢測紋理基元的排列情況谷值，可用于檢測紋理基元的排列情況. .第17頁/共53頁紋理粗細度與自相關函數(shù)的關系示意圖第18頁/共53頁自相關函數(shù)自相關函數(shù)自相關函數(shù)與自相關函數(shù)與FourierFourier變換存在聯(lián)變換存在聯(lián)系系自相關函數(shù)可在頻域中計算，而且自相關函數(shù)可在頻域中計算，而且效率更高效率更高. .規(guī)則紋理的規(guī)則紋理的FourierFourier對數(shù)譜對數(shù)譜同一紋理的自相關函數(shù)同一紋理的自相關函數(shù)第19頁/共53頁4 4 結(jié)構(gòu)方法結(jié)構(gòu)方法 認為紋理基元的規(guī)則排列構(gòu)成紋理，認為紋理基元的規(guī)則排列構(gòu)成紋理，根據(jù)基元

14、來分析與合成紋理根據(jù)基元來分析與合成紋理 三個步驟：三個步驟：1.1.圖像增強圖像增強 多尺度多尺度LoGLoG濾波濾波2.2.計算各個基元的統(tǒng)計特征，作為紋理特征，如平均強度、面積、周長、方計算各個基元的統(tǒng)計特征，作為紋理特征，如平均強度、面積、周長、方向、離心率向、離心率3.3. 基于基元組合規(guī)則分析與合成紋理：圖模型、樹文法等等基于基元組合規(guī)則分析與合成紋理：圖模型、樹文法等等 第20頁/共53頁5 5 基于模型的方法基于模型的方法建立紋理圖像的參數(shù)模型，用于表建立紋理圖像的參數(shù)模型，用于表示與合成紋理示與合成紋理紋理合成主要采用基于模型的方紋理合成主要采用基于模型的方法法主要問題是估計

15、模型參數(shù)，使根據(jù)主要問題是估計模型參數(shù)，使根據(jù)模型合成的紋理圖像逼近原紋理圖模型合成的紋理圖像逼近原紋理圖像像. .兩種模型兩種模型 MarkovMarkov隨機場（隨機場（Markov random field, or Gibbs random field Markov random field, or Gibbs random field ） 分形（分形（fractalfractal）第21頁/共53頁6.1 6.1 空域濾波空域濾波局部模板法局部模板法 設計一組具有頻率選擇性的模板，與圖像做卷積設計一組具有頻率選擇性的模板，與圖像做卷積. .局部矩法局部矩法 以每一個像素為中心，計算局部

16、窗口內(nèi)的矩特征值，形成特征圖象以每一個像素為中心，計算局部窗口內(nèi)的矩特征值，形成特征圖象. . 相相當于用一組模板對圖像進行濾波當于用一組模板對圖像進行濾波. .第22頁/共53頁空域濾波空域濾波 The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filters and 4 low-pass Gaussian filters.第23

17、頁/共53頁6.2 Fourier6.2 Fourier變換特征變換特征對圖像做對圖像做FourierFourier變換，根據(jù)能量譜和變換，根據(jù)能量譜和相位譜定義紋理特征相位譜定義紋理特征. .紋理圖像及其紋理圖像及其FourierFourier變換變換第24頁/共53頁各個環(huán)各個環(huán)(ring)區(qū)域和劈區(qū)域和劈(wedge)區(qū)域內(nèi)的總能量區(qū)域內(nèi)的總能量組成紋理特征矢量組成紋理特征矢量.反映紋理方向反映紋理方向反映紋理尺寸反映紋理尺寸第25頁/共53頁6.3 Gabor6.3 Gabor變換與小波變換變換與小波變換GaborGabor變換（高斯窗口）變換（高斯窗口） dxebxwxfbuFuxj

18、w2, 小波變換：小波變換： 窗口寬度隨頻率變化而變化窗口寬度隨頻率變化而變化 dxabxhxfabuWaf1,(D. Gabor, 1946)(D. Gabor, 1946)第26頁/共53頁GaborGabor變換紋理特征變換紋理特征二維二維GaborGabor濾波器具有頻率和方向選濾波器具有頻率和方向選擇性擇性GaborGabor紋理特征提取的一般步驟：紋理特征提取的一般步驟： 1. 1. 用不同尺度和方向的用不同尺度和方向的GaborGabor濾波器對圖像進行濾波，得到一組子圖象；濾波器對圖像進行濾波，得到一組子圖象； 2. 2. 對各個子圖象做一定處理；對各個子圖象做一定處理； 3.

19、 3. 根據(jù)子圖象計算相應特征，形成特征矢量或特征圖象，比如子圖象窗根據(jù)子圖象計算相應特征，形成特征矢量或特征圖象，比如子圖象窗口內(nèi)的標準差口內(nèi)的標準差. .第27頁/共53頁GaborGabor變換紋變換紋理特征示例：理特征示例：(a) (a) 紋紋理圖象理圖象(b) (b) 濾波圖象濾波圖象 (16,135(16,135度度) )(c) (c) 濾波圖象濾波圖象 (32,0(32,0度度) )(d) (d) 特征圖象特征圖象(b)(b)(e) (e) 特征圖象特征圖象(c)(c)第28頁/共53頁小波變換紋理特征小波變換紋理特征 對圖像作小波變換，對圖像作小波變換， 分別得到水平和垂直方分

20、別得到水平和垂直方向上的高頻和低頻子圖向上的高頻和低頻子圖象，可以對低頻子圖象象，可以對低頻子圖象或每個子圖象再作同樣或每個子圖象再作同樣的變換的變換. . 根據(jù)最后得到根據(jù)最后得到的每個子圖象計算一個的每個子圖象計算一個特征，如能量，墑等，特征，如能量，墑等，形成紋理特征矢量形成紋理特征矢量. .第29頁/共53頁7 7 從紋理恢復形狀從紋理恢復形狀根據(jù)紋理屬性變化與表面形狀的根據(jù)紋理屬性變化與表面形狀的關系恢復表面形狀關系恢復表面形狀. . 三種效應：三種效應： 透視縮小透視縮小( (與表面方向有關與表面方向有關) ) 縮放和密度變化縮放和密度變化( (與觀察者與觀察者 和紋理基元的距離有

21、關和紋理基元的距離有關) )基準維基準維(characteristic (characteristic dimension)dimension)： 沒有發(fā)生透視縮小的方向沒有發(fā)生透視縮小的方向第30頁/共53頁從紋理恢復形狀從紋理恢復形狀幾種方法幾種方法 Bajcsy-LiebermanBajcsy-Lieberman方法：利用基元尺寸梯度，求相對深度方法：利用基元尺寸梯度，求相對深度; ; Witken Witken方法：利用邊緣方向分布，估計表面方向方法：利用邊緣方向分布，估計表面方向; ; Blostein-Ahuja Blostein-Ahuja方法：利用基元面積梯度，估計表面方向方法

22、：利用基元面積梯度，估計表面方向. .第31頁/共53頁橢圓長短軸在縮?。s放效應）橢圓長短軸在縮?。s放效應）縮小速度長軸為線性，短軸為二次（透視縮小效縮小速度長軸為線性，短軸為二次（透視縮小效應，長軸方向為基準維）應，長軸方向為基準維）第32頁/共53頁Blostein-AhujaBlostein-Ahuja方法方法假設表面為平面，紋理基元單一且假設表面為平面，紋理基元單一且無深度差無深度差恢復公式（依據(jù)）的推導恢復公式（依據(jù)）的推導 1. 1. 為簡化推導，將坐標系統(tǒng)轉(zhuǎn)換到為簡化推導，將坐標系統(tǒng)轉(zhuǎn)換到tilttilt方向方向 2. 2. 根據(jù)透視投影模型，建立任意基元長短軸與中心基元長短

23、軸的長度關根據(jù)透視投影模型，建立任意基元長短軸與中心基元長短軸的長度關系；系； 3. 3. 將上述關系轉(zhuǎn)化為任意基元與中心基元的面積關系將上述關系轉(zhuǎn)化為任意基元與中心基元的面積關系. .第33頁/共53頁坐標系統(tǒng)變換坐標系統(tǒng)變換第34頁/共53頁透視投影模型透視投影模型第35頁/共53頁Blostein-AhujaBlostein-Ahuja方法方法形成表面方向估計依據(jù)形成表面方向估計依據(jù) 為未知參數(shù)空間，根據(jù)紋理圖象為未知參數(shù)空間，根據(jù)紋理圖象從中搜索最佳結(jié)果：從中搜索最佳結(jié)果： 將該空間離散化，對于每組值，計算圖象中將該空間離散化，對于每組值，計算圖象中各個位置上的紋理基元面積，與實際面積

24、比較，各個位置上的紋理基元面積，與實際面積比較，獲得擬合度，取最佳擬合度對應的結(jié)果獲得擬合度，取最佳擬合度對應的結(jié)果. (. (表面擬表面擬合合) )第36頁/共53頁Blostein-AhujaBlostein-Ahuja方法結(jié)果示例方法結(jié)果示例第37頁/共53頁基于基于3D3D紋理信息的深度估計算法紋理信息的深度估計算法 SFTSFT的傳統(tǒng)方法是通過建立一個隨機場模型描述圖像中的傳統(tǒng)方法是通過建立一個隨機場模型描述圖像中紋理信息，通過學習得到模型參數(shù)，實現(xiàn)場景深度重紋理信息，通過學習得到模型參數(shù)，實現(xiàn)場景深度重建，但由于此類方法使用的是局部的、二維紋理信息，建，但由于此類方法使用的是局部的

25、、二維紋理信息，因此所建立的模型中無法完全反映出場景中各目標間因此所建立的模型中無法完全反映出場景中各目標間的空間關系。近幾年來，針對此類問題的研究逐漸向的空間關系。近幾年來，針對此類問題的研究逐漸向使用全局的、多尺度的、分層次的紋理信息方向發(fā)展，使用全局的、多尺度的、分層次的紋理信息方向發(fā)展，并已經(jīng)開始應用于實際系統(tǒng)中。并已經(jīng)開始應用于實際系統(tǒng)中。 20062006年，斯坦福大學的年，斯坦福大學的AndrewAndrew教授等人應用機器學習教授等人應用機器學習的方法，采用分層的多尺度馬爾科夫隨機場模型，通的方法，采用分層的多尺度馬爾科夫隨機場模型，通過對大量的訓練集數(shù)據(jù)的學習，建立室外場景圖

26、像中過對大量的訓練集數(shù)據(jù)的學習，建立室外場景圖像中各目標間的空間關系模型，并將取得的結(jié)果應用在無各目標間的空間關系模型，并將取得的結(jié)果應用在無人汽車的自主導航中。人汽車的自主導航中。 這種利用全局的三維幾何紋理信息的方法，實際上就這種利用全局的三維幾何紋理信息的方法，實際上就是在利用了圖像是在利用了圖像“質(zhì)地變化率質(zhì)地變化率”的同時也利用了圖像的同時也利用了圖像中的遮擋信息（空間關系）。中的遮擋信息（空間關系）。3-D Depth Reconstruction from a Single Still ImageAshutosh Saxena, Sung H. Chung, Andrew Y.

27、Ng ,2007第38頁/共53頁1.Visual Cues for Depth Perception Monocular Cues texture variations, texture gradients, interposition, occlusion, known object sizes, light and shading, haze, defocus, etc. global information, local information. Stereo Cues Motion Parallax and Focus Cues第39頁/共53頁2.Feature Vector Th

28、e image is divided into small rectangular patches, and estimate a single depth value for each patch. Two types of features: absolute depth featuresused to estimate the absolute depth at a particular patchand relative features, used to estimate relative depths. 第40頁/共53頁Feature Vector three types of

29、local cues: texture variations, texture gradients, color. Capture cues Laws masks(3*3)- texture variations Oriented edge filters(6)- texture variations Color channel(2)- color第41頁/共53頁2.1 Features for absolute depth第42頁/共53頁Features for absolute depth initial feature vector-sum absolute energy and s

30、um squared energy, multiple spatial scales-capture more global properties of the image, immediate neighbors-capture occlusion relationships, vertically column-show vertical structure. absolute depth feature vector x is 19 34 = 646 dimensional.第43頁/共53頁2.2 Features for relative depth A different feat

31、ure vector is used to learn the dependencies between two neighboring patches. a 10-bin histogram of each of the 17 filter outputs |I Fn|, giving us a total of 170 features yis for each patch i at scale s. relative depth features yijs for two neighboring patches i and j at scale s will be the differe

32、nces between their histograms.第44頁/共53頁3. Probabilistic ModelHierarchical Multi-scale MRF Model第45頁/共53頁Probabilistic Model Gaussian Model Laplacian model第46頁/共53頁Gaussian Model di(s) depths for multiple scales s = 1, 2, 3. enforce a hard constraint that depths at a higher scale are the average of t

33、he depths at the lower scale. Ns(i) are the 4 neighbors of patch i at scale s.M is the total number of patches in the image (at the lowest scale); Z is the normalization constant for the model; xi is the absolute depth feature vector for patch i; and and are parameters of the model.第47頁/共53頁Gaussian

34、 Model (r,1r,2r) is the different parameters for each row r in the image The model is a conditionally trained MRF, in that its model of the depths d is always conditioned on the imagefeatures X; i.e., it models only P(d|X). 第48頁/共53頁Laplacian model第49頁/共53頁Experiments Data collection, using a 3-d laser scanner to collect images and their corresponding depthmaps第50頁/共53頁Experiments第51頁/共53頁Experiments(a) original image, (b) ground truth depthmap, (c)predicted depthmap by Gaussian model, (d) predicted depthmap by Laplacian model.第52頁/共53頁感謝您的觀看。第53頁/共53頁