《北理工賈云德《計(jì)算機(jī)視覺》chapter12標(biāo)定》由會員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計(jì)算機(jī)視覺》chapter12標(biāo)定（24頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 第12章 標(biāo)定 　　本章將討論各種攝象機(jī)系統(tǒng)及深度成像系統(tǒng)的標(biāo)定方法．在攝影測量學(xué)領(lǐng)域中，已經(jīng)建立了大量的攝象機(jī)和測距傳感器標(biāo)定方法．這些方法可以用來確定攝象機(jī)或測距傳感器在場景中的位置和方向以及與場景坐標(biāo)之間的關(guān)系． 　　在攝影測量學(xué)中有以下四個(gè)標(biāo)定問題： (1) 絕對定位：通過標(biāo)定點(diǎn)確定兩個(gè)坐標(biāo)系在絕對坐標(biāo)系統(tǒng)中的變換關(guān)系，或確定測距傳感器在絕對坐標(biāo)系中的位置和方向． (2) 相對定位：通過場景中的標(biāo)定點(diǎn)投影確定兩個(gè)攝象機(jī)之間的相對位置和方向． (3) 外部定位：通過場景中的標(biāo)定點(diǎn)投影確定攝象機(jī)在絕對坐標(biāo)系中的位置

2、和方向． (4) 內(nèi)部定位：確定攝象機(jī)內(nèi)部幾何參數(shù)，包括攝象機(jī)常數(shù)，主點(diǎn)的位置以及透鏡變形的修正量． 這些標(biāo)定問題主要起源于高空攝影技術(shù)，是攝影測量中的經(jīng)典問題．除了以上四個(gè)標(biāo)定問題外，攝影測量學(xué)還解決以下兩個(gè)問題：一是通過雙目立體視差確定點(diǎn)在場景中的實(shí)際位置，二是對立體圖像對進(jìn)行校正變換，使得立體圖像對的外極線與圖像的行平行以便簡化后續(xù)處理(見第十一章)． 攝象機(jī)標(biāo)定過程中涉及到以下幾種坐標(biāo)，場景坐標(biāo)、攝象機(jī)坐標(biāo)、圖像坐標(biāo)和像素坐標(biāo)等，這些坐標(biāo)已經(jīng)在1．7中介紹成像基礎(chǔ)知識時(shí)引入．確定這些坐標(biāo)之間的關(guān)系就是本章所要討論的各種標(biāo)定問題的目的． 12．1 剛體變換 物

3、體位置和方向的任意變化都可以認(rèn)為是剛體變換，因?yàn)槲矬w的移動只改變其位置和方向，并不改變其形狀和大小．假定通過兩個(gè)處于不同位置的攝像機(jī)均可看到點(diǎn)，點(diǎn)在兩個(gè)攝像機(jī)坐標(biāo)系中的坐標(biāo)分別是和．顯然兩個(gè)攝象機(jī)位置之間的變換是剛體運(yùn)動，因此，點(diǎn)在第一個(gè)視場中的坐標(biāo)可以通過旋轉(zhuǎn)和平移變換到第二個(gè)視場中的坐標(biāo)， (12．1) 其中矩陣R是一個(gè)的正交方陣，用于旋轉(zhuǎn)變換： (12．2) 矢量表示平移，或者說點(diǎn)是第一個(gè)坐標(biāo)系原點(diǎn)在第二個(gè)坐標(biāo)系上的坐標(biāo)，如圖12．1所示． 圖12．1 兩個(gè)攝像機(jī)坐標(biāo)系 　　方程12．1可以

4、認(rèn)為是計(jì)算一個(gè)點(diǎn)經(jīng)過旋轉(zhuǎn)和平移以后的新坐標(biāo)，或是計(jì)算空間中同一個(gè)點(diǎn)在不同坐標(biāo)系中的坐標(biāo) ．前者用于剛體力學(xué)：在物體移動到一個(gè)新的位置以后，計(jì)算物體上一點(diǎn)的新坐標(biāo)；后者用于標(biāo)定問題：同一點(diǎn)在不同觀察位置上觀察將會得到不同的坐標(biāo)，這種不同可以由剛體變換確定，而標(biāo)定問題就是來確定這種剛體變換．例如，考慮兩個(gè)具有不同位置和姿態(tài)的攝象機(jī)觀察場景中同一點(diǎn)，由于觀察角度不同，這一點(diǎn)在兩個(gè)攝像機(jī)坐標(biāo)系中的坐標(biāo)是不同的．設(shè)想旋轉(zhuǎn)第一個(gè)攝象機(jī)，使其方向與第二個(gè)攝象機(jī)的方向相同；再設(shè)想將第一攝象機(jī)平移到第二攝象機(jī)的位置上，則兩個(gè)攝象機(jī)坐標(biāo)系完全重合． 12．1．1旋轉(zhuǎn)矩陣 　　空間角可用直角坐標(biāo)系中的歐拉角描述

5、：繞軸旋轉(zhuǎn)角，繞新的軸旋轉(zhuǎn)角，繞新的z軸旋轉(zhuǎn)角,角是光軸的俯仰角(pitch)，也叫垂直角，角是光軸的偏航角(yaw)(水平角)，角表示光軸滾動角(roll)或扭轉(zhuǎn)角(twist)．無轉(zhuǎn)動(三個(gè)角都等于零)指的是兩個(gè)坐標(biāo)系統(tǒng)完全對正．各角度旋轉(zhuǎn)正方向?yàn)閺淖鴺?biāo)系原點(diǎn)沿各軸正方向觀察時(shí)的逆時(shí)針旋轉(zhuǎn)方向．用這些角表示方程12．2定義的旋轉(zhuǎn)矩陣各元素如下： (12．3) 　　用歐拉角的形式來確定坐標(biāo)系的旋轉(zhuǎn)會引起數(shù)值解不穩(wěn)定，因?yàn)闅W拉角很小的變化可能對應(yīng)很大的旋轉(zhuǎn)變化．因此，標(biāo)定算法或者求解旋轉(zhuǎn)矩陣的各元素常使用其它形式的旋轉(zhuǎn)角表達(dá)式，如，四元數(shù)等． 旋轉(zhuǎn)矩陣是一個(gè)正交矩陣：

6、 (12．4) 其中表示單位矩陣．由上述公式不難得到旋轉(zhuǎn)矩陣的逆就是該矩陣的轉(zhuǎn)置．標(biāo)定算法會在坐標(biāo)系之間產(chǎn)生剛體變換；例如，從坐標(biāo)系1到坐標(biāo)系2，我們有 (12．5) 剛體變換的逆變換就是將坐標(biāo)系2的坐標(biāo)變?yōu)樽鴺?biāo)系1的坐標(biāo)： 　　　 (12．6) 這里的表示坐標(biāo)系上的點(diǎn)是另一個(gè)坐標(biāo)系的原點(diǎn)．注意平移變換的逆變換并不是簡單的等于必須乘以旋轉(zhuǎn)變換的逆變換，因?yàn)楸硎驹谧鴺?biāo)系2上的平移，其逆變換一定要表示到與坐標(biāo)系1同一個(gè)方位的坐標(biāo)系中 ． 圖12．2 歐拉角或俯仰角、偏航角和滾動角示意圖 12．1．2旋轉(zhuǎn)軸 旋轉(zhuǎn)也可以規(guī)定為逆時(shí)

7、針(右手坐標(biāo)系)繞由單位矢量表示的軸的旋轉(zhuǎn)．這是一種觀察旋轉(zhuǎn)的非常直觀方法，但是它在數(shù)值計(jì)算上也有和歐拉角一樣的問題．旋轉(zhuǎn)軸和旋轉(zhuǎn)角度表達(dá)式可以轉(zhuǎn)換成矩陣表達(dá)式(方程12．1)，以作為剛體變換的公式．當(dāng)然，如果能直接使用旋轉(zhuǎn)軸和旋轉(zhuǎn)角表達(dá)式來產(chǎn)生滿意的數(shù)值解，將是最好不過的了．在這種思路的基礎(chǔ)上產(chǎn)生了旋轉(zhuǎn)四元數(shù)，這也是將四元數(shù)用于旋轉(zhuǎn)表示的原因之一． 12．1．3 四元數(shù) 四元數(shù)是一個(gè)四元矢量，可用來表示坐標(biāo)旋轉(zhuǎn)．實(shí)踐證明，對于定位求解問題，四元數(shù)表示可以給出很好的數(shù)值解．為了理解四元數(shù)是如何對旋轉(zhuǎn)進(jìn)行表示的，我們首先想象在二維平面上的一個(gè)單位圓，單位圓上的任何一個(gè)位置都只對應(yīng)于一個(gè)旋轉(zhuǎn)

8、角．如圖12.3所示． 圖12．3　單位圓上一點(diǎn)只能對應(yīng)一個(gè)旋轉(zhuǎn)角 再考慮三維空間中的單位球： (12．7) 在單位球上的任意一點(diǎn)只對應(yīng)繞軸和軸旋轉(zhuǎn)的兩個(gè)角和，無法表示繞軸旋轉(zhuǎn)的第三個(gè)角．顯然，再增加一個(gè)自由度就可以表示所有三個(gè)旋轉(zhuǎn)角．四維空間單位球定義如下： (12．8) 三維空間中所有三個(gè)旋轉(zhuǎn)角可以通過四維單位球上的點(diǎn)來表示．由單位四元數(shù)表示的旋轉(zhuǎn)公式如下： (12．9) 每一個(gè)單位四元數(shù)和其反極點(diǎn)(antipole)都表示三維空間中的旋轉(zhuǎn)．

9、 用單位四元數(shù)表示剛體變換的旋轉(zhuǎn)矩陣： (12．10) 在計(jì)算出單位四元數(shù)之后，就可利用上式計(jì)算旋轉(zhuǎn)矩陣． 單位四元數(shù)與上節(jié)描述的旋轉(zhuǎn)角和旋轉(zhuǎn)軸有密切關(guān)系．旋轉(zhuǎn)可以用旋轉(zhuǎn)量和旋轉(zhuǎn)軸方向的組合來表示，即四元數(shù)由一個(gè)與旋轉(zhuǎn)量有關(guān)的標(biāo)量和一個(gè)旋轉(zhuǎn)軸矢量組成 ． 設(shè)旋轉(zhuǎn)軸的單位矢量為，使用,和表示坐標(biāo)軸，則旋轉(zhuǎn)軸單位矢可以表示為： (12．11) 繞該軸逆時(shí)針旋轉(zhuǎn)角的單位四元數(shù)為： (12．12) 上式的第一項(xiàng)為四元數(shù)的標(biāo)量(實(shí))部分，其余項(xiàng)為矢量(虛)部分．空間點(diǎn)的四元數(shù)實(shí)際上只有矢量部分（虛部），該矢量就

10、是空間點(diǎn)的矢量表示． (12．13) 設(shè)是點(diǎn)通過矩陣旋轉(zhuǎn)得到， (12．14) 若是點(diǎn)的四元數(shù)表示，那么對旋轉(zhuǎn)后點(diǎn)的四元數(shù)表示可以由四元數(shù)直接計(jì)算： (12．15) 這里的，是的共軛四元數(shù)： 　　四元數(shù)乘法定義如下： (12．16) 　　剛體變換可以很方便地用七個(gè)元素表示，前四個(gè)量是單位四元數(shù)，后三個(gè)量是平移量．在這一表達(dá)式中，若用R(q)表示對應(yīng)于單位四元數(shù)的旋轉(zhuǎn)矩陣，則剛體變換式為： (12．17) 12．2　絕對定位

11、 絕對定位問題是確定兩個(gè)坐標(biāo)系之間的剛體變換問題．求解絕對定位問題在機(jī)器視覺中有著許多應(yīng)用，其中的一個(gè)應(yīng)用是確定測距成像系統(tǒng)或雙目立體視覺系統(tǒng)與定義在場景中的絕對坐標(biāo)系之間的關(guān)系，這樣可以將所有的測量值均表示在一個(gè)公共的坐標(biāo)系里．若表示點(diǎn)在攝象機(jī)坐標(biāo)系中的坐標(biāo)，表示點(diǎn)在絕對坐標(biāo)系中的坐標(biāo)，則絕對坐標(biāo)定位問題的輸入就是一個(gè)共軛對組：，，．．．，． 為了求解絕對定位問題，我們把剛體變換方程展開，以便說明旋轉(zhuǎn)矩陣中各項(xiàng)的作用．設(shè)是攝象機(jī)坐標(biāo)系內(nèi)的點(diǎn)，是絕對坐標(biāo)系內(nèi)的點(diǎn)，從到的剛體變換公式為： (12．18) 其中12個(gè)未知參數(shù)中有9個(gè)是旋轉(zhuǎn)矩陣參數(shù)，3個(gè)是平移參數(shù)．每個(gè)共

12、軛對對應(yīng)有三個(gè)等式，則至少需要四個(gè)共軛對產(chǎn)生12個(gè)方程才能解出12個(gè)未知數(shù)．在實(shí)際應(yīng)用過程中，常常使用大量的共軛對(這些共軛對通常是空間標(biāo)定點(diǎn)在不同坐標(biāo)系中的表示)來提高計(jì)算精度． 在解線性系統(tǒng)方程時(shí)，如果旋轉(zhuǎn)矩陣沒有正交標(biāo)準(zhǔn)化，則可能得不到有效的旋轉(zhuǎn)矩陣．使用非標(biāo)準(zhǔn)正交矩陣作為旋轉(zhuǎn)矩陣可能會產(chǎn)生意想不到的結(jié)果，如不能保證矩陣轉(zhuǎn)置一定等于矩陣逆，并且共軛對的測量誤差會嚴(yán)重地影響計(jì)算結(jié)果，從而不能產(chǎn)生剛體變換的最佳逼近．有些方法是在每一步迭代過程之后對矩陣進(jìn)行正交化，但仍不能保證正交化的矩陣是旋轉(zhuǎn)矩陣的最佳逼近．一種替代的方法是求解旋轉(zhuǎn)角而不是矩陣的各項(xiàng)元素．旋轉(zhuǎn)角最一般的表示方法是歐拉角，不

13、過使用歐拉角會導(dǎo)致非線性方程，從而產(chǎn)生數(shù)值計(jì)算上的困難．在攝影測量中，通常的做法是對非線性方程線性化并求解，以便得到名義值的修正值．這種線性化算法的成功與否很大程度上取決于初始預(yù)估值好壞． 下面討論用單位四元數(shù)表示方法求剛體變換．設(shè)是對應(yīng)于單位四元數(shù)的旋轉(zhuǎn)矩陣，則攝象機(jī)坐標(biāo)系上的每一點(diǎn)坐標(biāo)轉(zhuǎn)換成絕對坐標(biāo)的剛體變換公式如下： (12．19) 其中是攝象機(jī)原點(diǎn)在絕對坐標(biāo)系中的位置．現(xiàn)在的回歸問題有七個(gè)參數(shù)：表示旋轉(zhuǎn)的單位四元數(shù)的四個(gè)參數(shù)加上平移矢量的三個(gè)參數(shù)． 正如前面所指出的，絕對定位問題的輸入是共軛對集合：，，…，． 　　考慮一組點(diǎn)的兩種集合表示，在攝象機(jī)坐標(biāo)系

14、中的點(diǎn)集和絕對坐標(biāo)系中的點(diǎn)集．絕對定位問題就是在空間中將這兩個(gè)點(diǎn)群對正．下面計(jì)算每個(gè)點(diǎn)集的矩中心： 　　 (12．20) (12．21) 用矩中心與每一個(gè)點(diǎn)相減得： 　 (12．22) 　　(12．23) 　　若已知旋轉(zhuǎn)矩陣，則平移表達(dá)式可表示為： (12．24) 下面將討論求解旋轉(zhuǎn)矩陣，使得這兩簇射線對正．在推導(dǎo)旋轉(zhuǎn)矩陣時(shí)，將點(diǎn)表示為從矩中心出發(fā)的射線，這樣所有坐標(biāo)都將是射線坐標(biāo)．由于射線束是由共軛對集合推導(dǎo)的，因此，我們可以知道在攝象機(jī)射線束中的某一條射線對應(yīng)于絕對坐標(biāo)射線的那一條

15、射線．當(dāng)兩組射線對正后，每一對對應(yīng)射線將會重合．換句話說，每一對射線位于同一條直線上，并指向同一方向．若不考慮測量誤差的影響，則每對射線之間的夾角應(yīng)為0，夾角的余弦為1．測量誤差導(dǎo)致射線束不能完全對正．但可以在最小方差的意義上，通過求解旋轉(zhuǎn)矩陣束得到最佳對正結(jié)果，其中旋轉(zhuǎn)矩陣的求解是求每對射線標(biāo)量積的極大值： (12．25) 在四元數(shù)中，上面的和式可以表示為： (12．26) 上式可以變成二次表達(dá)式： 　　 (12．27) 　　假設(shè)對應(yīng)一個(gè)列向量．則使二次式取極大值的單位四元數(shù)是對應(yīng)于最大正特征值的特征向量．特征根可以利用[

16、Horn 1987]給出的公式求解四階多項(xiàng)式來確定，也可以利用標(biāo)準(zhǔn)數(shù)值方法[Press 1988]計(jì)算特征向量和特征值． 矩陣和是由每個(gè)射線元素構(gòu)成．設(shè)，，那么： (12．28) 　 (12．29) 矩陣N為： 　(12．30) 式中的和式S是由攝象機(jī)坐標(biāo)系和絕對坐標(biāo)系的射線坐標(biāo)元構(gòu)成．其中，是求所有共軛對的攝象機(jī)坐標(biāo)點(diǎn)的坐標(biāo)坐標(biāo)和在絕對坐標(biāo)點(diǎn)的坐標(biāo)坐標(biāo)的乘積和： (12．31) 上述計(jì)算的結(jié)果是一個(gè)單位四元法，表示校準(zhǔn)射線束的旋轉(zhuǎn)變換．剛體變換可以作用于測距攝象機(jī)，雙目立

17、體視覺系統(tǒng)或任何其它深度測量系統(tǒng)產(chǎn)生的測量坐標(biāo)值，以便把這是測量值變換到絕對坐標(biāo)系統(tǒng)的測量坐標(biāo)值 ． 12．3 相對定位 　　相對定位問題是指用場景點(diǎn)在兩個(gè)圖像平面上的投影來確定兩個(gè)攝象機(jī)坐標(biāo)系之間的關(guān)系．相對定位問題是雙目立體視覺系統(tǒng)標(biāo)定的第一步．我們曾在第十一章討論了沿極線匹配特征的雙目立體視覺算法．為了簡化表示，假定左、右圖像平面上的外極線皆與圖像陣列的行線重合，且對應(yīng)的左、右圖像陣列的行標(biāo)號也相同． 設(shè)場景點(diǎn)在左、右兩個(gè)攝象機(jī)的視場范圍內(nèi)(見圖11．1)．點(diǎn)在左攝象機(jī)坐標(biāo)系用表示，在右攝象機(jī)坐標(biāo)系內(nèi)用表示．點(diǎn)在左攝象機(jī)圖像平面上的投影為，在右攝象機(jī)圖像平面上的投影為設(shè)左右攝像機(jī)

18、智的焦距分別為．由透視投影得到公式： (12．32) 　 (12．33) 將左攝象機(jī)坐標(biāo)系轉(zhuǎn)換為右攝象機(jī)坐標(biāo)系的剛體變換方程如下： 　 (12．34) 從透視投影方程（12.32）和（12.33）求出和，并將它們代入上面的剛體變換方程，得到一組共軛對投影之間的關(guān)系方程： (12．35) 變換方程的旋轉(zhuǎn)部分改變左攝象機(jī)的方位使之與右攝象機(jī)方位相同．而平移部分就是兩個(gè)攝象機(jī)之間的基線．平移變量和深度變量在等式中以比值的形

19、式出現(xiàn)，分別表示基線的長度和深度可任意縮放．例如，可以將攝象機(jī)分離兩倍的距離，并將場景中的點(diǎn)移遠(yuǎn)兩倍的距離而不改變透視幾何關(guān)系． 僅通過標(biāo)定點(diǎn)的投影是不可能確定基線長度，但這并不是一個(gè)嚴(yán)重的問題，和確定比例系數(shù)一樣，基線長度可以通過其它的方法確定．現(xiàn)在，假定攝象機(jī)之間的平移量是單位矢量．求解相對定位問題可以得到旋轉(zhuǎn)的三個(gè)參數(shù)和表示基線方向的單位矢量的兩個(gè)參數(shù)．雙目立體深度測量值是以基線長度為計(jì)量單位的．假定單位基線長度，意味著雙目立體測量值可以用任意計(jì)量單位表示．在這個(gè)單位基線長度假設(shè)下得到的測量值是正確的，但仍未確定比例系數(shù)．點(diǎn)之間的相對距離是正確的．這些任意設(shè)置的計(jì)量單位值乘以基線長度可

20、以得到真實(shí)計(jì)量單位值．12．7節(jié)將介紹如何確定基線距離，這也是求解絕對定位問題的一個(gè)部分．求解絕對定位問題得到絕對坐標(biāo)變換．使用絕對坐標(biāo)變換，任意計(jì)量單位立體測量值到真實(shí)計(jì)量單位的轉(zhuǎn)換和點(diǎn)在觀察者坐標(biāo)系到絕對坐標(biāo)系的變換可以同步進(jìn)行． 方程組（12.35）含有12個(gè)相對位置參數(shù)和2個(gè)與場景點(diǎn)有關(guān)的未知數(shù)，因此若有個(gè)標(biāo)定點(diǎn)，則有個(gè)未知量，旋轉(zhuǎn)矩陣是正交矩陣，由此可以產(chǎn)生6個(gè)約束，另一個(gè)約束是基線距離取單位值的約束。根據(jù)方程（12.34），若有n個(gè)標(biāo)定點(diǎn)，則可產(chǎn)生3n個(gè)約束方程，這樣會有7+3n個(gè)約束．當(dāng)n=5時(shí)，約束數(shù)等于未知量數(shù)。所以求解這一問題至少需要五個(gè)共軛對，在實(shí)際中，使用更多的共軛對

21、可以得到更高的求解精度． 求解相對定位問題首先從一組標(biāo)定點(diǎn)開始，使用這些標(biāo)定點(diǎn)在左、右圖像平面上的投影來確定這兩個(gè)攝象機(jī)之間的剛體變換．每個(gè)投影點(diǎn)對應(yīng)于一條從攝象機(jī)投影中心出發(fā)的射線，這條射線穿過投影點(diǎn)進(jìn)入場景．對于場景中的標(biāo)定點(diǎn)，其在兩個(gè)圖像平面的兩個(gè)投影點(diǎn)和對應(yīng)的兩條射線應(yīng)相交于點(diǎn)．但實(shí)際上，由于在圖像平面上投影點(diǎn)位置的測量誤差，相交點(diǎn)位置可能不在點(diǎn)．我們希望求出滿足單位基線長度約束的兩個(gè)攝象機(jī)在空間的相對位置和方向，以便使圖像平面中的射線位置測量誤差達(dá)到最?。? 設(shè)是從左攝象機(jī)投影中心點(diǎn)出發(fā)，穿過左圖像平面上的點(diǎn)的射線(矢量)；是從右攝象機(jī)投影中心點(diǎn)出發(fā)，穿過右圖像平面上的點(diǎn)射線(矢量

22、)；是從左攝象機(jī)投影中心點(diǎn)到右攝象機(jī)投影中心點(diǎn)的矢量．我們需要在同一個(gè)坐標(biāo)系中處理每一條射線，所以旋轉(zhuǎn)以使它和在同一個(gè)坐標(biāo)系中，用表示這個(gè)旋轉(zhuǎn)后得到的射線．如果兩條射線相交，則說明它們位于垂直于的平面中．基線也位于同一平面中．因此，基線也垂直于，這一關(guān)系在數(shù)學(xué)上可描述為基線矢量與的點(diǎn)積為0： (12．36) 這個(gè)關(guān)系式稱為共面條件． 由于測量誤差，射線將不會交于點(diǎn)，也不滿足共面條件．解決這一問題的有效方法是使用使用最小二乘法． 12．4 校正 校正(rectification)是立體圖像對重新取樣的過程，以使得外極線對應(yīng)于圖像陣

23、列的行．其基本思想：校正左、右圖像平面位置，使這兩個(gè)平面與兩攝像機(jī)光學(xué)中心連線平行，此時(shí)，由于極點(diǎn)在無窮遠(yuǎn)處，圖像陣列的行就是極線，如圖12.4所示。立體對應(yīng)點(diǎn)可以沿對應(yīng)圖像搜索匹配點(diǎn)得到．如圖12.5所示。 圖12.4 校正處理示意圖 圖12.5 校正處理實(shí)驗(yàn)結(jié)果 （a）原始圖像 （b）校正處理后的圖像 實(shí)際上，上述條件很難達(dá)到，可能會出現(xiàn)一些偏差(繞攝相機(jī)垂直軸向內(nèi)旋轉(zhuǎn))，但如果將左，右圖像投影到一個(gè)平面上，就能得到理想的極線幾何．左(右)攝象機(jī)中的每一個(gè)像素點(diǎn)分別對應(yīng)于

24、左(右)攝象機(jī)坐標(biāo)系統(tǒng)中的一條射線．設(shè)和分別表示將左，右攝象機(jī)的射線變換到公共平面坐標(biāo)系的剛體變換．確定每個(gè)圖像的頂點(diǎn)在公共平面上的位置，創(chuàng)建新的左、右圖像網(wǎng)格，將每一個(gè)網(wǎng)格點(diǎn)變換回原來的圖像上．使用12．6．2節(jié)所討論的雙變量線性內(nèi)插方法內(nèi)插旬素值以確定公共平面上新的左、右圖像中的像素值． 12．5 雙目立體深度測量 雙目立體視覺是匹配左、右圖像平面上的特征點(diǎn)并生成共軛對集合 ，．在理想狀態(tài)下，每一個(gè)共軛對定義的兩條射線，相交于空間中某一場景點(diǎn)．空間相交的問題就是找到相交點(diǎn)的三維空間坐標(biāo)．由于圖像平面坐標(biāo)的測量誤差以及攝象機(jī)的誤差，兩條射線不會相交，所以通過立體對計(jì)算深度問題就

25、是求最接近射線的場景點(diǎn)的坐標(biāo)． 我們將假設(shè)立體測量所有的坐標(biāo)系不同于任一攝象機(jī)坐標(biāo)系．例如，立體坐標(biāo)系可以建立在支撐兩個(gè)攝象機(jī)的框架上．這里出現(xiàn)了兩個(gè)剛體變換：一個(gè)是左攝象機(jī)相對于立體坐標(biāo)系的校準(zhǔn)變換，另一個(gè)是右攝象機(jī)相對于立體坐標(biāo)系的校準(zhǔn)變換．左變換包括有旋轉(zhuǎn)矩陣和平移量 ，右轉(zhuǎn)換包括旋轉(zhuǎn)矩陣和平移量．為了在右(左)攝象機(jī)坐標(biāo)系中表示測量點(diǎn)，則需要使用相對定位問題中的剛體變換公式和平移公式． 在三維空間中共軛對的坐標(biāo)分別為 和 ．將左攝象機(jī)坐標(biāo)系旋轉(zhuǎn)和平移到立體坐標(biāo)系中： (12．37) 同樣，對于右攝像機(jī)有：

26、 (12．38) 為了計(jì)算最靠近兩條射線的點(diǎn)，通過求下式的最小值求出對應(yīng)于兩條射線之間的最小的距離時(shí)，和值 ． (12．39) 其中，是立體坐標(biāo)系中的基，和分別是旋轉(zhuǎn)后進(jìn)入立體坐標(biāo)系的左，右射線．為了求解射線相交問題，對和求導(dǎo)并等于0．解方程求出和并代入射線方程(方程12．42和12．43)，以便求取位于每一條射線上的點(diǎn)．求出這兩點(diǎn)的位置平均值，就得到深度的估計(jì)值． 立體點(diǎn)測量值是在立體坐標(biāo)系統(tǒng)中進(jìn)行的，立體坐標(biāo)系可以是左或右攝象機(jī)坐標(biāo)系，或是一個(gè)中性坐標(biāo)系．如果通過求解外部定位問題(12．8節(jié))或通過其它方法來求解左、右攝象機(jī)與立

27、體坐標(biāo)系之間的剛體變換，那么，立體點(diǎn)測量值單位與標(biāo)定點(diǎn)單位一樣．不考慮如何標(biāo)定立體坐標(biāo)系，我們必須將點(diǎn)測量值變換到場景絕對坐標(biāo)系中．同時(shí)通過求解具有比例因子的絕對定位問題將測量值轉(zhuǎn)換到與場景相適應(yīng)的某一計(jì)量單位系統(tǒng)中． 12．6 含有比例因子的絕對定位 在12．2節(jié)中，絕對定位變換公式不允許包含比例因子；坐標(biāo)系之間的變換僅包括旋轉(zhuǎn)和平移的剛體變換．在雙目立體系統(tǒng)中，若兩個(gè)攝象機(jī)之間的基線未知或不正確時(shí)，或在測距攝象機(jī)之間具有不同測量單位時(shí)，比例因子會發(fā)生改變． 12．2節(jié)所討論的絕對定位問題可以推廣到包含比例因子變化的情況．推廣后的坐標(biāo)變換將包含用于視點(diǎn)與絕對坐標(biāo)對正(alignmen

28、t)的旋轉(zhuǎn)和平移變換，也包含攝象機(jī)專用的測量單位到公用計(jì)量單位轉(zhuǎn)換的比例因子．設(shè)點(diǎn)在一個(gè)坐標(biāo)系中的坐標(biāo)為，在另一個(gè)坐標(biāo)系中的坐標(biāo)為，則坐標(biāo)系變換公式為： (12．40) 其中，s是比例因子．這一參數(shù)使絕對定位問題參數(shù)數(shù)量增加到七個(gè)：三個(gè)旋轉(zhuǎn)參數(shù)，三個(gè)平移參數(shù)，一個(gè)比例因子．比例變換是一種均勻比例縮放：即每個(gè)軸縮放比例量相同． 絕對定位問題的輸入是來自第一和第二個(gè)視場的幾個(gè)共軛對集合．回歸問題是求出旋轉(zhuǎn)陣，平移量，和比例因子s： (12．41) 達(dá)到極小值．求解上述問題至少需要三個(gè)點(diǎn)，

29、以得到九個(gè)方程來解七個(gè)未知量．實(shí)際中，使用更多的點(diǎn)可以得到更高的精度． 暫時(shí)忽略一下共軛對的對應(yīng)關(guān)系是已知的，設(shè)想一下兩個(gè)點(diǎn)集(在第一個(gè)坐標(biāo)系中的點(diǎn)集和在第二個(gè)坐標(biāo)系中的點(diǎn)集)是在絕對坐標(biāo)系中的兩個(gè)點(diǎn)群．計(jì)算每個(gè)點(diǎn)群矩中心如下： (12．42) 　 (12．43) 將每個(gè)點(diǎn)群變換為有關(guān)矩中心的一個(gè)矢量簇： (12．44) 計(jì)算矢量簇平均長度，即可確定比例因子． 　　這說計(jì)算比例因子列需知道旋轉(zhuǎn)和平移，這在標(biāo)定雙目立體基線距離中十

30、分有用，并且使用點(diǎn)越多計(jì)算結(jié)果越精確． 在確定旋轉(zhuǎn)和比例因子之后，平移可以從矩中心很容易地計(jì)算出來： (12．45) 計(jì)算旋轉(zhuǎn)是確定如何校準(zhǔn)關(guān)于矩中心的射線束的基本問題，計(jì)算第一和第二視場中的射線坐標(biāo)標(biāo)量積之和，得到的矩陣M： (12．46) 設(shè)矩陣Q = ．則旋轉(zhuǎn)矩陣為： (12．47) 其中矩陣S為： (12．48) 矩陣Q的特征值和特征向量的分解表示為：

31、 (12．49) 的特征值是通過解一個(gè)三次方程得到的．這個(gè)三次方程的根可以直接利用[197]公式求出．用特征值解線性方程： (12．50) 得到正交特征向量V1 ,V2和V3．矩陣S是矩陣Q的平方根．在特征系統(tǒng)表示中(方程12．47)，矩陣的平方根和其逆矩陣是很容易計(jì)算的．矩陣S的逆矩陣為： (12．51) 計(jì)算特征向量的叉積，除以特征向量的平方根，再乘以矩陣M就可得到旋轉(zhuǎn)矩陣R．這種計(jì)算方法保證了矩陣R是歸一化正交矩陣． 這個(gè)算法提供了一種旋轉(zhuǎn)矩陣的解析解(非迭解)．比例尺

32、度可以通過方程12．44得到．無需確定平移或旋轉(zhuǎn)參數(shù)，而平移量可以通過方程12．45來確定．變換公式12．40可以作用于任何深度測量系統(tǒng)的點(diǎn)測量值，包括雙目立體系統(tǒng)或測距攝象機(jī)，以便將測量點(diǎn)變換到絕對坐標(biāo)系中，并將測量值轉(zhuǎn)換成絕對坐標(biāo)計(jì)量單位．測量值計(jì)量單位是任何一種可用于絕對定位問題中標(biāo)定點(diǎn)計(jì)量單位．例如，在絕對坐標(biāo)系統(tǒng)中標(biāo)定點(diǎn)的單位是毫米，而雙目立體深度測量值是以基線為一個(gè)單位，則由這些標(biāo)定點(diǎn)求解絕對定位問題的剛體變換將深度測量值的單位轉(zhuǎn)換成毫米單位．測量系統(tǒng)中每個(gè)坐標(biāo)軸上的單位應(yīng)是相同的，因?yàn)樽饔糜诿恳粋€(gè)坐標(biāo)軸上的比例因子是相同的． 12．7 外部定位 外部定位問題就是在絕對坐標(biāo)系

33、中，確定圖像平面坐標(biāo)和場景點(diǎn)坐標(biāo)之間的關(guān)系．在機(jī)器人學(xué)和機(jī)器視覺中，外部定位問題被稱之為手─眼問題．直到本節(jié)，我們一直在攝象機(jī)坐標(biāo)系中表示場景點(diǎn)的坐標(biāo)；但在許多應(yīng)用中，都需要建立圖像平面坐標(biāo)系與定義在場景中的絕對坐標(biāo)系之間的關(guān)系．在圖像平面中，每個(gè)點(diǎn)都定義一條從投影中心出發(fā)，經(jīng)過圖像平面中的點(diǎn)，指向場景的射線．在場景中，攝象機(jī)的位置就是投影中心的位置，攝象機(jī)的定位決定了從投影中心出發(fā)穿過圖像平面點(diǎn)的射線簇的定位．一個(gè)圖像平面點(diǎn)并不對應(yīng)場景中唯一的一個(gè)點(diǎn)，但我們可以利用穿過此點(diǎn)的射線方程，連同其它有關(guān)場景的幾何信息，在場景絕對坐標(biāo)系中確定唯一的對應(yīng)點(diǎn)．例如，如果我們知道一個(gè)圖像點(diǎn)對應(yīng)于墻上的一個(gè)

34、點(diǎn)，并且也知道墻的模型平面方程，則只要求出射線方程與平面方程的交點(diǎn)就可以得到墻上對應(yīng)點(diǎn)的準(zhǔn)確位置． 外部定位問題就是確定對應(yīng)圖像平面點(diǎn)的射線簇的位置和方向，使得每一個(gè)圖像平面點(diǎn)可以被變換為場景絕對坐標(biāo)系中的對應(yīng)射線，如圖12．6所示．射線束的位置和方向可以表示成攝象機(jī)坐標(biāo)與絕對坐標(biāo)之間的剛體變換．一個(gè)圖像平面點(diǎn)在攝象機(jī)三維坐標(biāo)系中的坐標(biāo)為 ，其中表示圖像平面位于投影中心前面距離為的位置．投影中心對應(yīng)攝象機(jī)坐標(biāo)系的原點(diǎn)，攝象機(jī)在場景中的位置就是投影中心在絕對坐標(biāo)系中的位置 ．在攝象機(jī)坐標(biāo)系中，經(jīng)過圖像平面中點(diǎn)的射線參數(shù)方程為 　　 (12．52)

35、 其中t的取值可以從0(在投影的中心)到無窮大．當(dāng)t＝1時(shí)，攝象機(jī)坐標(biāo)系中的點(diǎn) 是圖像平面點(diǎn)．已知圖像上一個(gè)測量點(diǎn)位置和攝象機(jī)常數(shù)的估計(jì)值，則可以從攝象機(jī)坐標(biāo)系中得到對應(yīng)的射線方程． 圖12.6外部定位問題示意圖 設(shè)，，則可以將攝象機(jī)坐標(biāo)系與絕對坐標(biāo)系之間的剛體變換作用于射線的參數(shù)方程(方程12．52)中，得到場景絕對坐標(biāo)系中的射線方程： 　　 (12．53) 確定剛體變換的基本步驟是：已知標(biāo)定點(diǎn)在場景中的坐標(biāo)為，測定標(biāo)定點(diǎn)的投影坐標(biāo)，利用透視投影方程建立圖像平面點(diǎn)與場景點(diǎn)的聯(lián)系，最后求解剛體變換．?dāng)z象機(jī)外部定位參數(shù)(旋轉(zhuǎn)角和

36、到攝象機(jī)原點(diǎn)的平移)稱為非固有參數(shù)，與攝象機(jī)內(nèi)部幾何的固有參數(shù)(例如攝象機(jī)焦距)相對． 外部定位問題可以簡單地陳述為：什么是絕對坐標(biāo)與相對坐標(biāo)之間的剛體變換，該變換可以確定空間射線簇位置和方向使得每一條射線都通過其對應(yīng)的標(biāo)定點(diǎn)？為了明確一下坐標(biāo)系，我們將使用下標(biāo)來區(qū)分絕對坐標(biāo)和攝象機(jī)坐標(biāo)．在絕對坐標(biāo)系中，點(diǎn)的位置是 ，在攝象機(jī)坐標(biāo)系中，點(diǎn)的位置是．我們將外部定位問題確定為從絕對(場景)坐標(biāo)到攝象機(jī)坐標(biāo)的變換．實(shí)際應(yīng)用中的逆變換由式12．12給出．從絕對坐標(biāo)到攝象機(jī)坐標(biāo)的剛體變換如下： 　　　 (12．54) 在攝象機(jī)坐標(biāo)系中，場景點(diǎn)的位置是未知的，但是點(diǎn)

37、在圖像平面上的投影可以由透視投影方程來確定： 　　　 (12．55) 　　因此，聯(lián)立(12.54)和(12.55) 可知每一個(gè)標(biāo)定點(diǎn)確定兩個(gè)獨(dú)立的約束方程： (12．56) 6個(gè)標(biāo)定點(diǎn)產(chǎn)生12個(gè)等式可以用于求解變換矩陣中12個(gè)參數(shù)，但是使用旋轉(zhuǎn)矩陣的歸一化正交約束可以將標(biāo)定點(diǎn)減少為4個(gè)．在實(shí)際應(yīng)用中，常常使用更多的點(diǎn)以便得到精確的結(jié)果．使用歐拉角公式替換旋轉(zhuǎn)矩陣的元素，然后求解非線性回歸問題 　　下面是一個(gè)求取外部定位的例子．機(jī)器人在手臂的底部安裝了一個(gè)吸力抓取機(jī)構(gòu)．抓取機(jī)構(gòu)非常適合于抓取那些小而平的物體，但前提是抓取機(jī)構(gòu)必須定位在這些物體的中心附

38、近．已知一個(gè)扁平物體放在手臂可以到達(dá)的一個(gè)桌子上，絕對坐標(biāo)系定義在桌子的一個(gè)角點(diǎn)．一部攝象機(jī)位于桌子的上方，整個(gè)桌子在視場范圍內(nèi)．圖像平面中的點(diǎn)的位置坐標(biāo)是．如果物體相對于桌面背景具有很好的的反差，則可以使用一階矩就可估算圖像平面位置．在桌子的絕對坐標(biāo)系中的點(diǎn)的位置坐標(biāo)是．通過求解外部定位問題可以確定相對于絕對坐標(biāo)系的攝象機(jī)的位置和方向． 給定一個(gè)圖像平面中物體中心的位置，通過求出由攝象機(jī)原點(diǎn)出發(fā)，穿過點(diǎn)的射線與桌面的交點(diǎn)，可以確定桌面上的物體中心在絕對坐標(biāo)系中的的位置．桌面的方程： 　　　 (12．57) 和從攝象機(jī)中心出發(fā)的射線方程：

39、 　　　 (12．58) 必須在絕對坐標(biāo)系中．通過求解外部定位問題得到變換公式可以把從攝象機(jī)出發(fā)的射線轉(zhuǎn)換到絕對坐標(biāo)系中．如果絕對坐標(biāo)系的原點(diǎn)是在桌面上，其z軸垂直于桌面，則方程12．57變?yōu)閦 = 0，計(jì)算射線與桌面的交點(diǎn)變得十分容易． 12．8 內(nèi)部定位 　　內(nèi)部定位問題就是確定攝象機(jī)內(nèi)部幾何參數(shù)，這些幾何參數(shù)包括： (1) 攝象機(jī)常數(shù)：投影中心到攝象機(jī)平面的距離； (2) 主點(diǎn)：圖像平面坐標(biāo)系原點(diǎn)的位置； (3) 透鏡變形系數(shù)：由于攝象機(jī)的光學(xué)缺陷引起的圖像平面坐標(biāo)的改變； (4) 比例因子：表示行和列之間的距離．

40、 攝象機(jī)內(nèi)部幾何參數(shù)也稱為固有參數(shù)(intrinsic parameters)，是與攝象機(jī)外部定位問題中的非固有參數(shù)相對應(yīng)．內(nèi)部定位問題是用于確定攝象機(jī)固有參數(shù)的一個(gè)回歸問題． 攝象機(jī)常數(shù)與透鏡焦距長度不完全一樣．當(dāng)透鏡聚焦于無窮遠(yuǎn)時(shí)，攝象機(jī)常數(shù)等于焦距，否則，攝象機(jī)常數(shù)小于焦距長度．主點(diǎn)是光軸與圖像平面的交點(diǎn)，是圖像平面坐標(biāo)系的原點(diǎn)，也可以認(rèn)為是圖像陣列的中心．盡管攝象機(jī)常數(shù)接近于焦距，主點(diǎn)很靠近圖像中心點(diǎn)，但在許多應(yīng)用中，這種近似可能并不是很好．在圖像傳感器中，像素行和列之間的間距可以從攝象機(jī)技術(shù)說明書得到，但是圖像幀獲取裝置可能會引入誤差，因此，必須標(biāo)定像素間距． 一些標(biāo)定算

41、法可以同時(shí)求解內(nèi)部定位問題和外部定位問題．其出發(fā)點(diǎn)是在攝象機(jī)外部定位確定之前，圖像平面上標(biāo)定點(diǎn)的真正位置是未知的．然而，內(nèi)部定位問題可以由其自身來解決．現(xiàn)在已經(jīng)有幾種確定攝象機(jī)常數(shù)，主點(diǎn)位置和透鏡變形量的方法，無需知道攝象機(jī)在絕對坐標(biāo)系中的外部定位．12．10節(jié)將討論確定固有參數(shù)和非固有參數(shù)的方法． 確定攝象機(jī)的獨(dú)立于非固有參數(shù)的固有參數(shù)的基本思想是使用一個(gè)具有規(guī)則圖形的標(biāo)定圖像，如網(wǎng)格線．圖形變形可被用來估算透鏡變形量，并計(jì)算對其它非固有參數(shù)名義值的修正量． 透鏡變形包括兩個(gè)部分：徑向變形 ，它會或多或少地使光線彎曲；偏心，由于透鏡中心偏離光軸引起的．徑向變形和偏心可以用多項(xiàng)式模型來表示

42、；內(nèi)部定位算法就是估算這些多項(xiàng)式的系數(shù)． 圖12．7示意的是在不考慮偏心的情況下，大多數(shù)透鏡變形呈現(xiàn)的徑向?qū)ΨQ性．光線或多或少地彎曲指向光軸，但這一誤差在透鏡上(或在圖像平面上)與主點(diǎn)距離相同的所有點(diǎn)處都是相同的． 因?yàn)橛晒饩€彎曲量引起的誤差是旋轉(zhuǎn)對稱的，故徑向變形可以用一個(gè)含有半徑偶次冪的多項(xiàng)式模型來表示 ，用 表示真實(shí)的圖像坐標(biāo)， 表示未修正的圖像坐標(biāo)，這個(gè)坐標(biāo)是通過使用主點(diǎn)位置的估計(jì)由像素坐標(biāo)為和得到的： (12．59) 圖12．7大多數(shù)透鏡變形是徑向?qū)ΨQ．射線將或多或少地彎曲并指向圖像中心．在圖像平面中，與主點(diǎn)真實(shí)位置

43、距離相等的所有點(diǎn)的徑向變形量是相同的． 將修正量 (dx ,dy ) 加到未修正坐標(biāo)以便得到真實(shí)圖像平面坐標(biāo)： (12．60) 徑向透鏡變形的修正量由距圖像中心距離的偶次冪多項(xiàng)式模型來表示： (12．61) 其中是主點(diǎn)位置坐標(biāo)的精確值，而 (12．62) 是到圖像中心的徑向距離的平方．注意，和與方程12．114和12．115中的和不一樣，后者是用來計(jì)算未修正的圖像坐標(biāo)；和是對和的修正．在標(biāo)定結(jié)束之后，修正量可用于初始估算：

44、 (12．63) 修正徑向變形的標(biāo)定問題就是找出多項(xiàng)式的系數(shù)、和．六階以上的透鏡變形多項(xiàng)式模型很少用到，事實(shí)上，也沒有必要用二階多項(xiàng)式．由于需要精確的主點(diǎn)位置估計(jì)以便建立透鏡變形的模型，因此，主點(diǎn)的位置包含在標(biāo)定問題之中．透鏡變形更有力的模型可以包含由于透鏡偏心而引起的切向變形的影響： (12．64) 使用一個(gè)具有幾條不同定位和位置的標(biāo)定目標(biāo)．唯一的要求就是線必須是直的，并不要求一定是絕對的水平或垂直．這個(gè)方法沒有涉及到同時(shí)求外部定位問題．用激光機(jī)很容易制成一個(gè)由水平線和垂直線構(gòu)成的網(wǎng)格．斜線的渲染圖像不是很精確，但由于外部定位對問題求解無

45、關(guān)緊要，因此可以平移和旋轉(zhuǎn)網(wǎng)格到不同位置，獲取幾幅圖像，收集大量數(shù)字化直線用于標(biāo)定集合．將這個(gè)網(wǎng)格安放在一個(gè)垂直于光軸的扁平剛體平面上．由于并不要求直線一定是平行的，所以任意傾斜目標(biāo)上的直線并不影響標(biāo)定結(jié)果．在整幅圖像上，通過計(jì)算所有小窗函數(shù)上的一階矩，可以確定圖像邊緣點(diǎn)的位置到子像素分辨率級水平．窗口的尺寸應(yīng)該略大于直線寬度，但應(yīng)小于網(wǎng)格直線的間距．Hough變換可以用來把邊緣組合成直線，并確定直線參數(shù)的初始估計(jì)值． 在真實(shí)(未修正)圖像坐標(biāo)系中，每一條直線的方程為： (12．65) 因?yàn)槊織l直線的確切位置和方向未知，因此，

46、直線參數(shù)的估計(jì)必須作為內(nèi)部定位問題的一部分來精確求解．若表示直線上邊緣點(diǎn)的坐標(biāo)，則使用上述修正模型得到未修正坐標(biāo)(，)，用這一坐標(biāo)去替換方程12．65中的真實(shí)圖像坐標(biāo)．對于每一個(gè)觀測值(邊緣點(diǎn))和所有固s有參數(shù)值，將產(chǎn)生如下形式的方程： (12．66) n個(gè)邊緣點(diǎn)的方程組是n維非線性系統(tǒng)，必須使用非線性回歸方法求解．主點(diǎn)位置的修正量初始值為0，徑向透鏡變形和偏心系數(shù)也被初始化為0． 全部最小化判據(jù)是： (12．67) 求解這個(gè)非線性回歸問題可以得到主點(diǎn)的位置、徑向透鏡變型參數(shù)、和，以及透鏡偏心參數(shù)、和．每條直線的參數(shù)估算是確定固有參數(shù)時(shí)的

47、副產(chǎn)品，可以舍棄． 12．9　攝象機(jī)標(biāo)定 攝象機(jī)標(biāo)定問題就是建立圖像陣列中的像素位置和場景點(diǎn)位置之間的關(guān)系．因?yàn)槊總€(gè)像素都是通過透射投影得到的，它對應(yīng)于與場景點(diǎn)的一條射線．?dāng)z象機(jī)標(biāo)定問題就是確定這條射線在場景絕對坐標(biāo)系中的方程．?dāng)z象機(jī)標(biāo)定問題即包括外部定位問題又包括內(nèi)部定位問題．這是因?yàn)?，建立圖像平面坐標(biāo)和絕對坐標(biāo)之間的關(guān)系，必須首先確定攝象機(jī)的位置和方向以及攝象機(jī)常數(shù)，建立圖像陣列位置(像素坐標(biāo))和圖像平面位置之間的關(guān)系，必須確定主點(diǎn)的位置、縱橫比和透鏡變形．?dāng)z象機(jī)標(biāo)定問題涉及到確定兩組參數(shù)：用于剛體變換(外部定位)的非固有參數(shù)和攝象機(jī)自身(內(nèi)部定位)所擁有的固有參數(shù)． 12．9．1

48、攝像機(jī)標(biāo)定基本方法 下面將介紹由[Tsai 1987]總結(jié)的一種攝象機(jī)標(biāo)定基本方法，該方法在計(jì)算機(jī)視覺中得到廣泛的應(yīng)用． 設(shè)表示圖像平面的原點(diǎn)位置，表示從點(diǎn)出發(fā)到圖像點(diǎn)的矢量，是一個(gè)標(biāo)定點(diǎn)，表示從光軸上的點(diǎn)出發(fā)到的矢量．如圖12.8所示，如果僅是由于徑向透鏡變形而造成實(shí)際圖像坐標(biāo)不同于理想圖像坐標(biāo)，那么平行于．?dāng)z象機(jī)常數(shù)和在z方向上的平移并不影響的方向，因?yàn)閮蓚€(gè)圖像坐標(biāo)分量是以同樣的比例縮放的．這些約束對于求解外部定位問題是足夠了． 圖12.8攝像機(jī)透視投影與透鏡徑向變形幾何示意圖 假設(shè)標(biāo)定點(diǎn)位于的平面中，并假設(shè)攝象機(jī)相對于這個(gè)平面放置的，以滿

49、足下面兩條重要條件： 1. 絕對坐標(biāo)系中的原點(diǎn)不在視場范圍內(nèi)． 2. 絕對坐標(biāo)系中的原點(diǎn)不會投影到圖像上接近于圖像平面坐標(biāo)系統(tǒng)的軸． 條件1消除了透鏡變形對攝象機(jī)常數(shù)和到標(biāo)定平面距離的影響；條件2保證了剛體平移的分量不會接近于0，因?yàn)榉至砍３３霈F(xiàn)在下面引入的許多方程的分母中．這兩個(gè)條件在許多成像場合下是很容易滿足的．例如，假定攝象機(jī)放在桌子的正上方，鏡頭朝下正好看到桌子的中間位置．絕對坐標(biāo)系可以定義在桌子上，其中，對應(yīng)于桌子平面，和軸分別對應(yīng)于桌子的邊緣，桌子的頂角是絕對坐標(biāo)系的原點(diǎn)，位于視場之外． 假定有個(gè)標(biāo)定點(diǎn)，每個(gè)標(biāo)定點(diǎn)的絕對坐標(biāo)為，未修正圖像坐標(biāo)．根據(jù)這些觀測值形成一個(gè)矩

50、陣，其中的行為： 　　　　　　 (12．68) 設(shè)是含有與剛體變換參數(shù)有關(guān)的未知參數(shù)的矢量： 　 　　 (12．69) 從標(biāo)定點(diǎn)的次觀察來形成一個(gè)矢量．使用五個(gè)以上標(biāo)定點(diǎn)，我們就可以得到關(guān)于參數(shù)矢量的過量線性方程組．使用奇異值分解來求解這個(gè)線性系統(tǒng)，并使用方程解來計(jì)算除了的所有剛體變換參數(shù)，是攝象機(jī)常數(shù)的比例函數(shù)，將在后面確定． 首先，計(jì)算出平移的分量的大小．如果和不同時(shí)為0，和不同時(shí)為0，則： 　　　 (12．70) 其中．如果和同時(shí)都為0，則： 　　　　　　 (1

51、2．71) 如果和同時(shí)為0，則： 　　　　 (12．72) 其次，確定的符號．選取標(biāo)定點(diǎn)，這個(gè)點(diǎn)在圖像平面上的投影點(diǎn)是離圖像中心最遠(yuǎn)的圖像點(diǎn)(位于視場邊界的場景點(diǎn)和其對應(yīng)的圖像點(diǎn))．利用上面得到的結(jié)果矢量，可根據(jù)12．69，計(jì)算，，，和． 設(shè)和．如果和同號， 和也同號，那么具有正確的符號(正號) ，否則在前加一個(gè)負(fù)號．注意，在不考慮的符號時(shí)，上述剛體變換計(jì)算參數(shù)都是正確的，不需要改變． 第三， 計(jì)算余下的剛體變換參數(shù)： (12．73) 因?yàn)樾D(zhuǎn)矩陣是正交歸一化矩陣，則

52、一定成立．使用這一性質(zhì)來計(jì)算旋轉(zhuǎn)矩陣的最后一行中的各個(gè)元素： (12．74) 如果的符號是正的，則在前加負(fù)號．在下面的計(jì)算攝象機(jī)常數(shù)步驟之后，和的符號可能會有所變動． 第四，計(jì)算攝象機(jī)常數(shù)和平移的分量．為了估計(jì)和，可使用所有的標(biāo)定點(diǎn)來構(gòu)成線性方程組， (12．75) 使用每一個(gè)標(biāo)定點(diǎn)來計(jì)算對應(yīng)的矩陣行， (12．76) 并計(jì)算出方程12．75右邊所對應(yīng)的矢量元素， (12．77) 矢量包括所要估計(jì)

53、的參數(shù)： (12．78) 使用奇異值分解求解這個(gè)方程組．如果攝象機(jī)常數(shù)，則在剛體變換的旋轉(zhuǎn)矩陣元素和前加負(fù)號． 第五， 使用前面各步驟得到的和的估算值作為非線性回歸的初始條件，計(jì)算一階透鏡變形系數(shù)，并進(jìn)一步得到和的更精確的估計(jì)值．通過透視投影來建立真實(shí)(修正)圖像平面坐標(biāo) 與攝象機(jī)坐標(biāo)系中的標(biāo)定點(diǎn)之間的關(guān)系式： (12．79) 假設(shè)通過使用徑向透鏡變形模型第一項(xiàng)建立的真實(shí)(修正)圖像平面坐標(biāo)與測量圖像平面坐標(biāo)之間關(guān)系為：

54、 (12．80) 其中半徑的計(jì)算公式如下： (12．81) 注意，未修正(測量)圖像平面坐標(biāo)不同于像素坐標(biāo)，因?yàn)榍罢叩挠?jì)算過程中已經(jīng)用到了圖像中心位置坐標(biāo)，行間距和列間距，以及比例系數(shù)估計(jì)值． 使用透射投影和透鏡變形方程中的分量以及絕對坐標(biāo)與攝象機(jī)坐標(biāo)之間的剛體變換公式，可以得到有關(guān)攝象機(jī)常數(shù)，平移和透鏡變形的一個(gè)約束條件： (12．82) 這將形成求解參數(shù)、和的一個(gè)非線性因歸問題．我們使用軸測量值，而不使用軸測量值，是因?yàn)闇y量值會受到比例系數(shù)的影響．圖像的行間距是非常精確的，可以

55、通過攝象機(jī)的說明書得到，而不受數(shù)字電路的影響． 因?yàn)闃?biāo)定點(diǎn)是在一個(gè)平面上，所以不能確定比例系數(shù)．而且，圖像中心位置沒有被標(biāo)定．在本章末進(jìn)一步閱讀一節(jié)中提供了有關(guān)此類標(biāo)定問題的參考文獻(xiàn)． 12．9．2 仿射變換法 內(nèi)部定位問題同部外部定位問題組合起來可以得到未修正圖像坐標(biāo)與絕對坐標(biāo)系中射線位置和方向之間關(guān)系的整體轉(zhuǎn)換．假設(shè)(未修正)圖像與真實(shí)圖像坐標(biāo)之間的變換模型是圖像平面內(nèi)的一個(gè)仿射模型．這個(gè)變換考慮了引起攝象機(jī)誤差的幾種來源 ． 　　比例誤差：由攝象機(jī)常數(shù)的不精確值造成 ． 　　平移誤差：由圖像原點(diǎn)(主點(diǎn))的不精確估計(jì)值造成． 　　旋轉(zhuǎn)：圖像傳感器繞光軸的旋轉(zhuǎn)． 　　彎曲誤差

56、：由攝象機(jī)軸的不垂直造成． 　　差速比例縮放：由圖像傳感器行列間距不等(非正方形像素)造成． 然而，由于透鏡變形，仿射變換無法來模型化誤差． 在12．8節(jié)求解外部定位問題的過程中，我們建立了從絕對坐標(biāo)系到圖像坐標(biāo)系的變換公式．現(xiàn)在我們將增加真實(shí)圖像坐標(biāo)到測量(未修正)圖像坐標(biāo)的仿射變換，從而得到絕對坐標(biāo)到測量圖像坐標(biāo)的整體變換公式． 在圖像平面中，由于誤差和其它未知的內(nèi)部參數(shù)造成的變形的模型是一個(gè)仿射變換： (12．83) 這里我們將真實(shí)圖像平面坐標(biāo)映射為未修正(測量)圖像坐標(biāo)．根據(jù)透視投影的公式12．79有： 　

57、　 　　 (12．84) 使用12．54式替換具有絕對坐標(biāo)表達(dá)式的仿射變換中的攝象機(jī)坐標(biāo)比值， 　　 　 (12．85) 這些系數(shù)是仿射變換和剛體變換中的系數(shù)乘積和．我們所得到的是一對方程，類似于建立絕對坐標(biāo)和實(shí)際圖像坐標(biāo)之間關(guān)系外部定位問題中的方程(方程12．55)．?dāng)z象機(jī)誤差的仿射模型已經(jīng)在絕對坐標(biāo)到攝象機(jī)坐標(biāo)的變換中．上述公式說明(未修正)圖像坐標(biāo)和攝象機(jī)坐標(biāo)之間是透視投影關(guān)系，但是攝象機(jī)坐標(biāo)空間已經(jīng)發(fā)生扭曲，以便考慮攝象機(jī)誤差． 回到12．85式中，我們可以將主點(diǎn)位置的修正量和加到仿射變換中，得到下式： (12．86) 上式表

58、明通過每個(gè)標(biāo)定點(diǎn)和在圖像平面中的對應(yīng)測量位置產(chǎn)生關(guān)于變換參數(shù)的兩個(gè)線性方程．?dāng)z象機(jī)常數(shù)的名義值并未納入到仿射變換中，因?yàn)樗挥脕順?gòu)造攝象機(jī)坐標(biāo)系中的射線． 標(biāo)定點(diǎn)集產(chǎn)生一組齊次線性方程，從而求出變換的系數(shù)．至少需要6個(gè)標(biāo)定點(diǎn)產(chǎn)生12個(gè)方程來求解12個(gè)未知數(shù)，但應(yīng)該使用更多的標(biāo)定點(diǎn)以提高求解的參數(shù)精度．為了避免所有系數(shù)等于0這一不必要的結(jié)果，應(yīng)將其中一個(gè)參數(shù)固定，如或，并將其移至方程的右邊．由此形成的線性方程組為， (12．87) 其中是變換系數(shù)矢量；矩陣的行元素用標(biāo)定點(diǎn)的絕對坐標(biāo)及其絕對坐標(biāo)的乘積和、或來填充；矢量的元素一個(gè)

59、常數(shù)，從或中選出．由于圖像平面中的仿射轉(zhuǎn)換與求解外部定位問題的旋轉(zhuǎn)矩陣合并在一起，所以形成的變換矩陣不再是正交歸一化矩陣．在沒有正交歸一化約束下，也可以使用通常的數(shù)值方法，如奇異值分解法(SVD)，來解線性方程組．該變換將絕對坐標(biāo)映射為測量圖像坐標(biāo)．實(shí)際應(yīng)用中還需要逆轉(zhuǎn)換，其公式如下： (12．88) 上式可用于確定在絕對坐標(biāo)系中，從圖像測量坐標(biāo)點(diǎn)出發(fā)的射線方程．注意，攝象機(jī)常數(shù)在整個(gè)標(biāo)定算法過程中是不變的．因?yàn)閷z象機(jī)常數(shù)的修正量包含在仿射變換中(方程12．162和12．163)，透鏡的焦距長度可以用來替代．最后，從像素坐標(biāo)到圖像坐標(biāo)的變

60、換公式為， 　　　 (12．89) 這個(gè)變換可以同攝象機(jī)誤差模型(12．83)組合起來，從而產(chǎn)生絕對坐標(biāo)到像素坐標(biāo)的變換． 12．9．3 非線性方法 　　給定一組標(biāo)定點(diǎn)，確定標(biāo)定點(diǎn)在圖像平面上的投影，計(jì)算投影位置的誤差，使用這些誤差來求解攝象機(jī)標(biāo)定參數(shù)．因?yàn)橹罉?biāo)定點(diǎn)在圖像上的投影位置十分必要，所以需要同時(shí)求解外部定位問題．本節(jié)介紹的方法不同于12．9．2節(jié)中介紹的將內(nèi)部定位問題和外部定位問題合并成單一的仿射變換的方法，用本節(jié)的方法可以得到攝象機(jī)實(shí)際的標(biāo)定參數(shù)，并且攝象機(jī)在標(biāo)定后，無論放在場景中什么位置，這些參數(shù)都是正確的． 攝象機(jī)標(biāo)

61、定問題求解的基本思想是測量標(biāo)定點(diǎn)在圖像平面上的投影位置，計(jì)算出其與正確位置之間的偏移量，再將這些測量值加到攝象機(jī)參數(shù)模型的方程中．每個(gè)標(biāo)定點(diǎn)產(chǎn)生兩個(gè)方程．通常需要足夠數(shù)量的方程才能解出所有未知參數(shù)，但為了提高求解精度，可以使用比未知參數(shù)數(shù)量多的多的方程，并且使用非線性回歸方法求解過度確定的方程組． 假設(shè)在絕對坐標(biāo)系中攝象機(jī)的近似位置和方向都是已知的．因?yàn)槲覀冇行D(zhuǎn)角的初始估計(jì)值，我們可以按照旋轉(zhuǎn)矩陣中的歐拉角來列出外部定位問題的公式．回歸問題的參數(shù)有：旋轉(zhuǎn)角、和；在絕對坐標(biāo)系中攝象機(jī)的位置，和；攝象機(jī)常數(shù)；主點(diǎn)位置的修正量；徑向透鏡變形的多項(xiàng)式系數(shù)和．外部定位問題的方程見12．62．由攝象機(jī)

62、模型的修正位置(見式12．68和12．69)替換12．62式的和，得到攝像機(jī)的模型為： (12．90) 按照方程12．13提供的有關(guān)歐拉角的旋轉(zhuǎn)矩陣各項(xiàng)的公式替換旋轉(zhuǎn)矩陣的所有元素．利用非線性回歸的方法來求解攝象機(jī)參數(shù)和外部定位．回歸算法要求很好的初始條件．如果目標(biāo)是一個(gè)平面，攝象機(jī)的軸垂直于平面，并且圖像的中心大致位于目標(biāo)上，那么很容易得到要求的初始條件．假設(shè)建立的絕對坐標(biāo)系的軸和軸均平行于攝象機(jī)的軸，則初始條件為： =從原點(diǎn)出發(fā)沿方向的位移 =從原點(diǎn)出發(fā)沿方向的位移 =攝象機(jī)到標(biāo)定平面的距離 =透鏡的焦距長度 使用激光打印機(jī)可以很容

63、易地創(chuàng)建一個(gè)包含若干個(gè)點(diǎn)的目標(biāo)．在圖像中點(diǎn)的未修正位置可以通過計(jì)算連同分量的一階矩得到． 非線性回歸的不足之處是需要很好的參數(shù)初始值， 但其優(yōu)勢是有大量的關(guān)于非線性回歸的文獻(xiàn)，這些文獻(xiàn)給出了求解非線性問題的忠告和參數(shù)估計(jì)中的誤差估計(jì)方法． 12．10 雙目立體標(biāo)定 這一節(jié)主要討論如何將本章介紹的方法和技術(shù)運(yùn)用到標(biāo)定立體攝象機(jī)并進(jìn)行立體測量的實(shí)際系統(tǒng)中去，這業(yè)提高了一個(gè)考察不同攝象機(jī)標(biāo)定之間關(guān)系的機(jī)會． 在開發(fā)用于雙目立體的實(shí)際系統(tǒng)過程中要完成的幾個(gè)任務(wù)如下： 1. 標(biāo)定每一個(gè)攝象機(jī)的固有參數(shù)； 2. 求解相對定位問題； 3. 對圖像重新取樣使極線對應(yīng)于圖像陣列的行； 4. 通

64、過特征點(diǎn)的匹配和相關(guān)方法計(jì)算配對點(diǎn)； 5. 求解每個(gè)配對點(diǎn)的立體相交問題； 6. 確定基線距離； 7. 求解絕對定位問題，以便將測量點(diǎn)坐標(biāo)從立體攝象機(jī)坐標(biāo)系變換到場景中的絕對坐標(biāo)系． 標(biāo)定一個(gè)雙目立體系統(tǒng)有好幾種方法，對應(yīng)于圖12．8中的不同路徑．首先，標(biāo)定每個(gè)攝象機(jī)，以確定攝象機(jī)常數(shù)、主點(diǎn)位置、透鏡變形的修正表以及其它固有參數(shù)．完成左、右攝象機(jī)標(biāo)定后，基本上有三種方法去使用立體系統(tǒng)中攝象機(jī)． 第一種方法是求解相對定位問題，并通過其它的方法確定基線，比如，使用立體攝象機(jī)測定已知距離的一個(gè)點(diǎn)．這也就完全實(shí)現(xiàn)了兩個(gè)攝象機(jī)之間剛體變換的標(biāo)定．點(diǎn)測量值可以在立體攝象機(jī)的局部坐標(biāo)系中表示．由于

65、基線已經(jīng)被標(biāo)定，點(diǎn)的測量值可以用實(shí)數(shù)單位表示，并且立體系統(tǒng)可以測量場景中物體上各點(diǎn)之間的關(guān)系．在此期間沒有必要求解絕對定位問題，除非要求點(diǎn)測量值必須變換到另一個(gè)坐標(biāo)系中． 第二種方法是求解相對定位問題，并得到在任意測量系統(tǒng)中的點(diǎn)在單位基線距離意義的測量值．除了比例系數(shù)是未知數(shù)外，所有點(diǎn)測量值都可以得到修正．甚至在距離單位未知的情況下，距離比值和角度也可以得到修正．如果其后得到基線距離，則用點(diǎn)的坐標(biāo)乘以基線距離就可以得到相應(yīng)的有單位測量值．如果必須要將點(diǎn)的測量值變換到另一個(gè)坐標(biāo)系中，則求解比例絕對定位問題(12．7節(jié))，因?yàn)檫@將完成基線距離的標(biāo)定，以及點(diǎn)坐標(biāo)單位的變換，無需額外的計(jì)算． 第三

66、種方法是求解每個(gè)立體攝象機(jī)的外部定位問題．這實(shí)現(xiàn)了從左右攝象機(jī)坐標(biāo)系到絕對坐標(biāo)系之間的變換．使用12．6節(jié)介紹的相交射線方法得到點(diǎn)的測量值將自動以已知的單位表示在絕對坐標(biāo)系中，無需進(jìn)一步的變換． 圖12.9 標(biāo)定雙目立體視覺系統(tǒng)算法框圖 12．11 主動三角測距標(biāo)定 本節(jié)將覆蓋了使用主動傳感器投射一束平面光到場景中不透明表面上來確定點(diǎn)的坐標(biāo)方法．下面將討論主動三角系統(tǒng)標(biāo)定方法． 我們將從攝象機(jī)坐標(biāo)中的一個(gè)簡單幾何開始，進(jìn)而再到絕對坐標(biāo)中的一般情況．假定光平面可繞一個(gè)軸旋轉(zhuǎn)，該軸平行于軸并位于軸的處．若表示平面相對于軸的定位．當(dāng) q = 0時(shí)，光平面平行于y-z平面， q為正對應(yīng)于繞y軸逆時(shí)針旋轉(zhuǎn)．按照矢量幾何，平面的法線為： (12．91) 基線為： (12．92) 如果點(diǎn)位于平面上，則滿足： 　　 (12．93) 這個(gè)光平面照亮了場景，并與不透明平面相交生成一條空間曲線，然后，攝象機(jī)攝下這條曲線．使用一個(gè)