《北理工賈云德《計(jì)算機(jī)視覺(jué)》chapter15三維運(yùn)動(dòng)估計(jì)(共20頁(yè))》由會(huì)員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計(jì)算機(jī)視覺(jué)》chapter15三維運(yùn)動(dòng)估計(jì)(共20頁(yè))（20頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 第十五章 三維運(yùn)動(dòng)估計(jì) 三維運(yùn)動(dòng)估計(jì)是指從二維圖象序列來(lái)估計(jì)物體三維運(yùn)動(dòng)參數(shù)以及三維結(jié)構(gòu)。具體地說(shuō)，假定三維物體上一點(diǎn)相對(duì)于攝象機(jī)坐標(biāo)系從時(shí)刻的位置運(yùn)動(dòng)到時(shí)刻的位置，它在二維圖象平面上的投影從運(yùn)動(dòng)到，然后，通過(guò)分析二維運(yùn)動(dòng)來(lái)恢復(fù)物體的三維運(yùn)動(dòng)及物體上感興趣點(diǎn)的深度值。這一點(diǎn)類似于立體視覺(jué)的深度恢復(fù)，不過(guò)立體視覺(jué)是從立體圖象對(duì)來(lái)恢復(fù)深度值，而三維運(yùn)動(dòng)分析是從圖象序列中恢復(fù)參數(shù)。三維運(yùn)動(dòng)估計(jì)有著廣泛的應(yīng)用，如機(jī)器人視覺(jué)，自主導(dǎo)航，目標(biāo)跟蹤，圖象監(jiān)控，智能車輛高速公路系統(tǒng)，基于物體的圖象壓縮等。三維運(yùn)動(dòng)估計(jì)仍然是一個(gè)不適定問(wèn)題，必須增加適當(dāng)?shù)募s束才能得到有效

2、解。 三維運(yùn)動(dòng)估計(jì)和分析也可以是基于場(chǎng)景的深度圖像序列，其方法與基于二維圖像序列完全不同?；谏疃葓D像序列的三維運(yùn)動(dòng)估計(jì)是一個(gè)適定問(wèn)題，求解方法要比基于二維圖像序列要簡(jiǎn)單一些，主要問(wèn)題是數(shù)據(jù)量十分巨大，因此許多研究人員一開(kāi)始就以實(shí)現(xiàn)大規(guī)模集成電路（VLSI）作為三維場(chǎng)景估計(jì)的基礎(chǔ)。我們將不討論深度圖像序列運(yùn)動(dòng)估計(jì)問(wèn)題，感興趣的讀者可以查閱有關(guān)文獻(xiàn)[Wheeler 1996,Jiar 1996]. 15．1 基于成象模型的對(duì)應(yīng)點(diǎn)估計(jì) 首先回顧一下第十二章引入的三維剛體運(yùn)動(dòng)方程。假定三維場(chǎng)景中有一個(gè)剛性物體，其上一點(diǎn)從時(shí)刻的位置經(jīng)過(guò)旋轉(zhuǎn)和平移，運(yùn)動(dòng)到時(shí)刻的位置。設(shè)旋轉(zhuǎn)矩陣和平移向量分

3、別是和,則三維剛體運(yùn)動(dòng)模型重新表示為 (15.1) 用歐拉角的形式表示上述旋轉(zhuǎn)矩陣(見(jiàn)式(12.2),（12.3）)，并假定旋轉(zhuǎn)角較小，則旋轉(zhuǎn)矩陣可以表示為 (15.2) 其中,,分別表示繞 軸逆時(shí)針旋轉(zhuǎn)小角位移。 15．1．1 正交投影模型 當(dāng)物體深度變化范圍不大時(shí)，正交投影是透視投影的一個(gè)很好的逼近。其它逼近方法還有弱透視投影，超透視投影，正交透視投影等[Dementhon 1992]。 設(shè)空間點(diǎn)在圖象平面上的投影為。如果成象模型為正交投影（參見(jiàn)圖1.8），則有

4、 (15.3) 所以，式(15.1) 可表示為 (15.4) 上述方程包含有6個(gè)參數(shù)，即，，，，和，表示第幀圖象像素到第幀圖象像素的仿射映射關(guān)系。顯然，正交投影模型是無(wú)法確定物體點(diǎn)到成象平面的距離，因?yàn)榇怪庇趫D像平面的一條直線，其上的所有點(diǎn)都將投影到該圖象平面上一點(diǎn)（見(jiàn)圖1.8）。但是，如果在物體上選擇一個(gè)參考點(diǎn)，并設(shè)該點(diǎn)的深度值為,則通過(guò)上式有可能估計(jì)出物體上其它點(diǎn)相對(duì)于這個(gè)參考點(diǎn)在垂直圖像平面方向上的距離。實(shí)際上，我們無(wú)法得到真實(shí)的相對(duì)深度值，只能得到關(guān)于

5、一個(gè)尺度系數(shù)的相對(duì)深度值，即 (15.5) 從方程15.4中，我們看到和縮小，放大，方程仍然成立，因此產(chǎn)生多義性。文獻(xiàn)[Ull79]證明三幀或三幀以上圖象上的四點(diǎn)就可以克服這個(gè)問(wèn)題。 15．1．2 基于正交投影的運(yùn)動(dòng)估計(jì) 將(15.2)小角度旋轉(zhuǎn)矩陣代入(15.1)，得到如下的正交投影模型： (15.6) 在該方程中，對(duì)于每一個(gè)給定的對(duì)應(yīng)點(diǎn)和，共有6個(gè)未知參數(shù)，其中5個(gè)是全局運(yùn)動(dòng)參數(shù)，，，，，一個(gè)是深度參數(shù)。另外，這個(gè)方程是一個(gè)雙線性方程，因?yàn)榕c未知參數(shù)和是

6、乘積關(guān)系。理論上，給定三點(diǎn)，就可以根據(jù)(15.6)列出6個(gè)方程，從而解出六個(gè)未知參數(shù)。但實(shí)際上，由于數(shù)值計(jì)算誤差，常常需要多個(gè)點(diǎn)，這樣有可能得到較好的結(jié)果。文獻(xiàn)[Aizawa 1989] 基于上述正交投影模型提出了基于兩幀圖象的兩步迭代法：首先，根據(jù)上一次迭代得到的深度估計(jì)值，確定運(yùn)動(dòng)參數(shù)，然后再使用新的運(yùn)動(dòng)參數(shù)更新深度估計(jì)值。具體實(shí)現(xiàn)見(jiàn)算法15.1 算法15.1 基于兩幀圖像的運(yùn)動(dòng)估計(jì)兩步迭代算法 ① 給定個(gè)對(duì)應(yīng)點(diǎn)坐標(biāo)對(duì)和深度估計(jì)值，，且，這樣方程(15.6)可重新寫(xiě)為 (15.7) 個(gè)對(duì)應(yīng)點(diǎn)對(duì)應(yīng)著個(gè)方程，而未知參數(shù)僅有5個(gè)，因此，可以通過(guò)最小二

7、乘法來(lái)求解這5個(gè)運(yùn)動(dòng)參數(shù)。深度參數(shù)的初始估計(jì)值可以根據(jù)場(chǎng)景的先驗(yàn)?zāi)Ｐ蛠?lái)設(shè)置，深度估計(jì)值應(yīng)在預(yù)先設(shè)定的范圍內(nèi)選定，這主要是為了避免解的不唯一性。 ② 根據(jù)①得到的運(yùn)動(dòng)參數(shù)估計(jì)值，再對(duì)深度值進(jìn)行估計(jì)。將式(15.7)重新寫(xiě)為 (15.8) 由于每一個(gè)深度值對(duì)應(yīng)兩個(gè)方程，即方程(15.8)是一個(gè)超定方程，因此，可以用最小二乘法來(lái)求解。 ③ 重復(fù)上述兩步，直到兩次迭代值之差小于給定的某一個(gè)閾值。 請(qǐng)注意，在上述算法中，運(yùn)動(dòng)估計(jì)誤差和深度估計(jì)誤差有著密切的關(guān)系。由方程(15.7)和(15.8)可知，深度估計(jì)的隨機(jī)誤差會(huì)重復(fù)反饋到運(yùn)動(dòng)估計(jì)上。因此，當(dāng)深

8、度估計(jì)不夠準(zhǔn)確或深度的初始值設(shè)置不當(dāng)時(shí)，都可能導(dǎo)致迭代算法的錯(cuò)誤收斂或收斂在一個(gè)局部最小值。為了避免這種錯(cuò)誤的收斂，[Bozdagi 1994]提出了改進(jìn)的算法，該算法的基本思想是在每一次修正后，在深度估計(jì)值上加一個(gè)隨機(jī)擾動(dòng)。改進(jìn)的算法如算法15.1所示。 算法15.2 基于兩幀圖像運(yùn)動(dòng)估計(jì)擾動(dòng)迭代算法： ① 初始化深度值，，置迭代計(jì)數(shù)器。 ② 在給定深度值下根據(jù)式(15.6)估計(jì)運(yùn)動(dòng)參數(shù) ③ 根據(jù)當(dāng)前的運(yùn)動(dòng)估計(jì)和深度參數(shù)，由公式(15.6)計(jì)算對(duì)應(yīng)點(diǎn)的坐標(biāo) ④ 計(jì)算預(yù)估誤差： (15.9) 其中,和是已知的對(duì)應(yīng)點(diǎn)真實(shí)

9、坐標(biāo)。 ⑤ 如果小于預(yù)定的誤差閾值，即，則終止迭代，否則，置。 ⑥ 給深度參數(shù)賦一個(gè)擾動(dòng)值 (15.10) 其中和是常系數(shù)，是零均值高斯分布函數(shù)，其方差。 ⑦ 回到第②步 實(shí)驗(yàn)證明，這種改進(jìn)的迭代算法在初始深度值有50%的誤差的情況下，也能很好地收斂到正確的運(yùn)動(dòng)參數(shù)值。 15．1．3 透視投影模型 設(shè)空間點(diǎn)在圖象平面上的投影為。如果成象模型為透視投影，則 (15.11) 根據(jù)（15.1）式有

10、 (15.12) 由于成象系統(tǒng)的焦距是一個(gè)常數(shù)，因此，不乏一般性，取,即規(guī)范化透視投影。上式右邊分子分母同除以，得到圖象平面坐標(biāo)表示式： (15.13) 按照?qǐng)D像平面坐標(biāo)，透視投影模型（15.13）是一個(gè)非線性方程。因?yàn)槊恳稽c(diǎn)對(duì)應(yīng)的深度值是一個(gè)自由參數(shù)，因此，這個(gè)模型適合于任意表面形狀三維物體的運(yùn)動(dòng)估計(jì)。 15．1．4 外極線方程和基本矩陣 由方程(15.13)可見(jiàn)，在透視投影情況下，運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)之間的關(guān)系是非線性的。早期人們使用迭代方法求解運(yùn)動(dòng)參數(shù)，但迭代過(guò)程往往不收斂，比如兩步迭代法。[Huang 1986]證明，使用八個(gè)對(duì)應(yīng)點(diǎn)或

11、更多對(duì)應(yīng)點(diǎn)來(lái)求取外極線約束方程并估計(jì)運(yùn)動(dòng)參數(shù)是可以改進(jìn)兩步迭代法的收斂性能。本節(jié)主要討論外極線方程及其性質(zhì)，關(guān)于估計(jì)運(yùn)動(dòng)參數(shù)，將在下一節(jié)介紹。 將方程15.1縮寫(xiě)為 (15.14) 或 (15.15) 令 (15.16) 其中“”表示矢量積。為了書(shū)寫(xiě)簡(jiǎn)單，在不引起混淆的情況下，可以把下標(biāo)去掉，即： （15.17) 方程(15.15)可以重新寫(xiě)為

12、 (15.18) 下面引進(jìn)一個(gè)反對(duì)稱矩陣： 因此式(15.17)可表示為 (15.19) 是一個(gè)矩陣，稱為基本矩陣(essential matrix)，矩陣元素稱為基本參數(shù)[Huang 1986]。下面首先看一下矩陣的一些性質(zhì)[Faugeras 1993]： 1） 2） 3） 4）,其中，稱為Frobenius模。 在性質(zhì)1）中，是反對(duì)稱矩陣，因此該性質(zhì)是成立的； 對(duì)于性質(zhì)2），； 對(duì)于性質(zhì)3），； 性質(zhì)4

13、）顯然是成立的。 用除以等式(15.18)的兩邊得 (15.20) 根據(jù)規(guī)范化透視投影方程(15.11)，得到外極線方程： (15.21) 和是物體上一點(diǎn)在第幀和第幀圖像上的投影點(diǎn)坐標(biāo)，其齊次坐標(biāo)分別為和，則外極線方程(15.21)可以表示為 (15.22) 該方程的幾何意義十分明顯，從圖15.1可見(jiàn)，三條線，和是共面的，將這三個(gè)矢量變換到第二個(gè)坐標(biāo)系中，其表示式分別為，和。 　　第幀圖像上一點(diǎn)對(duì)應(yīng)矢量表示的射線上所有點(diǎn)的

14、投影，射線上任何一點(diǎn)可以表示為，。根據(jù)針孔模型，射線上任何一點(diǎn)在第幀圖像平面上的投影是，而整個(gè)射線在第幀圖像平面上的投影是一條直線，表示成為第幀圖像上一點(diǎn)在第幀圖像平面上的外極線。這條直線可以用兩點(diǎn)來(lái)表示，一點(diǎn)是，，對(duì)應(yīng)第幀圖像光學(xué)中心在第幀圖像平面上的投影，常稱為極點(diǎn)（epipole）；另一點(diǎn)是無(wú)窮遠(yuǎn)點(diǎn)，。則外極線可以表示為 　　　　　　　　　　　　　(15.23) 第幀圖像上一點(diǎn)在第幀圖像平面上的對(duì)應(yīng)點(diǎn)應(yīng)該位于該直線上。 圖15.1 基于對(duì)應(yīng)點(diǎn)的外極線約束恢復(fù)運(yùn)動(dòng)參數(shù)示意圖 方程（15.22）是包含9個(gè)未知參數(shù)的齊次線性方程，齊次線性方程無(wú)解或有無(wú)窮解。因此，可

15、以令基本矩陣的一個(gè)系數(shù)為1，這樣待估計(jì)的參數(shù)有八個(gè)。另外，矩陣是一個(gè)斜對(duì)稱矩陣和一個(gè)旋轉(zhuǎn)矩陣的乘積，它們并不是獨(dú)立的。矩陣的前三個(gè)性質(zhì)構(gòu)成三個(gè)約束方程，這樣，方程（15.22）只包含5個(gè)未知的獨(dú)立的參數(shù)，這也和運(yùn)動(dòng)參數(shù)的自由度數(shù)量相一致，即三個(gè)旋轉(zhuǎn)自由度，二個(gè)平移自由度（或三個(gè)關(guān)于一個(gè)比例系數(shù)的平移自由度），實(shí)際上，由方程（15.15）可見(jiàn)，平移量乘以任何不為零的系數(shù)都不影響方程成立，也就是說(shuō)，當(dāng)用同一個(gè)比例系數(shù)改變物體形狀或運(yùn)動(dòng)平移量時(shí)，所得到的圖像完全一樣。因此，從運(yùn)動(dòng)恢復(fù)形狀和從圖像序列恢復(fù)運(yùn)動(dòng)參數(shù)，只能在關(guān)于一個(gè)比例系數(shù)的意義下進(jìn)行。 *15．1．5 從基本矩陣估計(jì)運(yùn)動(dòng)參數(shù) 由于基

16、本矩陣只有5個(gè)未知獨(dú)立參數(shù)，因此可以采用所謂的5-點(diǎn)算法（5-points algorithm）來(lái)求解基本矩陣，然后，基于基本矩陣恢復(fù)運(yùn)動(dòng)參數(shù)。不過(guò)由于5-點(diǎn)算法比較復(fù)雜，且得到的解很不穩(wěn)定，因此，實(shí)用價(jià)值不大，在這里不作討論，感興趣的讀者可以參見(jiàn)文獻(xiàn)[Faugerous 1990].為了得到唯一解，一般選取8個(gè)以上的對(duì)應(yīng)點(diǎn)通過(guò)最小二乘法來(lái)求解。[Longuet 1981]提出一種8-點(diǎn)算法，通過(guò)8個(gè)點(diǎn)直接估計(jì)基本矩陣的8個(gè)未知參數(shù)，然后，在基本矩陣的基礎(chǔ)上，估計(jì)運(yùn)動(dòng)參數(shù)。將基本矩陣表示為： 方程（15.22）可以重新寫(xiě)為 (15.24) 設(shè)，將上式縮寫(xiě)為

17、 （15.25） 如果有個(gè)對(duì)應(yīng)點(diǎn)，每一個(gè)對(duì)應(yīng)點(diǎn)生成一個(gè)方程，則共有個(gè)方程 （15.26） 其中。由于是關(guān)于一個(gè)比例系數(shù)的矩陣，因此，實(shí)際上只需要求解8個(gè)未知參數(shù)。所以，求解該方程的最小點(diǎn)數(shù)是8個(gè)。已知空間中有8個(gè)點(diǎn)及其在第幀和第幀圖像上的投影點(diǎn)坐標(biāo)，則通過(guò)求解方程（15.26）得到基本矩陣參數(shù)。顯然，只用8點(diǎn)求解基本矩陣，對(duì)噪聲十分敏感，因此，一般采用更多的對(duì)應(yīng)點(diǎn)并采用更魯棒的方法來(lái)求解基本矩陣參數(shù)[Faugerus 1993,pp273]。下面介紹一種極小化范數(shù)的基本矩陣求解方法。為了避免平凡解，假定的范數(shù)

18、不為零。在實(shí)際中，由于，很容易證明，。前面曾提到平移量是關(guān)于一個(gè)比例因子的量，因此，可以取。這樣，求解基本矩陣參數(shù)問(wèn)題就成為 (15.27) 根據(jù)約束條件下的優(yōu)化算法，引入一個(gè)拉格朗日乘子，得到目標(biāo)函數(shù)： 　　　　　　　　　　　　(15.28) 該函數(shù)對(duì)微分，可得 (15.29) 上式說(shuō)明是對(duì)稱矩陣的特征值，而是對(duì)應(yīng)的最小特征向量。因?yàn)槭且粋€(gè)的矩陣，有9個(gè)可能解，令9個(gè)特征值為,并假定，則，由于(15.28)是求解的極小值，故，。此時(shí)的解是對(duì)應(yīng)對(duì)稱矩陣的 特征值且范數(shù)

19、為的特征向量。 求出基本矩陣后，可以進(jìn)行運(yùn)動(dòng)參數(shù)和的估計(jì)。由基本矩陣的性質(zhì)2）可知，可以通過(guò)求下面均方問(wèn)題極小化來(lái)求解： (15.30) 則是對(duì)應(yīng)矩陣的最小特征值的單位范數(shù)向量。 對(duì)于旋轉(zhuǎn)矩陣，必須通過(guò)求解下面均方問(wèn)題極小化得到 (15.31) 由于，。 另外，，則上述問(wèn)題變?yōu)椋? (15.32) 其中是矩陣的第行向量.這一問(wèn)題可以通過(guò)四元數(shù)表示法求解,一般情況下,解是唯一的. 15．1．6從外極線方程估計(jì)運(yùn)動(dòng)參數(shù) 從

20、基本矩陣估計(jì)運(yùn)動(dòng)參數(shù)是間接求解方法，即首先求解基本矩陣，然后利用線性方法恢復(fù)運(yùn)動(dòng)參數(shù)和．由于間接求解方法采用的線性方法，因此，比較簡(jiǎn)單．但為了求解有效的基本矩陣，必須使用高階多項(xiàng)式約束函數(shù)，如果這樣，則喪失線性方法的簡(jiǎn)單性．因此，人們開(kāi)始研究直接求解方法，即通過(guò)外極線方程直接估計(jì)運(yùn)動(dòng)參數(shù)．下面介紹一種直接的方法：Longuet-Higgins準(zhǔn)則[Faugeras 1993,pp275]， 　　　　　　?。?5.33） 方程(15.33)沒(méi)有解析解，必須通過(guò)非線性極小化方法求解． 圖15.2　外極線與實(shí)際投影點(diǎn)的距離關(guān)系 Longuet-Higgins準(zhǔn)則的幾何意義可以從圖15

21、.2解釋．已知空間一點(diǎn)在第幀和第幀圖像上對(duì)應(yīng)的投影點(diǎn)坐標(biāo)分別為和．在第幀圖像平面上的外極線表示為，見(jiàn)式15.23。在理想情況下，空間點(diǎn)在第在第幀圖像上的投影點(diǎn)應(yīng)該位于直線上，即。實(shí)際上，由于投影點(diǎn)檢測(cè)誤差、數(shù)字計(jì)算誤差以及系統(tǒng)誤差等，并不一定在外極線上。到的距離可以定義為 (15.34) 其中是規(guī)范化系數(shù)，其值等于矢量前兩個(gè)坐標(biāo)形成的矢量的范數(shù)。 如果有個(gè)對(duì)應(yīng)點(diǎn)，則Longuet-Higgins準(zhǔn)則可以重新寫(xiě)為 (15.35) 上式是第幀圖像上的在第幀圖像上的對(duì)應(yīng)點(diǎn)與外極線的距

22、離。反過(guò)來(lái)，也可以求解第幀圖像上的在第幀圖像上的對(duì)應(yīng)點(diǎn)與外極線的距離是 (15.36) 為了可靠地求解運(yùn)動(dòng)參數(shù)，可對(duì)上面兩個(gè)式子之和求極小化： (15.37) 實(shí)踐證明，上述算法優(yōu)于解析方法。 15．2 三維運(yùn)動(dòng)估計(jì)的光流法 現(xiàn)在已經(jīng)出現(xiàn)了許多用于三維結(jié)構(gòu)估計(jì)的算法，比如，前面幾章介紹的從立體視覺(jué)恢復(fù)三維結(jié)構(gòu)，從明暗恢復(fù)結(jié)構(gòu)，從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)等。15.1節(jié)曾討論基于特征點(diǎn)的運(yùn)動(dòng)估計(jì)深度值的方法，由于特征點(diǎn)是稀疏的，因此要恢復(fù)出物體表面的完整結(jié)構(gòu)，必須進(jìn)行插值計(jì)算。本節(jié)首先討論由

23、稠密光流場(chǎng)實(shí)現(xiàn)3D平移運(yùn)動(dòng)表面結(jié)構(gòu)估計(jì)的方法，然后討論基于光流場(chǎng)的一般的運(yùn)動(dòng)結(jié)構(gòu)參數(shù)的估計(jì)方法。 在光流場(chǎng)估計(jì)的基礎(chǔ)上，從兩幅正交投影或透視投影的圖象中可以估計(jì)出三維物體的運(yùn)動(dòng)和結(jié)構(gòu)。光流法與模型法的不同之處在于前者使用投影速度場(chǎng)模型，而后者使用的是位移場(chǎng)模型。光流法需要稠密的光流場(chǎng)，而不是選擇并匹配明顯的特征點(diǎn)。首先我們假定光流場(chǎng)是由一個(gè)物體產(chǎn)生的，對(duì)于多個(gè)物體，將在后面的運(yùn)動(dòng)場(chǎng)分割時(shí)討論。 15．2．1 速度場(chǎng)正交投影模型與仿射流 在剛體旋轉(zhuǎn)的角度很小時(shí)，可以根據(jù)式(15.1)和(15.2)得到如下剛體變換公式為 (15.38) 或

24、 (15.39) 上式兩端同除以，得到速度變換公式： 　　　 　　(15.40) (1) 速度場(chǎng)正交投影模型 三維速度場(chǎng)在圖像平面上的正交投影計(jì)算公式如下： (15.41) 根據(jù)式(15.40)，上式可表示為（為了書(shū)寫(xiě)簡(jiǎn)單，這里忽略了下標(biāo)） (15.42) 當(dāng)圖像平面離物體的距離越來(lái)越遠(yuǎn)時(shí)，或觀測(cè)視角越來(lái)越小時(shí)，正交投影模型可以看作是透視投影模型的近似模型。 (2) 仿射流 進(jìn)行剛體運(yùn)動(dòng)的平面在正交投影

25、下生成仿射流。設(shè)平面方程為 （15.43） 將（15.43）代入式（15.42），得到含有六個(gè)參數(shù)的仿射流模型 （15.44） 其中 注意到，如果已知三個(gè)或更多點(diǎn)的光流，就能建立包含六個(gè)未知量的六個(gè)或更多的方程，從而求解。然而，由于正交投影的緣故，不可能從中唯一地確定所有八個(gè)運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)。例如，在正交投影下是不可觀察的。 15．2．2速度場(chǎng)透視投影模型與二次流 (1) 速度場(chǎng)透視投影模型 首先對(duì)透視投影模型(15.11)微分： (15.45)

26、再將(15.40)代入上式得（為了書(shū)寫(xiě)簡(jiǎn)單，這里忽略了下標(biāo)）: (15.46) 在規(guī)范化透視投影下，上式重新寫(xiě)為 (15.47) 上式的透視投影速度與物體的坐標(biāo)有關(guān)．如果已知物體的表面模型，則有可能減緩對(duì)坐標(biāo)的依賴性。 (2) 二次流 二次流是最基本的光流場(chǎng)模型，因?yàn)樗峭敢曂队跋缕矫孢\(yùn)動(dòng)的準(zhǔn)確模型；因此,二次流對(duì)曲面局部一階泰勒級(jí)數(shù)逼近模型是有效的[Waxman 1987]。在規(guī)范化透視投影下，平面方程（15.43）可以寫(xiě)為 (15.48) 將（15.48）代入透視投影速度場(chǎng)模型（15.47

27、），得到8個(gè)參數(shù)的二次流表示： (15.49) 其中 如果我們知道平面上至少四個(gè)點(diǎn)的光流，就可以建立八個(gè)或更多的方程來(lái)求解八個(gè)未知參量。注意到是表面點(diǎn)和攝象機(jī)之間的距離，它總是以比例因子的形式出現(xiàn)。類似的方法可以參見(jiàn)文獻(xiàn)[Diehl 1991,Anandan 1993] 為了恢復(fù)基于使用二階光流模型的三維運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)，Waxman等人［Waxman 1987］定義了12個(gè)運(yùn)動(dòng)變形參數(shù)，它們與光流的一階和二階偏導(dǎo)數(shù)有關(guān)。雖然可以得到解析解，但是光流估計(jì)的偏導(dǎo)數(shù)對(duì)噪聲十分敏感。 15．2．3延伸焦點(diǎn) 對(duì)純平移運(yùn)動(dòng)來(lái)說(shuō)，

28、所有的光流矢量在圖象平面上的投影表現(xiàn)為從某一點(diǎn)延伸出去，或是從遠(yuǎn)處匯聚到某一點(diǎn)，人們將此點(diǎn)稱為延伸焦點(diǎn)(focus of expansion，F(xiàn)OE)，或匯聚焦點(diǎn)。這個(gè)點(diǎn)實(shí)際上是物體運(yùn)動(dòng)方向與圖像平面的交點(diǎn)。物體僅作純平移運(yùn)動(dòng)時(shí)，物體上一點(diǎn)在時(shí)刻處的三維坐標(biāo)是 (15.50) 其中是時(shí)刻的三維坐標(biāo)，，是沿軸方向勻速運(yùn)動(dòng)的速度。在規(guī)范化透視投影下，這個(gè)點(diǎn)在圖像平面上的坐標(biāo)由下式給出： (15.51) 當(dāng)時(shí)，上式變?yōu)椋? (15.52) 上式說(shuō)明，矢量指示物體平

29、移運(yùn)動(dòng)的瞬時(shí)方向。當(dāng)物體作勻速平移運(yùn)動(dòng)時(shí)，物體上的所有點(diǎn)將從圖像平面上一個(gè)固定點(diǎn)延伸出去，如圖15.3所示。計(jì)算延伸焦點(diǎn)的方法有光流估計(jì)法[Lawton 1983]、直接搜索方法[Jain 1983]等. 圖15.3 具有不同運(yùn)動(dòng)速度的物體對(duì)應(yīng)的延伸焦點(diǎn)示意圖 根據(jù)FOE可以確定空間點(diǎn)的相對(duì)深度。下面是確定三維場(chǎng)景點(diǎn)相對(duì)深度的步驟： ① 通過(guò)第幀和第幀圖像估計(jì)光流矢量，并確定FOE的位置。 ② 第幀圖像上第個(gè)點(diǎn)對(duì)應(yīng)的深度值可以相對(duì)于一個(gè)參考深度值表示為 (15.53) 上式是利用透視投影相似三

30、角原理得到，其中是第幀圖像上的第點(diǎn)與FOE之間的距離。是圖像點(diǎn)從第幀到第幀的位移，如圖15.4所示。對(duì)應(yīng)三維場(chǎng)景點(diǎn)從第幀到第幀沿軸方向的位移，這個(gè)值無(wú)法確定。 ③ 第幀圖像上第點(diǎn)和第點(diǎn)相對(duì)深度可以通過(guò)（15.53）來(lái)計(jì)算： (15.54) 如果物體點(diǎn)的運(yùn)動(dòng)不是簡(jiǎn)單的勻速平移，而是其它類型的運(yùn)動(dòng)，如，變速運(yùn)動(dòng)、旋轉(zhuǎn)運(yùn)動(dòng)、變形運(yùn)動(dòng)等，則FOE可能不存在。 圖15.4 根據(jù) FOE確定空間點(diǎn)相對(duì)深度示意圖 15．2．4代數(shù)法 三維運(yùn)動(dòng)估計(jì)的光流法由兩步組成：光流場(chǎng)估計(jì)和基于光流場(chǎng)的三維運(yùn)動(dòng)估計(jì)。光流估計(jì)方法已經(jīng)在第14章介紹了。基于光

31、流場(chǎng)的三維運(yùn)動(dòng)恢復(fù)有許多方法，各種方法之間的主要差別在于光流場(chǎng)估計(jì)所用的假設(shè)不同，或三維運(yùn)動(dòng)恢復(fù)所用的準(zhǔn)則不同。這些方法大致可以分為兩類：代數(shù)法和優(yōu)化法。本節(jié)主要討論光流法恢復(fù)三維運(yùn)動(dòng)參數(shù)的代數(shù)法，下一節(jié)將討論優(yōu)化法。 將方程組（15.46）的兩個(gè)式子合并，并消除參數(shù) (15.55) 其中 是延伸焦點(diǎn)坐標(biāo)（見(jiàn)式（15.52））。通過(guò)求解上式可以得到平移速度和一個(gè)關(guān)于比例系數(shù)的深度值，這個(gè)比例系數(shù)等于。一般來(lái)說(shuō)，同一個(gè)光流場(chǎng)可能對(duì)應(yīng)多個(gè)解。方程（15.55）有5個(gè)未知參數(shù)，。在無(wú)噪聲光流數(shù)據(jù)情況下，使用5個(gè)光流矢量，至少對(duì)

32、應(yīng)有10個(gè)解，而6個(gè)或6個(gè)以上的光流矢量幾乎總是能唯一地確定三維運(yùn)動(dòng)。 (1) 解析法 式（15.55）可以表示成矢量矩陣的形式 (15.56) 其中 (15.57) 給出在8個(gè)圖象點(diǎn)處的光流矢量，建立八個(gè)線性方程就可以求解。通常，需要的圖象點(diǎn)多于8個(gè)，并采用最小二乘法來(lái)估計(jì)中的8個(gè)參數(shù)，這樣可以來(lái)緩解光流估計(jì)中誤差的影響。從（15.57）中很容易看出，當(dāng)所有的點(diǎn)都共面時(shí)，將生成一個(gè)二次流場(chǎng)，其中，系數(shù)矩陣中各元素之間相關(guān)。但所選的8個(gè)圖像點(diǎn)不共面時(shí)，可以唯一地估計(jì)出參數(shù)。 五個(gè)運(yùn)動(dòng)參數(shù),可以依次從8個(gè)變量（=1,8） 中恢復(fù)

33、出來(lái)。這樣，每一個(gè)點(diǎn)的深度就可以從模型（15.47）中估計(jì)出來(lái)。注意，在光流估計(jì)有誤差的情況下，從估計(jì)的運(yùn)動(dòng)參數(shù)不是唯一的，這是由于8個(gè)中間變量中僅有5個(gè)是獨(dú)立的。例如，從和估計(jì)的運(yùn)動(dòng)參數(shù)并不需要一定滿足和。 (2) Heeger-Jepson 法 為了避免引進(jìn)多余的變量，Heeger和Jepson[Heeger 1992]提出了一個(gè)兩步法，簡(jiǎn)寫(xiě)為H-J法。他們用矢量-矩陣的形式將一般光流方程（15.46）表示為 （15.58） 其中 , ,,, 已知個(gè)不同空間點(diǎn)的光流矢量，根據(jù)方程（15.58），可以得到對(duì)個(gè)方程，縮寫(xiě)為

34、 （15.59） 其中 , ,， 為了得到運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)和的最小二乘估計(jì)，可以對(duì)下式求極小化 (15.60) 顯然，相對(duì)于和使（15.60）達(dá)到最小值，需要求出對(duì)每一個(gè)變量的偏導(dǎo)數(shù)，并令它們等于零，然后求解方程組。每一個(gè)方程對(duì)應(yīng)一個(gè)多維空間中的曲面，這些曲面的交點(diǎn)就是方程解。 計(jì)算（15.60）相對(duì)于的偏導(dǎo)數(shù)，并令它等于零，得到 （15.61） 它是關(guān)于的曲

35、面。顯而易見(jiàn)，由于也是一個(gè)未知量，方程（15.61）不能被直接用來(lái)求的估值。然而，因?yàn)閷?shí)際的解位于這個(gè)曲面上，因此可以將其代入（15.60），然后僅求關(guān)于的極小化。對(duì)于僅含有的非線性極小化函數(shù)，可以通過(guò)搜索過(guò)程找出使（15.60）達(dá)到極小值的值。為了得到全局極小值，必須對(duì)每一步估計(jì)的值進(jìn)行擾動(dòng)，然后，再求解方程（15.61），因此，這種方法的計(jì)算量很大。 為此，Heeger和Jepson提出了一個(gè)有效的方法來(lái)搜索僅含有的極小化函數(shù)，并用一些常用的代數(shù)方法求解，而不必在每一步計(jì)算（15.61）。進(jìn)一步說(shuō)，由于估計(jì)的算法僅僅取決于一個(gè)比例因子，不失一般性地，可以將搜索空間限制在單位球面。單位球

36、面可以用球面坐標(biāo)的兩個(gè)角來(lái)描述。一旦確定了的最佳估計(jì)，就可以從（15.61）中計(jì)算的最小二乘估計(jì)。實(shí)驗(yàn)表明這個(gè)方法對(duì)于光流估計(jì)誤差相當(dāng)穩(wěn)定。 15．2．5優(yōu)化法 優(yōu)化法的基本思想是獨(dú)立地對(duì)三維運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)估計(jì)值進(jìn)行擾動(dòng)，直到估計(jì)的三維運(yùn)動(dòng)在圖像平面上的投影速度與實(shí)際的光流場(chǎng)相一致。從一個(gè)合理的初始值或通過(guò)其它方法得到的初始估計(jì)開(kāi)始，優(yōu)化算法可以成功地跟蹤長(zhǎng)序列圖像中的小變化量運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)。為了防止優(yōu)化算法發(fā)散或收斂到代價(jià)函數(shù)的局部最小值，通常需要某種在三維運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)上的平滑約束條件。 Morikawa和Harashima[Morikawa 1991]使用正交速度場(chǎng)模型（見(jiàn)式1

37、5.42）提出了一種估計(jì)三維運(yùn)動(dòng)的優(yōu)化法。假定場(chǎng)景中只有單一的剛體運(yùn)動(dòng),則運(yùn)動(dòng)參數(shù)是全局參數(shù)。然而,深度參數(shù)隨空間變化。設(shè)，。若給出三維運(yùn)動(dòng)和深度參數(shù)的初始值，我們利用 （15.62） 逐步修正上一次的估計(jì)結(jié)果。在這里，問(wèn)題簡(jiǎn)化為尋找逐幀遞增的參數(shù)。運(yùn)動(dòng)平滑度約束條件意味著修正項(xiàng)（遞增的參數(shù)）應(yīng)該很小。因此，根據(jù)下面的函數(shù)引進(jìn)一個(gè)平滑測(cè)度： （15.63） 其中是比例系數(shù)，是的范數(shù)，是圖像點(diǎn)的數(shù)量。 投影速度場(chǎng)估計(jì)值與實(shí)際光流場(chǎng)的均方差和三維運(yùn)動(dòng)參數(shù)平滑約束條件共同構(gòu)成代價(jià)函數(shù)

38、 （15.64） 其中 優(yōu)化法可以通過(guò)基于梯度法或模擬退火法來(lái)實(shí)現(xiàn)。因?yàn)檫@個(gè)過(guò)程使用正交速度場(chǎng)，所以能夠找到一個(gè)滿足附加常數(shù)和比例系數(shù)的深度參數(shù)，同時(shí)可以確定關(guān)于這一比例常數(shù)倒數(shù)的兩個(gè)旋轉(zhuǎn)角度。在正交模型下估計(jì)運(yùn)動(dòng)和結(jié)構(gòu)的類似方法見(jiàn)[Kanatani 1986] 15．2．6 幾種方法比較 基于光流的運(yùn)動(dòng)和結(jié)構(gòu)恢復(fù)不需要建立特征點(diǎn)的對(duì)應(yīng)，只依賴于估計(jì)的光流場(chǎng)，但是光流估計(jì)本身是“不適定”問(wèn)題，對(duì)于觀測(cè)噪聲非常敏感。文獻(xiàn)[Tekalp 1995]對(duì)三種基于光流算法的性能進(jìn)行了比較，它們是：ⅰ）解析法，ⅱ

39、）Heeger-Jepson法，ⅲ）優(yōu)化法。其中前兩種方法是基于透視投影光流場(chǎng)方法，后一種是基于正交投影光流場(chǎng)方法。表15.1給出了使用光流模型進(jìn)行3D運(yùn)動(dòng)和深度參數(shù)估計(jì)的仿真結(jié)果，在仿真中共使用了30個(gè)模擬點(diǎn)，其中值均勻地在區(qū)間[-25，25]cm之間，值均勻分布在[70，100]cm范圍內(nèi)的。令焦距參數(shù)=50mm。為了測(cè)試這些方法對(duì)于光流估計(jì)誤差的敏感度，它們?cè)诠饬魇噶磕M數(shù)據(jù)的基礎(chǔ)上分別增加3%和10%的誤差。  表15.1 運(yùn)動(dòng)參數(shù)的比較（角度單位：弧度，平移單位：象素） 真實(shí)值 解析法 無(wú)誤差 3%誤差 Heege

40、r-Jepson法 無(wú)誤差 3%誤差 10%誤差 =0.007 =0.010 =0.025 =1.80 =0.48 深度誤差 匹配誤差 0． 0070 0.0133 0．0099 0.0058 0．0250 0.0232 1.7999 2.9571 0.4799 10.121 1.73E-5 0.824 2.17E-7 0.0152 0.0064 0.0094 0.0036 0.0105 0.0066 0.0008 0.0249

41、0.0251 0.0249 1.7872 1.9439 2.7814 0.4693 0.5822 0.8343 1.41E-3 0.0181 0.0539 2.71E-5 5.99E-4 0.0018 在表15.1，“深度誤差”對(duì)應(yīng)于深度估計(jì)中的規(guī)范化均方根誤差： 深度誤差 （15.66） 其中，匹配誤差是指三維運(yùn)動(dòng)和深度參數(shù)估計(jì)值生成的光流場(chǎng)與輸入的光流場(chǎng)的偏差： 匹配誤差 （15.67） 從表15.

42、1容易看出解析解法對(duì)于噪聲較敏感，這主要是因?yàn)樗M(jìn)了三個(gè)冗余的中間未知量,以便使線性公式（15.56）成立.可以看出八個(gè)中間未知量中只要有五個(gè)就足以求解運(yùn)動(dòng)參數(shù),在有噪聲的情況下,五個(gè)中間未知量的不同組合可能產(chǎn)生不同的運(yùn)動(dòng)估計(jì)。雖然最小二乘方可以得到中間未知量，但最后的運(yùn)動(dòng)估計(jì)不是真正的最小二乘方估計(jì)。H-J法總可以找到運(yùn)動(dòng)和深度參數(shù)，使最小二乘方誤差函數(shù)達(dá)到最小。因此，H-J法是一種光流估計(jì)的魯棒方法。注意，在H-J法中，估計(jì)值的正確性依賴于搜索過(guò)程中使用的步長(zhǎng)（單位球面角度的增量）。表15.1所用的步長(zhǎng)為。 Morikawa法是一種基于正交投影光流模型方法，它的性能依賴于給定光流矢量偏

43、離正交模型（15.42）的程度。偏離量和物體深度方向的尺度與物體各點(diǎn)投影中心平均深度之間的比值有關(guān)（回顧一下15.1.1節(jié)的正交投影模型），可定義為 取時(shí)，Morikawa法沒(méi)能正常地工作。表15.2所示的是完全正交投影光流場(chǎng)和Morikawa法在時(shí)的透視光流估計(jì)性能的比較。Morikawa算法面臨的另一個(gè)重要問(wèn)題是如何對(duì)未知參數(shù)初始值。在上面的模擬中,所有參數(shù)的初始化選在它們真實(shí)值的上下范圍內(nèi)。一般來(lái)說(shuō)，代價(jià)函數(shù)有多個(gè)最小值，而且結(jié)果非常依賴初始點(diǎn)。建議使用Morikawa 法跟蹤小變化量運(yùn)動(dòng)圖像參數(shù)，這里第一幀的初始值可以通過(guò)其它方法（如14章中的兩步迭代算法）確定。 

44、 表15.2運(yùn)動(dòng)參數(shù)的比較（角度單位：弧度，位移單位：象素） 真實(shí)值 正交 透視， 深度誤差 匹配誤差 0.00713 0.01013 0.02513 0.09987 0.17987 0.00011 0.00322 0.00677 0.00977 0.02477 0.10023 0.18023 0.00023 0.00489 15．3光流分割 一般來(lái)說(shuō)，真實(shí)場(chǎng)景圖像序列包含有許多個(gè)運(yùn)動(dòng)的物體，為了分析和理解這樣的動(dòng)態(tài)場(chǎng)景，首先需要對(duì)運(yùn)動(dòng)圖像序列中各個(gè)獨(dú)立的運(yùn)動(dòng)物體進(jìn)行標(biāo)記，這種標(biāo)記過(guò)程稱為三維運(yùn)動(dòng)分

45、割。運(yùn)動(dòng)圖像分割可以直接使用時(shí)空?qǐng)D像亮度和梯度信息來(lái)分割獨(dú)立的運(yùn)動(dòng)區(qū)域，比如，使用第14章所述的差分圖像來(lái)分割圖像，也可以采用參數(shù)模型，利用最小二乘法擬合運(yùn)動(dòng)區(qū)域，從而將圖像分割成小的區(qū)域[Hoetter 1988, Diehl 1991]。本節(jié)主要討論基于稠密光流場(chǎng)的不連續(xù)性來(lái)分割運(yùn)動(dòng)圖像，即首先估計(jì)運(yùn)動(dòng)圖像稠密光流場(chǎng)，然后將相似的光流矢量合并，對(duì)應(yīng)一個(gè)獨(dú)立的運(yùn)動(dòng)物體。 15．3．1 Hough 變換分割方法 Hough變換是眾所周知的聚類方法，這種方法可以在量化參數(shù)空間中表決出最具有代表性的特征值。對(duì)于使用6個(gè)參數(shù)的仿射光流模型（15.44）的光流分割，可以直接應(yīng)用Hough

46、變換法。首先，確定每一個(gè)參數(shù)的最小值和最大值，并將6維特征空間量化成某些參數(shù)狀態(tài)，然后，每一個(gè)光流矢量“投票”支持一個(gè)已量化的參數(shù)集，使的下式達(dá)到極?。? (15.68) 其中和。如果一個(gè)參數(shù)集合得到的贊成票數(shù)大于預(yù)定數(shù)量，則很有可能表示候選的運(yùn)動(dòng)。由此確定分類號(hào)和用于標(biāo)記每一個(gè)光流矢量的對(duì)應(yīng)參數(shù)集。不過(guò)，這一方法的缺陷是需要的計(jì)算量很大。 為了減小計(jì)算量，[Adiv 1985]提出了一個(gè)使用改進(jìn)的Hough變換算法。這個(gè)算法分兩個(gè)階段，在算法的第一階段，將光流矢量連

47、通集組合在一起，形成與單一參數(shù)集一致的成分。這里給出幾種簡(jiǎn)化方法以減輕計(jì)算量，包括：1）把參數(shù)空間分成兩個(gè)不相連的子集合，來(lái)實(shí)現(xiàn)兩個(gè)三維Hough變換，2)多分辨率Hough變換，其中在每一個(gè)分辨率水平上，參數(shù)空間將在上一個(gè)分辨率水平上的估計(jì)值周圍進(jìn)行到量化，3）多路傳輸Hough變換技術(shù)，其中，與候選參數(shù)最一致的光流矢量首先得到組合。在算法的第二階段中，將這些在算法的第一階段生成的成分（它在最小二乘方意義下的二次流模型（15.49）相一致）合并成塊。目前已經(jīng)提出了幾種合并準(zhǔn)則。最后，可以將未合并的光流矢量歸并到它們鄰近的塊中。 總之，改進(jìn)的Hough變換分割方法建立在這樣的基礎(chǔ)上，即首先將

48、光流矢量聚類成一個(gè)個(gè)小組，每一個(gè)小組與一個(gè)由運(yùn)動(dòng)小平面產(chǎn)生的光流場(chǎng)一致。然后基于某一個(gè)合并準(zhǔn)則將這些小組合并成塊。 15．3．2貝葉斯分割方法 顯然，光流分割的成功與否與光流場(chǎng)估計(jì)的正確性密切相關(guān)，因此，為了得到最佳分割結(jié)果應(yīng)該同時(shí)進(jìn)行光流場(chǎng)的估計(jì)和分割。本節(jié)討論基于運(yùn)動(dòng)場(chǎng)表示的聯(lián)合貝葉斯光流分割方法。在最大后驗(yàn)概率(maximum a posteriori probability, MAP)形式下，光流和分割場(chǎng)的相互依賴性可通過(guò)Gibbs分布表示[Derin 1987]。利用最高置信度優(yōu)先（highest confidence first, HCF）和迭代條件模式（iterated co

49、nditional mode, ICM）算法求解最后的優(yōu)化問(wèn)題，即找到一個(gè)密集系列的運(yùn)動(dòng)矢量，一系列分割標(biāo)記和一系列映射參數(shù)的估計(jì)值。 運(yùn)動(dòng)場(chǎng)模型 假定場(chǎng)景中有個(gè)獨(dú)立運(yùn)動(dòng)的物體，這里由每一個(gè)物體引起的二維運(yùn)動(dòng)可通過(guò)一個(gè)參數(shù)模型近似。那么， 表示圖像中第個(gè)光流矢量，表示每一個(gè)象素對(duì)應(yīng)的分割標(biāo)記，它的取值范圍為．光流矢量可以表示成參數(shù)化光流場(chǎng)和非參數(shù)化光流場(chǎng)殘差之和： （15.69） 其中殘差是由局部運(yùn)動(dòng)或建模誤差引起的。參數(shù)化光流場(chǎng)可以表示為 (15.70) 運(yùn)動(dòng)場(chǎng)

50、的參數(shù)分量顯而易見(jiàn)是依賴于分割標(biāo)記。 分割過(guò)程表示 假定第幀圖像表示為 　　　 　　　　　　(15.71) 相對(duì)于光流和分割標(biāo)記求后驗(yàn)概率密度函數(shù)(probability density function, pdf)的最大值: （15.72） 上式右邊第一個(gè)條件概率密度函數(shù)提供了在第幀情況下，當(dāng)前位移和分割估計(jì)與第幀相一致程度的測(cè)度。它用Gibbs分布模型表示成 （15.73） 其中是分割函數(shù)（常量），且 （15.74） 稱為Gibbs勢(shì)能。式（15.72）分子中的第

51、二項(xiàng)是在給定運(yùn)動(dòng)分割和圖像條件下，位移場(chǎng)的條件概率密度函數(shù)，它用Gibbs分布作為模型： （15.75） 其中是常量，同時(shí) (15.76) 是相應(yīng)的Gibbs勢(shì)能，代表歐幾里德距離，是在位置的鄰域集合。式（15.76）中的第一項(xiàng)強(qiáng)調(diào)對(duì)非參數(shù)化光流場(chǎng)殘差范數(shù)極小化的估計(jì)。式（15.76）的第二項(xiàng)只是在光流估計(jì)值上強(qiáng)加了一個(gè)分段局部平滑約束條件，沒(méi)有引進(jìn)任何附加變量。可以看出，這一項(xiàng)僅對(duì)和位置共享同樣的分割標(biāo)記的鄰域中的那些像素起作用。因此，僅在單一物體產(chǎn)生的光流矢量上強(qiáng)加了一個(gè)空間平滑條件。參數(shù)和用來(lái)確定兩項(xiàng)對(duì)Gibbs勢(shì)能

52、的影響比例系數(shù)。 式（15.72）中的第三項(xiàng)是分割場(chǎng)的先驗(yàn)概率模型，由下式給出： (15.77) 其中表示離散隨機(jī)矢量的采樣空間，由下式給出 (15.78) 其中表示標(biāo)記場(chǎng)的鄰域系，同時(shí) (15.79) 由下式給出： 　　　　　　　　　(15.80) 雖然區(qū)域邊界通常與亮度邊緣是相重合的，但通常忽略標(biāo)記對(duì)于圖像亮度的依賴關(guān)系。 (3) 算法 求后驗(yàn)概率密度函數(shù)(15.72)式的最大值等價(jià)于求代

53、價(jià)函數(shù)的最小值， (15.81) 上式是由勢(shì)能函數(shù)(15.74)，(15.76)，(15.78)構(gòu)成的。相對(duì)于所有的未知量直接求（15.81）的最小值是一個(gè)相當(dāng)困難的問(wèn)題，因?yàn)檫\(yùn)動(dòng)和分割場(chǎng)構(gòu)成一個(gè)較大的未知量的集合。為此，我們通過(guò)下面的兩步迭代法來(lái)求解（15.81）的最小值[Chang 1994]: 1. 給出參數(shù)的最有效的估值，修正光流場(chǎng)。這步涉及求改進(jìn)的代價(jià)函數(shù)的最小值 (15.82) 它由（15.81）中包含的所有項(xiàng)構(gòu)成。第一項(xiàng)表明與觀察結(jié)果的接近程度，第二項(xiàng)和第三項(xiàng)在運(yùn)動(dòng)估計(jì)值上強(qiáng)加先驗(yàn)

54、約束條件，使得運(yùn)動(dòng)估計(jì)值與參數(shù)化光流模型相一致，并在每一個(gè)區(qū)域中平滑變化。為了求這個(gè)能量函數(shù)的最小值，可以利用由Chou和Brown[Chou 1991]提出的HCF法，該方法屬于代數(shù)求解方法，可以有效地解決鄰域相互作用的多變量問(wèn)題的優(yōu)化。 2．修正分割場(chǎng)，假設(shè)光流場(chǎng)是已知的。這步涉及到求既包含又包含的(15.81)中所有項(xiàng)的最小值，由下式給出： （15.83） 上式的第一項(xiàng)定量地表示出相一致的程度。第二項(xiàng)與當(dāng)前配置的分割標(biāo)記的先驗(yàn)概率有關(guān)?？梢岳肐CM方法對(duì)優(yōu)化[Chang 1993]。在每一個(gè)區(qū)域里通過(guò)最小二乘方估計(jì)來(lái)修正映射參

55、數(shù)(見(jiàn)式(15.70) 利用具有全局平滑限制條件的貝葉斯法能夠找到光流的初始估值。給定這個(gè)估值，利用與Wang和Adelson的[Wang 1994]相似過(guò)程初始化分割標(biāo)記。隨機(jī)參數(shù)和的確定是有關(guān)設(shè)計(jì)的問(wèn)題。一種方案是選擇能夠提供在一定動(dòng)態(tài)范圍內(nèi)正確的數(shù)值，以致于代價(jià)函數(shù)(15.79)中的每一項(xiàng)具有相等的重要性。然而，因?yàn)槲覀冇脙刹綄?shí)現(xiàn)優(yōu)化，比例/也是很重要的。我們建議選擇/，這點(diǎn)依賴于用分段參數(shù)模型能恰當(dāng)表示運(yùn)動(dòng)場(chǎng)的程度和我們是否有足夠的類別個(gè)數(shù)。 圖15.5同時(shí)進(jìn)行分割和估計(jì)的MAP法的方框圖 通過(guò)形成圖像和的連續(xù)的低通濾波模型，該算法的分

56、級(jí)實(shí)現(xiàn)成為可能。由此，可在不同的分辨率下估計(jì)和的數(shù)量。每一級(jí)的結(jié)果被用來(lái)初始化緊接著的低一級(jí)。圖11.5描述出分級(jí)算法的框圖。請(qǐng)注意:分割標(biāo)記的Gibbs模型已經(jīng)被擴(kuò)展到包括由Kato等人[Kato 1993]給出的一定比例的鄰域內(nèi)。 討論 有一點(diǎn)很重要：同時(shí)進(jìn)行估計(jì)和分割的形式不僅適用于出現(xiàn)多個(gè)運(yùn)動(dòng)物體下的三維運(yùn)動(dòng)和結(jié)構(gòu)估計(jì)，而且提供了改進(jìn)的光流估計(jì)。幾種已知的運(yùn)動(dòng)分析法可被表述成這個(gè)形式的特例。如果我們僅保留(15.81)中的第一項(xiàng)和第三項(xiàng)，同時(shí)假設(shè)所有的位置具有相同的分割標(biāo)記，那么我們得到具有全局平滑限制條件的貝葉斯運(yùn)動(dòng)估計(jì)。Iu [Iu 93]提出的運(yùn)動(dòng)估計(jì)的算法也用這同樣的兩項(xiàng)，

57、但卻用局部分離舍棄函數(shù)代替函數(shù)。 由Stiller[Stiller 1994]提出的運(yùn)動(dòng)估計(jì)值和區(qū)域標(biāo)注的方法涉及（15.81）式中所有的項(xiàng)，除了（15.76）式中的第一項(xiàng)。進(jìn)一步說(shuō)，Stiller算法中的分割標(biāo)記只不過(guò)作為供流量場(chǎng)上的分段平滑度限制條件之用的標(biāo)記，同時(shí)它也不希望加強(qiáng)流矢量與參數(shù)分量的一致性。 練習(xí)題 15．1 請(qǐng)闡述三維運(yùn)動(dòng)估計(jì)的點(diǎn)對(duì)應(yīng)法和光流法的區(qū)別。 15．2 當(dāng)物體沒(méi)有平移運(yùn)動(dòng)時(shí)，即，我們就無(wú)法用式（15.13）估計(jì)深度值。在這種情況下，至少需要多少對(duì)應(yīng)點(diǎn)才能唯一地確定旋轉(zhuǎn)矩陣？ 15．3 請(qǐng)說(shuō)明基于平行投影模型和透視投影模型估計(jì)三維運(yùn)動(dòng)

58、的異同。 15．4 試解釋外極線方程的幾何意義。 15．5 若已知8個(gè)或8個(gè)以上位于同一空間平面的三維點(diǎn)的光流矢量時(shí)，是否可以唯一地確定運(yùn)動(dòng)參數(shù)，為什么？ 15．6 試討論貝葉斯光流分割法中各個(gè)尺度系數(shù)的選擇準(zhǔn)則。 計(jì)算機(jī)作業(yè) 15．1 從任意一個(gè)場(chǎng)景圖像序列中選出相鄰兩幀圖像，假設(shè)圖像的變化是由攝象機(jī)運(yùn)動(dòng)引起的，兩幀圖像的最大變化不超過(guò)十幾個(gè)象素。試根據(jù)利用點(diǎn)對(duì)應(yīng)法和外極線方程編制一個(gè)程序，該程序具有如下功能： （1） 可以自動(dòng)在另一幅圖像中找到對(duì)應(yīng)點(diǎn) （2） 可以估計(jì)出該圖像對(duì)的基本矩陣，并可以畫(huà)出任意點(diǎn)的外極線圖可以完成圖像的。 （3） 可以對(duì)圖像實(shí)現(xiàn)校準(zhǔn)，使得圖像的外極線盡量平行 15．2 試編制一個(gè)程序，該程序可以自動(dòng)在兩幀圖像中找到對(duì)應(yīng)點(diǎn)，并把局外點(diǎn)自動(dòng)消除(考慮使用松弛方法)。 專心---專注---專業(yè)