《北理工賈云德《計(jì)算機(jī)視覺(jué)》chapter14二維運(yùn)動(dòng)估計(jì)(共25頁(yè))》由會(huì)員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計(jì)算機(jī)視覺(jué)》chapter14二維運(yùn)動(dòng)估計(jì)(共25頁(yè))（25頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 第十四章 二維運(yùn)動(dòng)估計(jì) 早期設(shè)計(jì)的機(jī)器視覺(jué)系統(tǒng)主要是針對(duì)靜態(tài)場(chǎng)景的，為了滿足更高級(jí)的應(yīng)用需求，必須研究用于動(dòng)態(tài)場(chǎng)景分析的機(jī)器視覺(jué)系統(tǒng)．動(dòng)態(tài)場(chǎng)景分析視覺(jué)系統(tǒng)一般需要較大的存儲(chǔ)空間和較快的計(jì)算速度，因?yàn)橄到y(tǒng)的輸入是反應(yīng)場(chǎng)景動(dòng)態(tài)變化的圖像序列，其包含的數(shù)據(jù)十分巨大．圖像動(dòng)態(tài)變化可能由攝象機(jī)運(yùn)動(dòng)、物體運(yùn)動(dòng)或光照改變引起，也可能由物體結(jié)構(gòu)、大小或形狀變化引起．為了簡(jiǎn)化分析，通常我們假設(shè)場(chǎng)景變化是由攝象機(jī)運(yùn)動(dòng)和物體運(yùn)動(dòng)引起的，并假設(shè)物體是剛性的． 根據(jù)攝象機(jī)和場(chǎng)景是否運(yùn)動(dòng)將運(yùn)動(dòng)分析劃分為四種模式：攝象機(jī)靜止－物體靜止，攝象機(jī)靜止－物體運(yùn)動(dòng)，攝象機(jī)運(yùn)動(dòng)－物體靜止，

2、攝象機(jī)運(yùn)動(dòng)－物體運(yùn)動(dòng)，每一種模式需要不同的分析方法和算法。攝象機(jī)靜止－物體靜止模式屬于簡(jiǎn)單的靜態(tài)場(chǎng)景分析．?dāng)z像機(jī)靜止－場(chǎng)景運(yùn)動(dòng)是一類非常重要的動(dòng)態(tài)場(chǎng)景分析，包括運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)運(yùn)動(dòng)特性估計(jì)等，主要用于預(yù)警、監(jiān)視、目標(biāo)跟蹤等場(chǎng)合。攝象機(jī)運(yùn)動(dòng)—物體靜止是另一類非常重要的動(dòng)態(tài)場(chǎng)景分析，包括基于運(yùn)動(dòng)的場(chǎng)景分析、理解，三維運(yùn)動(dòng)分析等，主要用于移動(dòng)機(jī)器人視覺(jué)導(dǎo)航、目標(biāo)自動(dòng)鎖定與識(shí)別等．在動(dòng)態(tài)場(chǎng)景分析中，攝象機(jī)運(yùn)動(dòng)—物體運(yùn)動(dòng)是最一般的情況，也是最難的問(wèn)題，目前對(duì)該問(wèn)題研究的還很少． 圖像運(yùn)動(dòng)估計(jì)是動(dòng)態(tài)場(chǎng)景分析的基礎(chǔ)，現(xiàn)在已經(jīng)成為計(jì)算機(jī)視覺(jué)新的研究熱點(diǎn)。根據(jù)所涉及的空間，將圖像運(yùn)動(dòng)估計(jì)分為二維運(yùn)動(dòng)估計(jì)和三

3、維運(yùn)動(dòng)估計(jì)，顯然，這種劃分不是十分嚴(yán)格，因?yàn)槎S運(yùn)動(dòng)參數(shù)的求解有時(shí)需要三維空間的有關(guān)參數(shù)引導(dǎo)，而許多三維參數(shù)的求解需要以二維參數(shù)為基礎(chǔ)。本章主要討論二維運(yùn)動(dòng)估計(jì)，三維運(yùn)動(dòng)估計(jì)和分析將在第十五章討論。 14.1圖像運(yùn)動(dòng)特征檢測(cè) 　　對(duì)許多應(yīng)用來(lái)說(shuō)，檢測(cè)圖像序列中相鄰兩幀圖像的差異是非常重要的步驟．場(chǎng)景中任何可察覺(jué)的運(yùn)動(dòng)都會(huì)體現(xiàn)在場(chǎng)景圖像序列的變化上，如能檢測(cè)這種變化，就可以分析其運(yùn)動(dòng)特性．如果物體的運(yùn)動(dòng)限制在平行于圖像平面的一個(gè)平面上，則可以得到物體運(yùn)動(dòng)特性定量參數(shù)的很好估計(jì)．對(duì)于三維運(yùn)動(dòng)，則只能得到物體空間運(yùn)動(dòng)的定性參數(shù)估計(jì)．場(chǎng)景中光照的變化也會(huì)引圖像強(qiáng)度值的變化，有時(shí)會(huì)引起較大的變化．動(dòng)

4、態(tài)場(chǎng)景分析的許多技術(shù)都是基于對(duì)圖像序列變化的檢測(cè)．檢測(cè)圖像變化可以在不同的層次上進(jìn)行，如像素、邊緣或區(qū)域．在像素層次上要對(duì)所有可能的變化進(jìn)行檢測(cè)，以便在后處理階段或更高層次上使用． 14.1.1差分圖像 檢測(cè)圖像序列相鄰兩幀之間變化的最簡(jiǎn)單方法是直接比較兩幀圖像對(duì)應(yīng)像素點(diǎn)的灰度值．在這種最簡(jiǎn)單的形式下，幀與幀之間的變化可用一個(gè)二值差分圖像表示： (14.1) 式中是閾值． 在差分圖像中，取值為1的像素點(diǎn)被認(rèn)為是物體運(yùn)動(dòng)或光照變化的結(jié)果．這里假設(shè)幀與幀之間配準(zhǔn)或套準(zhǔn)得很好．圖14.1和14.2示意了兩種圖像變化情況，一種是由于光照變化造成的圖像變化，另一

5、種是由于物體的運(yùn)動(dòng)產(chǎn)生的圖像變化．需要指出，閾值在這里起著非常重要的作用．對(duì)于緩慢運(yùn)動(dòng)的物體和緩慢光強(qiáng)變化引起的圖像變化，在一個(gè)給定的閾值下可能檢測(cè)不到． (a) (b) (c) 圖14.1 (a)和(b)是取自一個(gè)運(yùn)動(dòng)攝象機(jī)獲取的靜態(tài)場(chǎng)景圖像序列的兩幀圖像， (c)是它們的差分圖像(T=40) (a) (b) (c) 圖14.2 (a)和(b)是取自光照變化的圖像序列的兩幀圖像

6、， (c)是它們的差分圖像(T=80) 　　(1) 尺度濾波器 　　在實(shí)際中，使用上述差分方法計(jì)算的差分圖像經(jīng)常會(huì)含有許多噪聲．一個(gè)簡(jiǎn)單噪聲消除方法是使用尺度濾波器，濾掉小于某一尺度的連通成分，因?yàn)檫@些像素常常是由噪聲產(chǎn)生的，留下大于某一尺度閾值的4-連通或8-連通成分，以便作進(jìn)一步的分析．對(duì)于運(yùn)動(dòng)檢測(cè)，這個(gè)濾波器非常有效．但也會(huì)將一些有用的信號(hào)濾掉，比如那些來(lái)自于緩慢運(yùn)動(dòng)或微小運(yùn)動(dòng)物體的信號(hào)．在圖14.3中，我們給出了圖14.1、14.2圖像差分圖像的尺度濾波結(jié)果． (a) (b) 圖14.3 (a)圖14.1

7、差分圖像的尺度濾波結(jié)果 (b)圖14.2差分圖像的尺度濾波結(jié)果 　　(2) 魯棒檢測(cè)方法 為了使圖象變化檢測(cè)更魯棒，可以使用統(tǒng)計(jì)方法或基于強(qiáng)度分布的局部逼近方法來(lái)比較兩幀圖像之間的光強(qiáng)特性，比如使用第三章討論過(guò)的似然比 (14.2) 來(lái)進(jìn)行兩幀圖像之間的比較，(式中m和s表示區(qū)域的平均灰度和方差)，然后計(jì)算差分圖像： 　 (14.3) 式中是閾值．對(duì)于許多真實(shí)場(chǎng)景，將似然比和尺度濾波組合起來(lái)使用是非常有效的． 　　上面討論的似然比測(cè)試是基于區(qū)域服從

8、均勻二階統(tǒng)計(jì)的假設(shè)．如果使用小平面和二次平面來(lái)近似這些區(qū)域，似然比測(cè)試方法的性能還能有顯著的提高．注意，似然比測(cè)試是在像素層次上檢測(cè)相似度,，因此只能確定所考察的區(qū)域是否有同樣的灰度特征；有關(guān)區(qū)域的相對(duì)強(qiáng)度信息則沒(méi)有得到保留．使用似然比方法檢測(cè)圖像序列中的運(yùn)動(dòng)部分可能增加計(jì)算量。 　　(3) 累積差分圖像 緩慢運(yùn)動(dòng)物體在圖像中的變化量是一個(gè)很小的量，尺度濾波器可能會(huì)將這些微小量當(dāng)作噪聲濾掉．當(dāng)使用魯棒檢測(cè)方法時(shí)，因?yàn)槭腔趨^(qū)域的變化檢測(cè)，因此會(huì)使得檢測(cè)小位移或緩慢運(yùn)動(dòng)物體的問(wèn)題變得更加嚴(yán)重． 　　解決這一問(wèn)題的一種方法是累積差分圖像方法(accumulative differ

9、ence picture, )，其基本思想是通過(guò)分析整個(gè)圖像序列的變化(而不是僅僅分析兩幀之間的變化)來(lái)檢測(cè)小位移或緩慢運(yùn)動(dòng)物體．這種方法不僅能用來(lái)可靠檢測(cè)微小運(yùn)動(dòng)或緩慢運(yùn)動(dòng)的物體，也可用來(lái)估計(jì)物體移動(dòng)速度的大小和方向以及物體尺度的大?。鄯e差分圖像可分為一階累積差分圖像()和二階累積差分圖像()。 一階累積差分圖像的形成過(guò)程如下：將圖像序列的每一幀圖像與一幅參考圖像進(jìn)行比較，當(dāng)差值大于某一閾值時(shí)，就在累積差分圖像中加1．通常將圖像序列的第一幀作為參考圖像，并且置累積差分圖像的初始值為0．這樣，在第幀圖像上的累積差分圖像為： (14.4) 圖14.4是利

10、用累積差分圖像檢測(cè)的結(jié)果示意圖． 二階差分圖像的構(gòu)造為：對(duì)應(yīng)于第幀的二階差分圖像在位置的值為“1”，表明在這個(gè)位置上第幀和第幀的一階差分圖像具有不同的符號(hào)． (14.5) 累積差分圖像具有許多性質(zhì)，可以用于描述物體運(yùn)動(dòng)的總體參數(shù)[Jain] (a) (b) (c) 圖14.4 (a) 第一幀圖像（參考圖像），(b) 第三幀后的累積差分圖像， (c) 最后一幀后的累積差分圖像 用于運(yùn)動(dòng)檢測(cè)的差分圖像的最大特點(diǎn)是它的簡(jiǎn)單性，但差分圖像極易受噪

11、聲污染．照明和攝象機(jī)位置的改變，以及攝象機(jī)的電子噪聲，都會(huì)產(chǎn)生很多錯(cuò)誤數(shù)據(jù)．將似然比和尺度濾波器組合起來(lái)能消除大部分?jǐn)z象機(jī)噪聲．照明的改變會(huì)給所有基于光強(qiáng)的運(yùn)動(dòng)檢測(cè)方法帶來(lái)問(wèn)題，這些問(wèn)題有可能在后期的分析和理解層次上得以解決．圖像序列各幀之間的錯(cuò)誤套準(zhǔn)也會(huì)導(dǎo)致錯(cuò)誤數(shù)據(jù)，如果套準(zhǔn)錯(cuò)誤不十分嚴(yán)重，則累積差分圖像還是可以消除這些錯(cuò)誤數(shù)據(jù)的． 必須強(qiáng)調(diào)，在像素層次上檢測(cè)不相似度只能通過(guò)檢測(cè)光強(qiáng)變化來(lái)實(shí)現(xiàn)．在動(dòng)態(tài)場(chǎng)景分析中，這是最低層次的分析．在檢測(cè)完像素變化以后，還需要通過(guò)其它的處理過(guò)程來(lái)解釋這些變化．經(jīng)驗(yàn)表明，差分圖像最有效的應(yīng)用是對(duì)圖像進(jìn)行概略處理，以便將解釋的注意力引向場(chǎng)景中出現(xiàn)“活動(dòng)

12、”的區(qū)域．場(chǎng)景中事件的粗略信息也可由差分圖像中的某些特征來(lái)提?。? 14.1.2　時(shí)變邊緣檢測(cè) 我們知道，邊緣在靜態(tài)場(chǎng)景圖像分析中起著十分重要的作用，因此有理由推測(cè)時(shí)變邊緣在動(dòng)態(tài)場(chǎng)景圖像分析中也是非常重要的．在進(jìn)行圖像分割與匹配方法中，人們將精力主要集中在靜態(tài)特征與運(yùn)動(dòng)特征之間的匹配．實(shí)際上，這些靜態(tài)特征是運(yùn)動(dòng)信息提取的最大障礙．如果直接檢測(cè)運(yùn)動(dòng)特征，那么完成匹配所需的計(jì)算量可以根本上大大減?。? 一條邊緣運(yùn)動(dòng)后仍然是一條邊緣．運(yùn)動(dòng)邊緣是通過(guò)邏輯“與”算子對(duì)時(shí)間和空間梯度進(jìn)行組合來(lái)實(shí)現(xiàn)，其中的“與”算子可以由乘法來(lái)完成．這樣，圖像中一點(diǎn)的時(shí)變邊緣由下式給出：

13、 (14.6) 式中和分別是點(diǎn)的光強(qiáng)在空間和時(shí)間上的梯度值． 各種傳統(tǒng)的邊緣檢測(cè)方法可用于計(jì)算空間梯度，而簡(jiǎn)單的差分方法可用于計(jì)算時(shí)間梯度．在大多數(shù)情況下，邊緣算法很有效．為了克服遺漏緩慢運(yùn)動(dòng)邊緣和弱邊緣的問(wèn)題，可將一個(gè)閾值作用于上式的乘積，而不是一階差分，然后使用邊緣檢測(cè)器或一階檢測(cè)邊緣器算出它們的時(shí)間梯度[Jain]，如圖14.5和14.6所示．由圖14.6可見(jiàn)，這種邊緣檢測(cè)方法將對(duì)有清晰邊緣的緩慢運(yùn)動(dòng)和以適當(dāng)速度運(yùn)動(dòng)的弱邊緣響應(yīng)．這種檢測(cè)方法的另一個(gè)重要特點(diǎn)是不需要對(duì)任何位移大小作出假設(shè)．當(dāng)邊緣的運(yùn)動(dòng)非常大時(shí)，檢測(cè)器的性能也是十分滿意的． (

14、a) (b) (c) 圖14.5 時(shí)變邊緣檢測(cè)器運(yùn)行結(jié)果示意圖 圖14.6 邊緣檢測(cè)器的性能曲線 14.1.3　運(yùn)動(dòng)對(duì)應(yīng)性 　　已知一個(gè)圖像序列，我們可以分析并確定序列中每一幀圖像上的特征點(diǎn)．為估計(jì)圖像運(yùn)動(dòng)特性，必須在圖像各幀之間建立這些特征點(diǎn)的對(duì)應(yīng)關(guān)系．運(yùn)動(dòng)圖像的對(duì)應(yīng)問(wèn)題與立體視覺(jué)中的對(duì)應(yīng)問(wèn)題相似，不過(guò)立體視覺(jué)使用的約束主要是外極線約束，運(yùn)動(dòng)圖像對(duì)應(yīng)問(wèn)題使用的是其它類型的約束．下面討論一種約束傳播方法來(lái)解決對(duì)應(yīng)問(wèn)題． 　　(1) 松弛標(biāo)記 標(biāo)記(labelin

15、g)是指將一組已知標(biāo)記分配給場(chǎng)景中對(duì)應(yīng)的各個(gè)物體。標(biāo)記問(wèn)題可以表示為如圖14.7所示的形式．每一個(gè)節(jié)點(diǎn)表示一個(gè)標(biāo)記區(qū)域（或物體），連結(jié)節(jié)點(diǎn)的弧線表示區(qū)域間的關(guān)系．假定每一個(gè)節(jié)點(diǎn)上有一個(gè)處理器，在每一個(gè)節(jié)點(diǎn)上定義集合，，和．集合包含節(jié)點(diǎn)間所有可能的關(guān)系（relation）；集合表示這些關(guān)系的相容性（compatibility），相容性將有助于對(duì)關(guān)系進(jìn)行約束以及對(duì)圖像中每個(gè)區(qū)域的標(biāo)記進(jìn)行約束；集合包含所有指定給該節(jié)點(diǎn)的標(biāo)記；集合表示計(jì)算過(guò)程中賦予節(jié)點(diǎn)的所有可能的層次．假定在第一次迭代中，節(jié)點(diǎn)的可能的標(biāo)記集合對(duì)所有的來(lái)說(shuō)都是，換句話說(shuō)，所有節(jié)點(diǎn)的初始標(biāo)記是所有可能的標(biāo)記．在第k次迭代過(guò)程中，標(biāo)記算法

16、將從“”中除去無(wú)效標(biāo)記，得到．去除標(biāo)記的依據(jù)建立在節(jié)點(diǎn)當(dāng)前標(biāo)記、該節(jié)點(diǎn)與其它節(jié)點(diǎn)的關(guān)系、各種約束等基礎(chǔ)上，因此，每一個(gè)處理器都有足夠的信息來(lái)獨(dú)立地對(duì)其標(biāo)記集合進(jìn)行細(xì)化．這樣，所有的處理器就有可能同步工作．需要指出，在任一時(shí)刻，處理器只使用能直接可得到的信息，這就是說(shuō)，只使用從屬于該節(jié)點(diǎn)對(duì)應(yīng)區(qū)域的信息．但是，每一次迭代都通過(guò)它的鄰節(jié)點(diǎn)或關(guān)聯(lián)節(jié)點(diǎn)把效應(yīng)傳播給其它沒(méi)有直接關(guān)系的節(jié)點(diǎn)，即每一次迭代都會(huì)增加節(jié)點(diǎn)的影響圈． 圖14.7 并行傳播示意圖 　　 對(duì)大多數(shù)應(yīng)用來(lái)說(shuō)，在標(biāo)記過(guò)程開(kāi)始前，有關(guān)物體的一些知識(shí)是可以得到的．分割或標(biāo)記前進(jìn)行的其它處理過(guò)程又常常可以提供用于細(xì)化節(jié)點(diǎn)初始集合的知

17、識(shí)．標(biāo)記過(guò)程可以進(jìn)一步細(xì)化這些標(biāo)記集合，以使得每一個(gè)區(qū)域?qū)?yīng)唯一的標(biāo)記．下面考慮一種與上面所述的標(biāo)記問(wèn)題稍微不同的標(biāo)記問(wèn)題．基于某種酉關(guān)系，標(biāo)記集合 可以分配給一個(gè)區(qū)域。為了確定標(biāo)記分配正確與否，給每個(gè)標(biāo)記 確定一個(gè)置信度．這個(gè)置信度和概率一樣，表示了一種信任度，即基于圖像提供的證據(jù)給某個(gè)區(qū)域分配某個(gè)標(biāo)記的置信度．因此，對(duì)每個(gè)元素，一個(gè)非負(fù)概率表示標(biāo)記是節(jié)點(diǎn)的正確標(biāo)記的置信度． 標(biāo)記過(guò)程實(shí)際上是使用約束來(lái)細(xì)化每個(gè)標(biāo)記的置信度．置信度受連通節(jié)點(diǎn)標(biāo)記的置信度影響，這樣，在第次迭代中，節(jié)點(diǎn)的標(biāo)記的置信度是置信度和所有直接有關(guān)的節(jié)點(diǎn)標(biāo)記的置信度函數(shù)．在每一次迭代中，一個(gè)節(jié)點(diǎn)受制于其它所有有關(guān)節(jié)點(diǎn)的標(biāo)

18、記，然后使用已知約束來(lái)更新該標(biāo)記的置信度．標(biāo)記過(guò)程的結(jié)束有兩種情況，一種是當(dāng)每個(gè)節(jié)點(diǎn)都有一個(gè)唯一的標(biāo)記，另一種是置信度達(dá)到一個(gè)穩(wěn)定的狀態(tài)． 　　上面的過(guò)程通常稱為松弛標(biāo)記過(guò)程，即依據(jù)局部的證據(jù)決定哪一種可能的解釋是正確的．盡管使用的證據(jù)是局部的，但最終的解釋結(jié)果在全局范圍內(nèi)是正確的．在每次迭代中，一個(gè)標(biāo)記的置信度只受直接關(guān)聯(lián)的節(jié)點(diǎn)的影響．但是，這種影響在后面的迭代中會(huì)傳播給其它的節(jié)點(diǎn)，并且，隨著迭代的深入，影響的范圍也增大．在松弛標(biāo)記中，約束是通過(guò)相容性函數(shù)來(lái)確定的．假設(shè)區(qū)域?qū)?yīng)的物體和由相聯(lián)系，并在這種聯(lián)系下標(biāo)記和分配給和的可能性最大．此時(shí)，對(duì)應(yīng)將增大對(duì)應(yīng)的可能性．同樣也有可能利用某些標(biāo)記

19、的不相容性來(lái)降低一個(gè)標(biāo)記的置信度． 　　下面，我們討論使用松弛標(biāo)記技術(shù)來(lái)確定圖像中視差值的一個(gè)算法．在本章后面要討論的確定光流的算法，也是松弛標(biāo)記方法的一個(gè)例子． 　　(2) 視差計(jì)算松弛標(biāo)記法 匹配問(wèn)題就是把第一幅圖像中的點(diǎn)與第二幅圖像上的點(diǎn)對(duì)應(yīng)起來(lái)．這兩點(diǎn)之間的視差是兩點(diǎn)之間的位移矢量： 　　　 (14.7) 匹配的兩個(gè)點(diǎn)稱為共軛對(duì)． 　　在匹配過(guò)程中可能用到如下三個(gè)性質(zhì)： 離散性：各點(diǎn)之間明顯區(qū)別的測(cè)度． 相似性：兩個(gè)點(diǎn)之間相似程度的測(cè)度． 一致性：一個(gè)匹配點(diǎn)與鄰近其它匹配點(diǎn)變化一致程度的測(cè)度．

20、 離散性是指特征必須是一個(gè)個(gè)孤立的點(diǎn)．例如，線段就不是一個(gè)好的特征，因?yàn)橐粋€(gè)點(diǎn)能匹配線段上的許多點(diǎn)．離散性將圖像視差分析問(wèn)題退化成有限數(shù)量點(diǎn)的匹配問(wèn)題，因此，離散性把搜索的成本降到了最低程度． 潛在匹配點(diǎn)的集合可以形成一個(gè)雙向聯(lián)接圖，匹配問(wèn)題就是從中選擇一種聯(lián)接圖．最初每個(gè)節(jié)點(diǎn)都可認(rèn)為與其它每個(gè)節(jié)點(diǎn)都有一個(gè)匹配聯(lián)接，如圖14.8 所示．使用某一判據(jù)，對(duì)應(yīng)問(wèn)題的目標(biāo)就是求每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)的一個(gè)匹配而去除所有其它的聯(lián)系．相似特性是指兩個(gè)潛在的匹配點(diǎn)相互接近的程度，這是一個(gè)關(guān)聯(lián)性的測(cè)度．相似性可以在所選離散特征點(diǎn)的任何性質(zhì)基礎(chǔ)上進(jìn)行測(cè)量． 圖14.8 (a)圖是一個(gè)完全的雙向圖

21、．A組的每一個(gè)節(jié)點(diǎn)與B組的每一個(gè)節(jié)點(diǎn)相聯(lián)接．使用節(jié)點(diǎn)(點(diǎn))的特征和其它一些知識(shí)，對(duì)應(yīng)性算法將給每一個(gè)節(jié)點(diǎn)只保留一個(gè)聯(lián)接，而消除所有其它的節(jié)點(diǎn)，如圖(b)所示 　　假設(shè)物體的運(yùn)動(dòng)特性良好，則一致性意味著場(chǎng)景中表面的空間連續(xù)性．一致性判據(jù)可以實(shí)現(xiàn)顯而易見(jiàn)的匹配，改善了對(duì)復(fù)雜匹配的分析．一些點(diǎn)之間有著足夠的分類特征和相似特征，很容易對(duì)其進(jìn)行匹配；這樣的匹配在鄰近點(diǎn)匹配過(guò)程中是十分有用的． 　　使用角點(diǎn)檢測(cè)器或特征檢測(cè)器可以從圖像中檢測(cè)出離散特征點(diǎn)．Moravec興趣算子就是這樣一種特征檢測(cè)器．這個(gè)算子可以檢測(cè)那些至少在一個(gè)方向上光強(qiáng)值迅速改變的點(diǎn)．算子執(zhí)行的步驟如下： 1. 用一個(gè)5× 5

22、的窗口計(jì)算四個(gè)方向(水平、垂直和兩個(gè)對(duì)角線方向)上像素差平方和． 2. 計(jì)算出這些方差的最大值． 3. 抑制所有非局部最大值的點(diǎn)． 4. 用一個(gè)閾值來(lái)去除弱特征點(diǎn)． 　　任何特征檢測(cè)器都可用來(lái)取代上面的算子．如計(jì)算每一點(diǎn)的曲率值并選擇高曲率值作為特征． 接下來(lái)的工作是對(duì)第一幅圖像中的每個(gè)特征點(diǎn)與第二幅圖像中的所有特征點(diǎn)在最大距離范圍內(nèi)進(jìn)行配對(duì)．這將消除完全雙向圖中的許多聯(lián)接．那些消除掉的是兩圖像中差別很大的點(diǎn)之間的聯(lián)接，因?yàn)椋鼈儾豢赡艹蔀楹蜻x匹配點(diǎn)．每一個(gè)節(jié)點(diǎn)包含第一幅圖像中的一個(gè)位置和一組可能的標(biāo)記(視差矢量)．一組視差標(biāo)記是一組位移矢量或是未定義的視差．

23、匹配的初始概率通過(guò)使用兩圖像特征點(diǎn)之間的相似測(cè)度來(lái)計(jì)算．人們一般使用對(duì)應(yīng)窗口中所有像素差的平方和為測(cè)度． 下面的步驟可以用來(lái)給這些概率賦值．設(shè)是一個(gè)點(diǎn)的一個(gè)候選標(biāo)記，表示該點(diǎn)的一個(gè)視差向量．我們先計(jì)算，即點(diǎn)與其潛在匹配點(diǎn)之間的相似度： (14.8) 式中是對(duì)應(yīng)于標(biāo)記的視差平方和，是一個(gè)正的常數(shù)．這個(gè)點(diǎn)不足以定義視差的概率是： (14.9) 這個(gè)概率值是由與最相似點(diǎn)的相似度來(lái)確定的．如果沒(méi)有很強(qiáng)的相似點(diǎn)，那么有可能這個(gè)點(diǎn)在這圖像中就沒(méi)有匹配．各個(gè)匹配(標(biāo)記)點(diǎn)的概率是

24、 (14.10) 式中是條件概率，節(jié)點(diǎn)具有標(biāo)記，求和是不包含“未定義”標(biāo)記的所有標(biāo)記．使用一致性和迭代松弛算法可以使概率估計(jì)逐漸精細(xì)．在這個(gè)算法中，每個(gè)節(jié)點(diǎn)上的標(biāo)記是加強(qiáng)還是減弱，是以本次迭代中相鄰節(jié)點(diǎn)的標(biāo)記為基礎(chǔ)的．這里使用的最重要的性質(zhì)是在給定的鄰域中，所有的視差都是相似的．這樣，鄰域中具有相似視差的節(jié)點(diǎn)相互加強(qiáng)，而視差不相似的節(jié)點(diǎn)則被減弱了．下面的方法可以來(lái)實(shí)現(xiàn)這一思想． 讓我們考慮點(diǎn)所有鄰點(diǎn)的視差矢量概率．對(duì)每個(gè)鄰點(diǎn)，將那些與的視差相近或相似的標(biāo)記(視差)概率加起來(lái)： (14.11) 其

25、中是的所有鄰點(diǎn)的集合，是與視差相似的那些標(biāo)記的集合．現(xiàn)在使用迭代計(jì)算來(lái)逐漸精細(xì)概率值： (14.12) 其中常量和用來(lái)控制算法的收斂速度．通常，只進(jìn)行幾次迭代就能得到一個(gè)好的解．另外，去掉低概率值的匹配點(diǎn)可以有效地提高算法的速度．圖14.9示意的是一個(gè)序列中的兩幅圖像，圖14.10是使用上面算法計(jì)算視差的迭代過(guò)程示意圖．有興趣的讀者可以參見(jiàn)文獻(xiàn)[Barbard 1980]． 圖 14.9 立體圖像對(duì) 圖14.10使用松弛算法求匹配特征點(diǎn)視差示意圖，(a) 對(duì)圖14.9進(jìn)行 初始概率分配，(b) 、(c)和(d)是第

26、2、第6和第10次迭代結(jié)果 14.2 光流法 光流法是運(yùn)動(dòng)圖像分析的重要方法．本節(jié)首先介紹光流的基本概念和圖像運(yùn)動(dòng)估計(jì)的基本問(wèn)題，然后討論光流方程，基于光流方程的一些圖像分析方法和算法見(jiàn)14.3節(jié)。 14.2.1 運(yùn)動(dòng)場(chǎng)與光流 　　給圖像中的每一像素點(diǎn)賦予一個(gè)速度向量，就形成了圖像運(yùn)動(dòng)場(chǎng)(motion field)． 在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上某一點(diǎn)對(duì)應(yīng)三維物體上某一點(diǎn)，這種對(duì)應(yīng)關(guān)系可以由投影方程得到．在透視投影情況下，圖像上一點(diǎn)與物體上對(duì)應(yīng)一點(diǎn)的連線經(jīng)過(guò)光學(xué)中心，該連線稱為圖象點(diǎn)連線(Point ray)，如圖14.11所示 圖14.11 三維物體上一點(diǎn)運(yùn)動(dòng)的二維投影

27、　　設(shè)物體上一點(diǎn)相對(duì)于攝像機(jī)具有速度，從而在圖像平面上對(duì)應(yīng)的投影點(diǎn)具有速度．在時(shí)間間隔時(shí)，點(diǎn)運(yùn)動(dòng)了，,圖像點(diǎn)運(yùn)動(dòng)了．速度可由下式表示： 　　　　　　　　　　(14.13) 式中和之間的關(guān)系為： (14.14) 其中，表示圖像平面到光學(xué)中心的距離，表示軸的單位矢量． 式（14.14）只是用來(lái)說(shuō)明三維物體運(yùn)動(dòng)與在圖像平面投影之間的關(guān)系，但我們關(guān)心的是圖像亮度的變化，以便從中得到關(guān)于場(chǎng)景的信息。 　　當(dāng)物體運(yùn)動(dòng)時(shí)，在圖像上對(duì)應(yīng)物體的亮度模式也在運(yùn)動(dòng)．光流(optical flow)是指圖像亮度模式的表觀（或視在）運(yùn)動(dòng) (appa

28、rent motion)[Horn 1986]．使用“表觀運(yùn)動(dòng)”這個(gè)概念的主要原因是光流無(wú)法由運(yùn)動(dòng)圖像的局部信息唯一地確定，比如，亮度比較均勻的區(qū)域或亮度等值線上的點(diǎn)都無(wú)法唯一地確定其點(diǎn)的運(yùn)動(dòng)對(duì)應(yīng)性，但運(yùn)動(dòng)是可以觀察到的．與光流同義的另一個(gè)常用術(shù)語(yǔ)是圖像流(image flow)． 在理想情況下，光流對(duì)應(yīng)于運(yùn)動(dòng)場(chǎng)，但這一命題不總是對(duì)的．圖14.12所示的是一個(gè)非常均勻的球體，由于球體表面是曲面，因此在某一光源照射下，亮度呈現(xiàn)一定的空間分布或叫明暗模式．當(dāng)球體在攝像機(jī)前面繞中心軸旋轉(zhuǎn)時(shí)，明暗模式并不隨著表面運(yùn)動(dòng)，所以圖像也沒(méi)有變化，此時(shí)光流在任意地方都等于零，然而，運(yùn)動(dòng)場(chǎng)卻不等于零．如果球體不

29、動(dòng)，而光源運(yùn)動(dòng)，明暗模式運(yùn)動(dòng)將隨著光源運(yùn)動(dòng)．此時(shí)光流不等于零，但運(yùn)動(dòng)場(chǎng)為零，因?yàn)槲矬w沒(méi)有運(yùn)動(dòng)．一般情況下可以認(rèn)為光流與運(yùn)動(dòng)場(chǎng)沒(méi)有太大的區(qū)別，因此允許我們根據(jù)圖像運(yùn)動(dòng)來(lái)估計(jì)相對(duì)運(yùn)動(dòng)． 圖14.12 光流與運(yùn)動(dòng)場(chǎng)差別示意圖 14.2.2 光流約束方程 　　設(shè) 是圖像點(diǎn)在時(shí)刻的照度，如果和是該點(diǎn)光流的和分量，假定點(diǎn)在時(shí)運(yùn)動(dòng)到時(shí)，照度保持不變，其中，，，即 (14.15) 這一約束還不能唯一地求解和，因此還需要其它約束，比如，運(yùn)動(dòng)場(chǎng)處處連續(xù)等約束． 如果亮度隨、、光滑變化，則可以將上式的

30、左邊用Taylor級(jí)數(shù)展開(kāi)， (14.16) 其中是關(guān)于、、的二階和二階以上的項(xiàng)．上式兩邊的相互抵消，兩邊除以，并取極限，得到 (14.17) 上式實(shí)際上是下式的展開(kāi)式 (14.18) 設(shè) 則由式(14.17)得到空間和時(shí)間梯度與速度分量之間的關(guān)系： 　 　　(14.19) 或 (14.20)

31、上述方程稱為光流約束方程．在上面的方程中，，和可直接從圖像中計(jì)算出來(lái)． 實(shí)際上，上述光流約束方程產(chǎn)生的是恒值亮度輪廓圖像運(yùn)動(dòng)的法向分量，其中和分別是法向運(yùn)動(dòng)分量的方向和大?。? （14.21） 圖像中的每一點(diǎn)上有兩個(gè)未知數(shù)和，但只有一個(gè)方程，因此，只使用一個(gè)點(diǎn)上的信息是不能確定光流的．人們將這種不確定問(wèn)題稱為孔徑問(wèn)題(aperture problem)．理論上分析，我們僅能沿著梯度方向確定圖像點(diǎn)的運(yùn)動(dòng)，即法向流(normal flow)．假定物體的運(yùn)動(dòng)方向?yàn)?，如圖14.12所示．如果基于一個(gè)局部窗口(即孔徑1)來(lái)估計(jì)運(yùn)動(dòng)，

32、則無(wú)法確定圖像是沿著邊緣方向還是垂直邊緣方向運(yùn)動(dòng)，其中沿著垂直邊緣方向的運(yùn)動(dòng)就是法向流．但是，如果我們?cè)賮?lái)觀察孔徑2，就有可能確定正確的運(yùn)動(dòng)，這是由于圖像在孔徑2中的兩個(gè)垂直邊緣方向上都有梯度變化．這樣，在一個(gè)包含有足夠灰度變化的像素塊上有可能估計(jì)圖像運(yùn)動(dòng)．當(dāng)然，這里隱含著一個(gè)假設(shè)，那就是像素塊里的所有像素都具有相同的運(yùn)動(dòng)矢量． 圖14.13 孔徑問(wèn)題示意圖 14.3光流計(jì)算 由上節(jié)討論可知，由于孔徑問(wèn)題的存在，僅通過(guò)光流約束方程而不使用其它信息是無(wú)法計(jì)算圖像平面中某一點(diǎn)處的圖像流速度，本節(jié)將討論如何克服孔徑問(wèn)題，并求出圖像流的幾種方法。 14.3.1 Horn-Schunck

33、法 Horn和Schunck[Horn]使用光流在整個(gè)圖像上光滑變化的假設(shè)來(lái)求解光流，即運(yùn)動(dòng)場(chǎng)既滿足光流約束方程又滿足全局平滑性．根據(jù)光流約束方程，光流誤差為 (14.22) 其中。對(duì)于光滑變化的光流，其速度分量平方和積分為 (14.23) 將光滑性測(cè)度同加權(quán)微分約束測(cè)量組合起來(lái)，其中加權(quán)參數(shù)控制圖像流約束微分和光滑性微分之間的平衡： (14.24) 其中是控制平滑度的參數(shù)，越大，則平滑度就越高，則估計(jì)的精度也越高．使用變分法將上式轉(zhuǎn)化為一對(duì)偏微分方程：

34、 (14.25) 用有限差分方法將每個(gè)方程中的拉普拉斯算子換成局部鄰域圖像流矢量的加權(quán)和，并使用迭代方法求解這兩個(gè)差分方程． 下面只考慮離散的情況．在一點(diǎn)及其4鄰域上，根據(jù)光流約束方程，光流誤差的離散量表示式為： (14.26) 光流的平滑量也可由點(diǎn)與它的4鄰域點(diǎn)的光流值差分來(lái)計(jì)算： (14.27) 則極小化函數(shù)為： (14.28) 關(guān)于和的微分是： (14.29) 其中和分別是和在點(diǎn)處的平均值．當(dāng)上式為零時(shí)

35、，則式14.28取極小值，因此得到： (14.30) 從上面兩個(gè)方程可以求出和．實(shí)際中，經(jīng)常將求解和表示成迭代方程： (14．31) 其中是迭代次數(shù)，和是光流的初始估值，一般取為零．當(dāng)相鄰兩次迭代結(jié)果的距離小于預(yù)定的公差值，迭代過(guò)程終止． Horn-Schunck光流法實(shí)驗(yàn)結(jié)果見(jiàn)圖14.15。 14.3.2 Lucas-Kanade方法 Lucas和Kanade[Lucas 1981] 假設(shè)在一個(gè)小的空間鄰域上運(yùn)動(dòng)矢量保持恒定，然后使用加權(quán)最小二乘方( weighted least-squares)估計(jì)光流。在一個(gè)小的空

36、間鄰域上， 光流估計(jì)誤差定義為 (14.32) 其中表示窗口權(quán)重函數(shù)，它使鄰域中心部分對(duì)約束產(chǎn)生的影響比外圍部分更大。設(shè)，式(14.32)的解由下式給出： (14.33) 其中，在時(shí)刻t的n個(gè)點(diǎn)， 式(14.33)的解為，其中當(dāng)為非奇異時(shí)可得到解析解 ，因?yàn)樗且粋€(gè)的矩陣： (14.34) 其中所有的和都是在鄰域上的點(diǎn)得到的。 等式(14.32)和(14.33)也可認(rèn)為是從法向速度(normal velocities)得到的估計(jì)的加權(quán)最小二乘估計(jì)(weighted least-squares estimates)；即(14.32)等于：

37、 (14.35) 我們的實(shí)現(xiàn)首先用標(biāo)準(zhǔn)差為1.5像素/幀的時(shí)空高斯濾波器平滑圖象序列。 這有助與削弱時(shí)間噪聲(temporal aliasing)和輸入中的量化效應(yīng)(quantization effects)。梯度的計(jì)算使用了4點(diǎn)中心差，其系數(shù)模板為。空間鄰域?yàn)橄袼卮笮?，窗口?quán)重函數(shù) 為可分離的和各向同性的 ；在[Simoncelli 1991]中的有效的一維權(quán)為。在整個(gè)處理中需要15幀圖象。Fleet and Langley [Fleet 1993]已經(jīng)用IIR遞歸濾波器和時(shí)間上的遞歸估計(jì)替代了FIR濾波器。這種方法只需存儲(chǔ)3幀圖象 (即只有2到3幀的延遲)就可產(chǎn)生相似的結(jié)果。

38、 Simoncelli等在[Simoncelli 1991]中提出了一個(gè)(14.32)的貝葉斯透視圖(Bayesian perspective)。他們?cè)谔荻葴y(cè)量中使用高斯分布誤差(Gaussian distributed errors)和高斯分布的先驗(yàn)速度V來(lái)模擬光流約束方程(14.17)。 最大化一個(gè)后驗(yàn)解的結(jié)果與式(14.33)相似 ，并且產(chǎn)生一個(gè)速度估計(jì)的協(xié)方差矩陣。 我們發(fā)現(xiàn)這種修改不會(huì)明顯的改變準(zhǔn)確性，但它提出了使用()的特征值來(lái)鑒別不可靠的估計(jì)，該值依賴于空間梯度的數(shù)量和方向的范圍。雖然Simoncelli等建議使用特征值的和，但我們發(fā)現(xiàn)單個(gè)的最小特征值更加可靠一些。因此在我們的實(shí)

39、現(xiàn)中，如果和都大于一個(gè)閾值，V用(14.33)計(jì)算；如果而，計(jì)算法向速度估計(jì)；如果，不計(jì)算速度。 14.3.3 Nagel方法 Nagel使用二階導(dǎo)數(shù)(second-order derivatives)來(lái)估計(jì)光流[Nagel 1983, 1987, 1989]。和Horn-Schunck法一樣，Nagel也使用了全局平滑約束來(lái)建立光流誤差測(cè)度函數(shù)，與Horn-Schunck 測(cè)度函數(shù)(14.24)不同，Nagel提出的一種面向平滑的約束（oriented-smoothness constraint），并不是強(qiáng)加在亮度梯度變化最劇烈的方向（即邊緣方向）上，這樣做的目的是為了處理遮擋(occl

40、usion)問(wèn)題[Nagel 1986]。 該方法的誤差測(cè)度函數(shù)為 (14.36) 相對(duì)于求上式的極小化會(huì)削弱垂直于梯度方向上的光流變化。[Nagel 1987]建議取=1.0，=0.5。 使用Gauss-Seidel迭代，(14.36)的解可表示為： (14.37) 其中，k表示迭代次數(shù)，和由下式給出： (14.38) 其中： 和表示的偏導(dǎo)數(shù)的估計(jì)，和是和的局部鄰域的平均，加權(quán)矩陣： 在實(shí)現(xiàn)中，所有的速度初值都可設(shè)為0。圖象序列使用了一個(gè)在時(shí)空上標(biāo)準(zhǔn)差均為1.5像素的高斯核進(jìn)行

41、濾波預(yù)處理。亮度導(dǎo)數(shù)使用4點(diǎn)中心差算子計(jì)算，在不同的方向上層疊以得到另一個(gè)導(dǎo)數(shù)(second derivatives)。一階速度導(dǎo)數(shù)用2點(diǎn)中心差核計(jì)算，而二階導(dǎo)數(shù)通過(guò)層疊一階導(dǎo)數(shù)計(jì)算而得。圖14.15所示的是使用了100次迭代得到的光流結(jié)果結(jié)果。關(guān)于實(shí)現(xiàn)的細(xì)節(jié)可參考[Barron 1993]。 (a) 第一幀 (b)第二十幀 圖14.14 兵馬俑模型圖像序列 圖14.15 光流實(shí)驗(yàn)結(jié)果, (a) Horn-Shrunck法, (b) Lucas-Kanade法,(c) Nagel法 14.3.4魯棒計(jì)算方法 　　顯然，光流

42、約束方程14.21不適用遮擋背景的運(yùn)動(dòng)過(guò)程，也就是說(shuō)，在運(yùn)動(dòng)邊界處的運(yùn)動(dòng)信息是不可靠的，即可能產(chǎn)生不正確的運(yùn)動(dòng)點(diǎn)或局外點(diǎn)．魯棒計(jì)算方法可以避免邊界處不正確運(yùn)動(dòng)約束帶來(lái)的問(wèn)題． 　　圖像流可用最小中值二乘回歸法這一魯棒回歸算法來(lái)計(jì)算．將最小中值二乘法作用于連接的各個(gè)鄰域．在每一個(gè)鄰域里，該算法將盡可能找出所有可能的約束線對(duì)．計(jì)算每一對(duì)約束線的交點(diǎn)，并計(jì)算殘差平方的中值，以便給每一個(gè)估計(jì)值指定一個(gè)權(quán)值．然后，將每一個(gè)交點(diǎn)及其權(quán)值都存儲(chǔ)起來(lái)．在試過(guò)所有的約束線對(duì)以后，對(duì)應(yīng)于最小權(quán)值的交點(diǎn)作為鄰域中心圖像流速度的估計(jì)． 　　使用約束線在速度空間的距離和圖像梯度角，可將約束線表示為極坐標(biāo)形式：

43、 (14．39) 式中和分別表示運(yùn)動(dòng)的速度大小和方向．設(shè)第一條約束線的坐標(biāo)為和，第二條約束線的坐標(biāo)為和．在直角坐標(biāo)系中交點(diǎn)的位置是 (14．40) 該模型對(duì)約束線的擬合度是殘差平方的中值： (14．41) 運(yùn)動(dòng)估計(jì)和每條約束線之間的殘差是約束線與估值點(diǎn)(x,y)間的垂直距離．殘差由下式給出 (14．42) 由方程(14.40) 給出的約束線對(duì)的交點(diǎn)位置是一個(gè)候選解．計(jì)算并存儲(chǔ)相對(duì)于候選解的約束線

44、殘差平方的中值，連同候選解一起作為一個(gè)潛在解．殘差平方的中值是鄰域中每一條線與候選交點(diǎn)間垂直距離的平方中值． 典型的鄰域尺寸是5× 5．一個(gè)n×n的鄰域包含了條約束線．那么n×n鄰域里可能的約束線對(duì)數(shù)是 (14.43) 一個(gè)鄰域會(huì)產(chǎn)生300對(duì)線．如果計(jì)算時(shí)間有限，則沒(méi)有必要試驗(yàn)所有的線對(duì)．Rousseeuw和Leroy [Rousseeuw 1987, p198]提供了一個(gè)試驗(yàn)次數(shù)表，給出在95%置信度下，用個(gè)參數(shù)的模型擬合含有不同比例局外點(diǎn)的數(shù)據(jù)集的最小實(shí)驗(yàn)次數(shù)，其中假定鄰域里至多有

45、50%的局外點(diǎn)．圖像流速度場(chǎng)的局部估計(jì)僅需要兩條約束線．從Rousseeuw和Leroy給出的表中可以看到，只需要試驗(yàn)11對(duì)約束線就能提供具有95％置信度的一致性估計(jì)．使用更多的線對(duì)可能會(huì)給計(jì)算一致性估計(jì)的增加麻煩．如果使用的線對(duì)數(shù)量少于所有可能的線對(duì)，則必須對(duì)線對(duì)進(jìn)行挑選，以使每對(duì)線中的約束離的越遠(yuǎn)越好．這就減少了因求解相近方向約束線交點(diǎn)帶來(lái)的病態(tài)問(wèn)題．在每一個(gè)鄰域里應(yīng)該使用一個(gè)預(yù)編程方案，以便選擇約束線對(duì)．這種方法的實(shí)驗(yàn)結(jié)果如圖14.16所示． 圖14.16 使用最小中值二乘算法的進(jìn)行光流計(jì)算的實(shí)驗(yàn)結(jié)果 14.4 基于塊的運(yùn)動(dòng)分析 　　基于塊(Block-based))

46、的運(yùn)動(dòng)分析在圖像運(yùn)動(dòng)估計(jì)和其它圖像處理和分析中得到了廣泛的應(yīng)用，比如在數(shù)字視頻壓縮技術(shù)中，國(guó)際標(biāo)準(zhǔn)MPEG1-2采用了基于塊的運(yùn)動(dòng)分析和補(bǔ)償算法．塊運(yùn)動(dòng)估計(jì)與光流計(jì)算不同，它無(wú)需計(jì)算每一個(gè)像素的運(yùn)動(dòng)，而只是計(jì)算由若干像素組成的像素塊的運(yùn)動(dòng)，對(duì)于許多圖像分析和估計(jì)應(yīng)用來(lái)說(shuō)，塊運(yùn)動(dòng)分析是一種很好的近似． 14.4.1 塊運(yùn)動(dòng)模型 　　基于塊的運(yùn)動(dòng)模型假設(shè)圖像運(yùn)動(dòng)可以用塊運(yùn)動(dòng)來(lái)表征．塊運(yùn)動(dòng)通常分為平移、旋轉(zhuǎn)、仿射、透視等運(yùn)動(dòng)形式，一般情況下，塊運(yùn)動(dòng)是這些運(yùn)動(dòng)的組合，稱為變形運(yùn)動(dòng)(deformation motion)． (1) 平移運(yùn)動(dòng) 假設(shè)圖像中每一個(gè)塊都作平移運(yùn)動(dòng)．在第幀圖像中

47、選取一個(gè)塊B，其中心位于．在第幀時(shí)，塊B的所有像素之間的關(guān)系及其灰度值保持不變，但塊中心運(yùn)動(dòng)到，將第幀到第幀的平移變換公式表示為 (14.44) 則對(duì)塊中所有的像素，有 (14.45) (2)仿射運(yùn)動(dòng) 　　將上面的平移變換推廣到包含仿射坐標(biāo)的變換： (14．46) 該式不僅可以描述塊的平移、旋轉(zhuǎn)運(yùn)動(dòng)，還表示塊的變形運(yùn)動(dòng)如圖14.17所示．仿射變換表示一個(gè)平面的三維運(yùn)動(dòng)在圖像平面上的平行投影 ，它有一個(gè)重要的性質(zhì)就是平面上任意兩條直線，經(jīng)仿射變換后，仍然保持平行．

48、 (3)透視投影變換 (14.47) (4)二次線性變換形式 (14．48) 這些方法可以解決光流的孔徑問(wèn)題． 　　塊的平移運(yùn)動(dòng)具有廣泛的應(yīng)用，主要原因是它無(wú)需向光流那樣，計(jì)算每一個(gè)像素的運(yùn)動(dòng)，而是只計(jì)算一個(gè)塊的運(yùn)動(dòng)，這種計(jì)算對(duì)于許多應(yīng)用都是一種很好的近似，同時(shí)計(jì)算極其簡(jiǎn)單和有效，非常適合于VLSI并行處理．但這種算法不適合旋轉(zhuǎn)運(yùn)動(dòng)、圖像的縮放運(yùn)動(dòng)和圖像局部變形運(yùn)動(dòng)． 圖14.17 幾種空間變換示意圖 14.4.2 傅里葉方法 采用傅里葉變換可以檢測(cè)和估計(jì)運(yùn)動(dòng)塊的二維平移

49、、旋轉(zhuǎn)和尺度變化． (1)平移運(yùn)動(dòng)的檢測(cè) 對(duì)方程(14.45)的兩邊取傅里葉變換： (14.49) (14.50) 時(shí)刻和對(duì)應(yīng)的兩幀圖像二維傅里葉相位差為 (14.51) 　　上式實(shí)際上是一個(gè)由兩個(gè)變量定義的一個(gè)平面．所以估計(jì)塊的運(yùn)動(dòng)矢量就是估計(jì)該平面的法線方向．下面介紹一種求解的直接方法．由變量的可分離性，和分別表示和在軸的投影，即 　　　 　　　　　(14.52) 和分別為和的傅里葉變換

50、，則它們的相位差為： (14.53) 　　在頻率域，可以得到關(guān)于的，從上式可解得 (14.54) 同理可以求出: (14.55) 這樣就是時(shí)刻到圖像塊運(yùn)動(dòng)的位移量． 上述直接方法有兩個(gè)假設(shè)： 1. 二維相位函數(shù)(14.51)是可以展開(kāi)的 2. 所選的圖像塊內(nèi)只包含一個(gè)物體． 第一個(gè)假設(shè)在實(shí)際中一般很難做到．對(duì)于第二個(gè)假設(shè),如果機(jī)器自動(dòng)地在圖像上選擇運(yùn)動(dòng)塊，如果塊中包含有兩個(gè)物體，則估計(jì)結(jié)果將是錯(cuò)誤的．14.4.3將介紹的相位相關(guān)法

51、可以有效地解決上述兩個(gè)問(wèn)題． (2) 旋轉(zhuǎn)運(yùn)動(dòng)和尺度變化的檢測(cè) 由傅立葉方法可知，對(duì)于圖像的空間域線性模式，如直的邊緣，經(jīng)傅立葉變換后，它的功率譜也呈線性分布，且通過(guò)平面的原點(diǎn)，它的方向與圖像空間域上的線性模式方向正交。這樣當(dāng)線條旋轉(zhuǎn)時(shí)，其線性功率譜也做相應(yīng)的旋轉(zhuǎn)，由此求出二維旋轉(zhuǎn)運(yùn)動(dòng)。如果物體圖像的尺度變大，反映在傅立葉頻率域上的功率譜的低頻分量增大，反之，若物體區(qū)域尺寸變小，那么頻率域上的功率譜的高頻分量增大。這樣可以根據(jù)功率譜的變化描述物體尺度的變化。 14.4.3 相位相關(guān)法 　　圖像序列中的和時(shí)刻的圖像之間互相關(guān)函數(shù)為 (14.56)

52、 　　對(duì)上式兩邊做傅里葉變換，得到互功率譜為： (14.57) 上式除以互功率譜幅值得到標(biāo)準(zhǔn)互功率譜 (14.58) 將14.51代入上式，則有 (14.59) 對(duì)上式取傅里葉反變換，得到相位相關(guān)函數(shù)表達(dá)式： (14.60) 由上式可見(jiàn)，相位相關(guān)函數(shù)是一個(gè)脈沖函數(shù)，其脈沖位置就是塊位移矢量． 求解位移矢量算法見(jiàn)算法14．1．用計(jì)算機(jī)實(shí)現(xiàn)上述

53、算法時(shí)，要用二維離散傅里葉變換(DFT)替換二維傅里葉變換． 算法14.1 相位相關(guān)法運(yùn)動(dòng)矢量算法 1． 計(jì)算第和時(shí)刻對(duì)應(yīng)的圖像中塊的二維DFT． 2． 根據(jù)式(14.58)計(jì)算互功率譜相位． 3． 計(jì)算的逆的二維DFT，得到． 4． 檢測(cè)相位函數(shù)的峰值位置． 　　理想情況下得到的相位相關(guān)函數(shù)只有一個(gè)峰值，對(duì)應(yīng)著塊在兩幀圖像上的相對(duì)位移．但在實(shí)際中，許多因素常常會(huì)使相位相關(guān)函數(shù)惡化，從而有可能產(chǎn)生多個(gè)峰值．這些因素包括使用二維DFT替換二維傅里葉變換，一個(gè)塊內(nèi)有兩個(gè)運(yùn)動(dòng)物體，或圖像噪聲等． 　　用二維DFT替換二維傅里葉變換會(huì)產(chǎn)生如下問(wèn)題： 1. 邊界效應(yīng) 為了

54、得到完整的脈沖函數(shù)，移位必須是周期的．由于在窗口的一端消失的像素在窗口的另一端不會(huì)再出現(xiàn)，因此，脈沖函數(shù)將退化為波峰函數(shù)．這就是為什么二維DFT算法假設(shè)在窗口兩端方向上具有周期性．不論是從左到右，還是從上到下，如果存在不連續(xù)的邊界，都會(huì)引進(jìn)假的峰值． 2. 頻譜泄漏： 由于運(yùn)動(dòng)矢量為非整數(shù)，因而造成頻譜泄漏．為了得到完成的脈沖函數(shù)，位移矢量的分量必須對(duì)應(yīng)一個(gè)整數(shù)倍的基頻．否則，脈沖函數(shù)將退還成波峰函數(shù)． 3. 位移估計(jì)范圍： 由于二維DFT是塊尺寸大小的周期函數(shù)，因此需要校正位移估計(jì)值，以便適合負(fù)的位移 　　這樣估計(jì)的范圍為由點(diǎn)到點(diǎn)組成的塊，比如估計(jì)的位移范圍為(-25，-2

55、5)到(25，25)，則塊的尺寸至少為(51，51)． 　　塊的尺寸選擇對(duì)于基于塊的運(yùn)動(dòng)算法是非常重要的．選擇較大的塊尺寸，可以跟蹤大位移的運(yùn)動(dòng)．但塊尺寸選得太大，塊內(nèi)的所有運(yùn)動(dòng)矢量很難保證完全一樣，造成估計(jì)誤差太大．因此在選擇窗口尺寸上有一個(gè)最佳的折衷方案．使用多分辨率圖像結(jié)構(gòu)可以在一定程度上解決這一問(wèn)題． 14.4.4塊匹配方法 　　塊匹配算法的基本思想如圖14.18所示．在第幀中選擇以為中心、大小為的塊，然后在第幀中的一個(gè)較大的搜索窗口內(nèi)尋找與塊尺寸相同的最佳匹配塊的中心的位移矢量．搜索窗口一般是以第幀中的塊為中心的一個(gè)對(duì)稱窗口，其大小常常根據(jù)先驗(yàn)知識(shí)或經(jīng)驗(yàn)來(lái)確定．各種

56、塊匹配算法的差異主要體現(xiàn)在如下幾個(gè)方面： i 匹配準(zhǔn)則 i 搜索策略 i 塊尺寸選擇方法 下面介紹幾種方法 　　(1)　匹配準(zhǔn)則 　　典型的匹配準(zhǔn)則有：最大互相關(guān)準(zhǔn)則，最小均方差準(zhǔn)則，最小平均絕對(duì)值差，最大匹配像素?cái)?shù)量準(zhǔn)則等． 其中最大互相關(guān)準(zhǔn)則見(jiàn)14.4.3節(jié)． 圖14 .18 塊匹配示意圖 　　最小均方差準(zhǔn)則(mean square error，MSE)定義如下： (14.61) 通過(guò)求上式的極小化可以估計(jì)出位移矢量，即 (14.62) 對(duì)MSE求極小化的準(zhǔn)則可以認(rèn)為是給窗口內(nèi)的所有象素強(qiáng)加一個(gè)光流約束。最小均方差準(zhǔn)則很

57、少通過(guò)超大規(guī)模集成電路(VLSI)來(lái)實(shí)現(xiàn)，主要原因是用硬件實(shí)現(xiàn)平方運(yùn)算有相當(dāng)?shù)睦щy。通過(guò)超大規(guī)模集成電路(VLSI)來(lái)實(shí)現(xiàn)的準(zhǔn)則是最小平均絕對(duì)差． 　　最小平均絕對(duì)差準(zhǔn)則(mean absolute difference，MAD)定義如下 　　　(14.63) 位移矢量的估計(jì)值為 (16.64) 眾所周知，隨著搜索區(qū)域的擴(kuò)大，出現(xiàn)多個(gè)局部極小值的可能性也增大，此時(shí)，MAD準(zhǔn)則性能將惡化． 　　還有一種匹配準(zhǔn)則是最大匹配像素?cái)?shù)量準(zhǔn)則(matching pel count，MPC)，這種方法是將窗口內(nèi)的匹配象素和非匹配象素根據(jù)下式分類： (16.65)

58、 是預(yù)先確定的閾值．這樣，最大匹配像素?cái)?shù)量準(zhǔn)則為 　　　　　　　(16.66) (16.67) 運(yùn)動(dòng)估計(jì)值對(duì)應(yīng)匹配象素的最大數(shù)量MPC準(zhǔn)則需要一個(gè)閾值比較器和計(jì)數(shù)器［Gha90］． 　　(2) 搜索策略 為了求得最佳位移估計(jì)，可以計(jì)算所有可能的位移矢量對(duì)應(yīng)的匹配誤差，然后選擇最小匹配誤差對(duì)應(yīng)的矢量就是最佳位移估計(jì)值，這就是全搜索策略．這種策略的最大優(yōu)點(diǎn)是可以找到全局最優(yōu)值，但十分浪費(fèi)時(shí)間，因此，人們提出了各種快速搜索策略．盡管快速搜索策略得到的可能是局部最優(yōu)值，但由于其快速計(jì)算的實(shí)用性，在實(shí)際中得到了廣泛的應(yīng)用．下面討論一種快速搜索方法：步搜索或

59、對(duì)數(shù)搜索． 設(shè)窗口大小為，當(dāng)前象素值位于窗口中心，用來(lái)標(biāo)記，如圖14.18(a)所示．第一步，選擇標(biāo)記為和的9個(gè)象素計(jì)算匹配準(zhǔn)則函數(shù)，如果最佳匹配仍在處，則無(wú)運(yùn)動(dòng)．第二步，以第一步最佳匹配對(duì)應(yīng)的象素點(diǎn)為中心選擇8個(gè)點(diǎn)（圖中用標(biāo)記表示），計(jì)算這８?jìng)€(gè)點(diǎn)的匹配準(zhǔn)則函數(shù)值．第三步，以第二步最佳匹配對(duì)應(yīng)的象素點(diǎn)為中心選擇8個(gè)點(diǎn)（圖中用標(biāo)記表示），計(jì)算這８?jìng)€(gè)點(diǎn)的匹配準(zhǔn)則函數(shù)值，最佳匹配值即為最后的最佳運(yùn)動(dòng)估計(jì)．由圖14.19(a)可見(jiàn)，每進(jìn)行一步，搜索距離減小一半，并且愈來(lái)愈接近精確解．人們將上述搜索過(guò)程稱為3步搜索．當(dāng)然可以繼續(xù)在子象素級(jí)上進(jìn)行搜索，以得到更精確的估計(jì)值，這樣就需要大于3步的搜索，稱之

60、為步搜索，由于搜索步數(shù)與窗口內(nèi)象素個(gè)數(shù)是對(duì)數(shù)關(guān)系，因此，常將這種搜索稱為對(duì)數(shù)搜索．另一種對(duì)數(shù)搜索策略是在每一步有4個(gè)搜索位置，它們以十字形或交叉形布置，如圖16.19(b)所示． （a） （b） 圖 14.19 對(duì)數(shù)搜索示意圖 *14.4.5 廣義圖像運(yùn)動(dòng)估計(jì) 雖然基于平移的塊模型的運(yùn)動(dòng)估計(jì)是簡(jiǎn)單的，但處理旋轉(zhuǎn)、變形運(yùn)動(dòng)和不連續(xù)運(yùn)動(dòng)場(chǎng)時(shí)，效果不是很好。下面介紹處理一般運(yùn)動(dòng)的廣義圖像運(yùn)動(dòng)分析。 在廣義塊運(yùn)動(dòng)匹配中，首先將當(dāng)前幀分解成三角片、矩形片和任意四邊形片。然后在給定的空間變換下，在另一幀中找到最佳匹配的三角片或四邊形片，如

61、圖14.20所示?？臻g變換與分解片的形狀有關(guān)， 三角片提供了足夠的自由度使用仿射變換，因?yàn)槊恳粋€(gè)頂點(diǎn)提供兩個(gè)方程，而仿射變換有六個(gè)參數(shù)。透視變換和二次線性變換包含有八個(gè)參數(shù)，非常適合用四邊形片。如果對(duì)四邊形作仿射變換，將產(chǎn)生超定方程，即平行線經(jīng)變換后仍然是平行線。 使用仿射變換、透視變換或二次線性變換比使用平移運(yùn)動(dòng)變換逼近旋轉(zhuǎn)、變形以及縮放運(yùn)動(dòng)的效果更好，然而運(yùn)動(dòng)估計(jì)的復(fù)雜度也隨之增大。如果采納搜索策略進(jìn)行運(yùn)動(dòng)估計(jì)，則需要搜索的空間由平移運(yùn)動(dòng)的二維搜索空間增加到六維或八維搜索空間。全搜索方法[sef93]，快速六邊形搜索方法[Nak94]，全局樣條曲面擬合方法[Flu92]。全搜索方法可以歸

62、納為如下幾步： I. 將圖像分割成矩形片（三角形片） II. 從圖像的初始估計(jì)值開(kāi)始，攝動(dòng)匹配矩形片（三角片）的頂點(diǎn)坐標(biāo) III. 對(duì)于每一個(gè)矩形片（三角形片），求預(yù)定的空間變換參數(shù)，使得通過(guò)四個(gè)（三個(gè)）匹配頂點(diǎn)將上一幀的矩形片（三角形片）映射成當(dāng)前幀的矩形片（三角形片）。 IV. 使用空間變換求矩形片（三角形片）內(nèi)對(duì)應(yīng)象素的坐標(biāo)，然后求解待匹配片之間的MSE或MAD準(zhǔn)則函數(shù)。 V. 選擇MSE或MAD最小值對(duì)應(yīng)的空間變化。 上面的算法實(shí)際上隱含了這樣一個(gè)假設(shè)：矩形片（三角形片）內(nèi)的象素應(yīng)屬于同一個(gè)運(yùn)動(dòng)的物體，否則，無(wú)法用一個(gè)運(yùn)動(dòng)模型來(lái)描述圖像運(yùn)動(dòng)。對(duì)于圖像中包含有多個(gè)運(yùn)動(dòng)物體時(shí)，

63、應(yīng)該使用自適應(yīng)矩形片或三角形片，如圖14.21。 圖14.20 廣義運(yùn)動(dòng)匹配示意圖 圖14.21 （a）規(guī)則三角形片劃分，(b)自適應(yīng)三角形片劃分 思考題 14.1 什么是累積差分圖像？它與差分圖像有何不同？ 14.2 時(shí)變邊緣和運(yùn)動(dòng)邊緣的不同之處是什么？在動(dòng)態(tài)場(chǎng)景中你如何檢測(cè)運(yùn)動(dòng)邊緣？ 14.3 為得到亞像素分辨率的特征點(diǎn)位置．計(jì)算從Moravet興趣算子第2步中得到的最小變化的中繼圖像中計(jì)算x和y要素. 14.4 什么是光流？它與速度場(chǎng)有何區(qū)別? 14.5請(qǐng)討論孔徑問(wèn)題，（1） 單一象素匹配，（2） 線條匹配，（3）曲線匹配，（4）角點(diǎn)匹配.

64、 14.6 一個(gè)6×8像素的左上角最初置于(0，0)，在以勻速經(jīng)過(guò)四圖像后，它運(yùn)動(dòng)至(4，8)，找出絕對(duì)、累積、正、負(fù)差分圖像. 14.7 比較全搜索和步搜索的復(fù)雜度. 計(jì)算機(jī)練習(xí)題 14.1 布置一個(gè)場(chǎng)景，場(chǎng)景內(nèi)有兩個(gè)朋友相互走近，并握手寒暄。獲取該場(chǎng)景的一個(gè)灰度圖像序列，并設(shè)計(jì)一個(gè)基于圖像累積差分方法的程序提取圖像序列的目標(biāo). 14.2 設(shè)計(jì)一個(gè)求解對(duì)應(yīng)點(diǎn)的程序，其中圖像中至少包含三個(gè)物體，并且物體以不同的方向運(yùn)動(dòng). 14.3 設(shè)計(jì)一個(gè)跟蹤人的頭部運(yùn)動(dòng)的跟蹤程序. 14.4 一個(gè)移動(dòng)機(jī)器人上裝有一個(gè)攝象機(jī)，設(shè)計(jì)一個(gè)程序，使得機(jī)器人能夠跟蹤一個(gè)特定的運(yùn)動(dòng)物體. 專心---專注---專業(yè)