編號： 畢業(yè)設計(論文)外文翻譯 （譯文） 院 （系）： 機電工程學院 專 業(yè)： 機械設計制造及其自動化 學生姓名： 學 號： 指導教師單位： 姓 名： 職 稱： 年 6 月 3 日 第 27 頁 共 19 頁 畢業(yè)設計（英文翻譯）報告用紙 摘 要 本文介紹了一個原型視覺引導叉車系統(tǒng)的自動參與的發(fā)展。他系統(tǒng)的控制使用的移動攝像機空間操縱的視覺引導的方法，這是能夠實現(xiàn)高精度的定位和定向移動機械手的機器人，而不依賴于相機校準。本文包含開發(fā)的方法，原型叉車的發(fā)展，以及在實際的托盤參與任務的實驗結果。該技術可以被添加到AGV系統(tǒng)使他們能夠進行任意位置的托盤。它也可以被添加到標準叉車操作員協(xié)助能力。 §C 2006 Elsevier公司保留所有權利。 關鍵詞：移動操作；視覺引導；機器視覺 1 介紹 本文提出了一種原型系統(tǒng)arbitrarily-定位標準托盤的視覺導引自動參與由計算機控制的叉車的發(fā)展。這里介紹的方法使機器人叉車車輛通過使用來自視覺傳感器是機器人叉車的一部分反饋給搞根據(jù)自己的實際當前位置托盤。這項技術的發(fā)展可以推動本領域的當前狀態(tài)中的材料處理兩種不同的方式。 首先，該技術可以被添加到市場上能買到的AGV（自動導向車輛）材料處理系統(tǒng)。通常，這些系統(tǒng)使用遍布它們的業(yè)務區(qū)地面嵌入電線或激光信標通過倉庫nav- IGATE的自動導向車，并贊同托盤參與。雖然大多數(shù)的AGV系統(tǒng)用于材料的水平運送，留下的機架高達入道從動標準叉車存儲托盤的任務，也有能夠收起和檢索貨盤從機架位置讓一些AGV系統(tǒng)。為了接合一個特定的托盤，托盤垂直位置（或機架高度），以及其在地圖上的參考幀位置必須是已知的AGV的系統(tǒng)。AGVs是有效的在吸引托盤放置在機架的自主移動小車本身,因為自主移動小車能夠將托盤1厘米內所需的位置[1]。AGV的托盤接觸呈托盤定位到所需的位置1厘米內的名義。如果托盤是由人操作標準叉車放在架上，沒有保證托盤將位于預cisely足夠AGV系統(tǒng)使托盤。其他的因素可以導致AGV托盤接觸如激光信標信號或通信丟失與導絲或降解系統(tǒng)的校準過程的中斷失去必要的精度。（注：背景材料對AGV系統(tǒng)中可以找到[ 1 ]和在網上[ 2 ]。） 視覺引導的托盤投入使用這里介紹的方法將提供AGV系統(tǒng)的靈活性最終進行定位和參與基于托盤的實際位置相對于AGV。這將使人類操作員將托盤在此前自主移動小車——只有架,提供更大的靈活性和AGV材料處理單元之間的相互作用和人類運營商標準叉車。同時,根據(jù)他們的實際能力托盤位置將使AGV系統(tǒng)操作在結構化程度低的情況下使用。例如,自主移動小車可以卸下托盤自動牽引拖車、目前勞動密集型任務，而不是 只在謹慎安排倉庫工作。 圖1所示 Crown SC 三輪電動叉車之前和之后的改造 第二種方法，這里介紹的視覺引導托盤參與方法可以推動現(xiàn)有領域的當前狀態(tài)將它添加到標準，手動叉車引導。托盤接合過程可能難以由叉車司機操作，由于這樣的事實，他們的視線被叉車本身的井架阻礙。本文提供的視覺導引控制方法可以添加到標準自動化的托盤嚙合部分鏟車材料處理操作。司機將有責任通過倉庫或其他建筑物，避免障礙，并獲得所需的托盤的叉車。然后，操作員可以切換到“自動接合模式”，這將使系統(tǒng)能夠自動接合托盤。這樣的系統(tǒng)可以減少發(fā)生在叉車事故，涉及托盤的接觸和運輸?shù)漠a品損壞的量。潛在的，它也可以提高安全性，因為它將允許叉車安全地避免使用托盤，避免了將產品從地面上非常高的情況下進行的撞擊的可能性。 視覺引導叉車托盤參與本文提出的方法被稱為“移動攝像機空間操縱”或簡單的“仿真”。它最初開發(fā)的一個行星探測車配備了一個機械臂[ 3 ]，并已調整和進一步發(fā)展，以控制在這里提出的叉車原型系統(tǒng)，并顯示在圖1。雖然該方法要求至少有2個視覺傳感器連接到叉車系統(tǒng)，它不需要系統(tǒng)，以保持任何類型的相機相對的嚴格的校準系統(tǒng)，也不是相機相對彼此。這樣的校準關系將很難在一般工業(yè)叉車遇到惡劣的環(huán)境來維持。同樣也難以建立和保持在許多叉車系統(tǒng)中，這些校準關系由于低精度（相對于典型的工業(yè)機器人）這些模型的力學性質。 MCSM采用基于視覺的估計與鏟車的標稱運動學模型和一個簡單的相機模型一起實現(xiàn)一個堅固的方式定位精度的一個高層次的。這個精度和魯棒性已經由叉車原型，這將在第6部分被呈現(xiàn)的實驗結果的證實。 在這一介紹之后，本文共分為五個部分。部分2給出的背景為讀者用叉車車輛以及其他一些視力不佳引導移動機械手系統(tǒng)理解在本領域中視覺引導托板接合的當前狀態(tài)。部分3給出了標準CSM，它是用于開發(fā)MCSM依據(jù)一些必要的背景信息。第4節(jié)中的方法的開發(fā)和測試中使用的原型叉車。部5顯示如何MCSM的方法開發(fā)以控制叉車。等主題目標定義，軌跡生成和跟蹤，以及視覺跟蹤進行討論。實驗結果列于第6第7節(jié)中包含的結論給出。 2 背景 MCSM是用于控制經由與該移動系統(tǒng)中進行視覺傳感器移動機械臂的方法。移動機械手這個術語是指組成一個完整的自由度機械臂系統(tǒng)（自由度）安裝在一個移動基站具有非完整約束的自由度。（[4]中可以看到完整和非完整約束之間的差異的描述。）叉車是一個移動機械手的例子。叉車的叉可以被認為是一個機械手。典型的叉車，包括在本文中討論的，有三個完整約束自由度：垂直，側移位，和傾斜角。叉車的移動基部具有控制兩非完整狗：方向盤的角度以及驅動輪（多個）的角度。這些可以用來定位叉車在三個自由度:叉車的(X,Y)位置在平面上平行于地面及其方向角。移動機器人的其他例子包括探測車配備機械臂和施工設備如挖掘機或裝載機。 MCSM是一個擴展的標準攝像機空間Manipula(CSM),這一控制策略已經被證明通過多年的測試提供高度精確控制的完整使用固定攝像機的系統(tǒng)[5 - 7]。標準的CSM甚至被用來移動機械手的控制，一個微型的“模擬”的叉舉[8,9]。然而，標準的CSM是不適合，因為它是由需要控制使用固定相機所述移動系統(tǒng)，這嚴重限制了移動通信系統(tǒng)的工作空間的限制來控制移動機械臂。MCSM克服標準CSM的限制，因為它允許照相機與移動操縱器移動。 以上，呈現(xiàn)的計算機視覺系統(tǒng)自動叉車托盤嚙合[10]。他們的方法包括使用單個校準照相機。他們的工作更側重于托盤的視覺系統(tǒng)識別方法而不是叉車的整體視覺控制系統(tǒng)本身。目前，他們的系統(tǒng)被配置為使位于地面上的托盤。由頁面的軌跡生成方法是原始的。它集成了一個方案，直行，轉彎，直行。雖然這種軌跡生成的方法確實使叉車托盤,它是緩慢的和不切實際的系統(tǒng)必須經常停止和啟動。這幾點提出了一些實驗結果,然而與米勒[9]一樣，并不是一個實際的叉車使用的車輛但與叉子附加到一個小型移動機器人機械手旨在模擬實際的叉車的運動。本文提出的系統(tǒng)在幾個方面有所不同。MCSM至少需要使用兩個相機；然而,它不需要相機校準。托盤識別采用的策略MCSM大大不同于上面提到的系統(tǒng)。此外,MCSM系統(tǒng)并不局限于只坐落在地板上的托盤。不像前文提到的系統(tǒng)。軌跡生成和跟蹤方法用于MCSM使我們的系統(tǒng)能夠進行托盤跟人類操作員一樣會開叉車,而不需要停止和啟動。 唯一的其他視覺引導系統(tǒng)，叉車，作者都知道的是自動物料輸送系統(tǒng)，這是正在開發(fā)的國家機器人工程協(xié)會[11]。該系統(tǒng)的發(fā)展似乎在很大程度上依賴于計算機視覺都為整個倉庫導航以及托盤的參與。 一些制造商提供叉車式AGV系統(tǒng)[12-15]。產品信息可以通過公司網站專注于負載能力,叉,可重復性和在倉庫的情況下應用程序的通道寬度AGV可以操作。目前AGV公司不提供視覺系統(tǒng)作為控制包的一部分,當定位托盤的自動嚙合。 在文獻中視覺引導移動機械臂的其它實例包括由Pissard-Gibollet和河流，以及斯溫和Devy[16,17]提出的系統(tǒng)。他們的系統(tǒng)的目標是使用視覺傳感器的移動機器人安裝在移動的基礎上，以瀏覽移動機器人。它們沒有解決的實際接合與安裝在移動平臺上的機械手的對象的任務。麥肯齊和阿金描述鼓采樣[18]一個視覺導向移動機械臂。該系統(tǒng)的伺服系統(tǒng)，移動基站為安裝在機械手的腰用相機的位置。然后，機械手與滾筒通過視覺伺服技術用在眼手配置獨立的視覺引導。MCSM不同于麥肯齊和阿金的方法在幾個方面。例如,MCSM使用相同的視覺傳感器導航的移動平臺以及機械手的定位。同時,MCSM視覺控制方法是基于一種開環(huán)的方法而不是閉環(huán)視覺伺服技術。過閉環(huán)視覺伺服技術開環(huán)方法的優(yōu)點在[19]中討論。Tsakiris，Rives, and Samson 提出視覺導向移動機械手還可根據(jù)視覺伺服技術[20]。機械手-眼的視覺系統(tǒng)配置引導移動機器人和其搭載的多自由度機械手。他們研究的目標是發(fā)明的方法實現(xiàn)非完整基礎穩(wěn)定姿態(tài)控制以及機械手安裝攝像頭，實現(xiàn)完整的自由度的增加定位的相機。除了在開環(huán)和閉環(huán)控制的區(qū)別，他們的系統(tǒng)只使用一個攝像頭安裝在手眼配置而擴大系統(tǒng)使用至少兩攝像機也安裝在機械手。 3 以MCSM作為標準CSM的延伸 標準CSM中發(fā)揮著不可或缺的作用,MCSM叉車系統(tǒng)的一個子系統(tǒng)。而在[5,6]中給出標準CSM的一個更完整的描述，它以了解MCSM叉車系統(tǒng)來討論某些基本的CSM原理是很重要的。本節(jié)的第一部分發(fā)展CSM是用來控制純粹的完整系統(tǒng)。本節(jié)的第二部分闡述如何規(guī)范CSM已被用來模擬叉車移動機械手的控制。 3.1 CSM完整約束的標準 在典型的實現(xiàn)標準控制完整操縱者CSM使用CSM相隔相機距離機器人遠程控制。CSM的作品估計參考系的關系之間的每個相機像平面的外觀視覺特性位于內部的機械手關節(jié)機器人的配置。f,這種關系是基于直角的相機模型[21]和描述一組視圖參數(shù)給出的C =[C1，C2... ,C6]： XC= X（C，?）=（C2 2 2 21 + C2 + C3+ C4）×（?）+ 2（C2C3+ C1?C4）Y（?） + 2（C2C4 - C1C3）Z（?）+ C5 YC= FY（C，?）= 2（C2C3 - C1?C4）X（?） （1） 2 2 2 2 +（C1 - C2 + C3 - C4）Y（?）+ 2（C2C4+ C1C3）Z（?）+ C6 其中，（XC，YC）是在鏡頭之一?的參考幀中的位置是在操縱器的姿態(tài)（參照圖2的坐標系的定義）。操縱他的位置上的一個點測量相對于(X,Y,Z)坐標系是固定的機械手可以看到在圖2中。它依賴于機器人的標稱運動學模型及其相應的姿勢，?。基于樣本對的機器人內部關節(jié)配置和機械臂的空間位置的機械手功能的估計參數(shù)估計。 Γ = xck ? f (C, ?).+ .yck ? fy(C, ?).Wk (2) 圖2所示 為機器人和攝像機坐標系統(tǒng)定義 以上所有的C提供了必要的條件的最小化來求解每個攝像機的六個視圖參數(shù)。在式（2）SN表示聯(lián)合空間/相機空間樣本的總數(shù)。式的（2）工作是一個相對的權重因子，使系統(tǒng)將有較高的相對重量獲得近感興趣的特別區(qū)域的樣本。當所有的樣品是加權平均，例如在初始化的視圖參數(shù)，Wk = 1。當機械臂接近它的目標進樣的樣品可能被分配一個重量為 Wk = 10 or Wk = 20或者一些其他重量高于從目前的姿態(tài)獲得更遙遠的樣本。權重數(shù)據(jù),使系統(tǒng)更準確在這個權重區(qū)域聯(lián)合和相機空間。 而CSM使用正交相機模型和機器人的標稱運動學模型，但它仍然可以如實指出CSM，因此MCSM為好，是一個免費的校準方法。造成這種情況的原因來自于估計使用的事實，系統(tǒng)自動將所描述的方程的關系（1），他們在操作本地區(qū)工作。換句話說，方程（1）可以如果視圖參數(shù)的建立和保持固定的校準關系描述。然而，這些視圖參數(shù)經常變化，通過更新與新的視覺信息或簡單地通過扭曲信息用來估計他們這樣的關系由式（1）所持有的局部區(qū)域的關節(jié)空間和相機的空間操作。由于定位的測量是在同一個參考幀進行（那些參與相機）CSM彌補正交相機模型的不足之處以及在機器人的運動學模型的不準確。即使系統(tǒng)的運動是一個給定的操作改變時（比如關節(jié)是由它所攜帶的負載偏轉）CSM可以通過簡單地獲取更多的聯(lián)合空間相機空間樣本補償。實驗結果表明這種能力是在[ 3 ]。 此外，“平坦化”已經開發(fā)了一種稱為進程通過校正所述正交相機模型的不足之處，以增加在CSM / MCSM系統(tǒng)的精度。平坦化使用正交相機模型參數(shù)，在圖機器人參考幀，（X，Y，Z）之間的距離的粗略估計如圖2，和攝像機的參考幀，（X 1，Y1，Z1）和圖（X 2，Y2，Z 2）如圖2，為了獲得相同的結果將已經通過使用更精確的實現(xiàn)“針孔”攝像機模型（見[7]更詳細）。 3.2非完整的CSM 所謂的“非完整CSM”標準CSM的形式已被用來控制一個小型的移動機械手，一個“模擬叉車”，即能夠配合一個小托盤[8,9]。MCSM被開發(fā)來，部分地克服了一些限制，并使用這種形式的CSM來控制移動機械臂的缺點。CMS需要一組相對于移動機械手系統(tǒng)的固定是攝像機。這嚴重限制了一個移動通信系統(tǒng)的工作區(qū)，并使得使用CSM的不切實際的托板接合的任務由工業(yè)叉車。CSM的需要進行靜止攝像機產生其他并發(fā)癥如降低照相機分辨率系統(tǒng)從相機進一步移動，系統(tǒng)本身阻礙相機（多個）的圖，和維護遠程攝像機和移動車輛之間的通信的可能性。他們之間物理的關系,3 D機械手的位置特性和相應的攝像機空間位置描述在Eq.(1)現(xiàn)在取決于完整自由度的機械手和非完整移動基地的自由度。 3.3介紹MCSM MCSM保留CSM的優(yōu)勢而刪除的限制和缺點使用CSM控制移動機械手。MCSM允許將攝像機安裝在移動平臺上。與MCSM物理之間的關系,3 D機械手的位置特性和相應的攝像機空間位置如Eq(1)所示，是相當完整的,而標準CSM的關系取決于完整和不完整的自由度。這有幾個好處。首先,查看參數(shù)可以找到沒有數(shù)值積分的微分關系。這簡化了查看參數(shù)估計過程和除了降低計算成本的軌跡更新過程。完整信息和不完整信息的分離估計模型中增加視圖參數(shù)估計的準確性。由于如從非完整狗車輪滑移和數(shù)值的估計誤差，信息問題往往是少得多準確且比從下完整的狗的信息不可靠。與標準的CSM，查看參數(shù)估計的準確度，因此，系統(tǒng)的整體精度取決于相對不精確非完整的信息。相比之下MCSM系統(tǒng)的整體精度不受任何非完整的誤差。 MCSM系統(tǒng)中攝像機位置不清楚相對于系統(tǒng)的其余部分也沒有彼此。系統(tǒng)大范圍執(zhí)行同樣的相機位置。位置和取向也發(fā)生了顯著變化?？梢暬瘮?shù)據(jù)獲得,每個相機的系統(tǒng)適應當前位置。相比之下,校準機器人視覺系統(tǒng)指導要求相機的位置和姿態(tài)是相對于彼此以及相對于機器人(見例如[22、23]校準視覺系統(tǒng)的例子)。隨著校準系統(tǒng)的降解會顯著降低系統(tǒng)的定位精度。外部因素,如振動、熱梯度或物理損壞系統(tǒng)很容易造成系統(tǒng)的校準。如果一個校準的視覺系統(tǒng)被用來控制一個典型的工業(yè)叉車，它將是困難的，如果不是不可能的校準。 4 叉車原型 本節(jié)簡要描述叉車MCSM原型用于開發(fā)和測試。使用Crown SC系列三輪電動叉車的負載能力3200磅和垂直達到24英尺收購作為原型。為了使用MCSM控制叉車,相機必須被添加到系統(tǒng)和叉車必須修改使計算機控制的執(zhí)行機構。圖1顯示了叉車之前和之后的改造。一對住房的計算機和控制平臺是建立在叉車倉頂部。運行該系統(tǒng)的計算機具有450 MHz的賽揚處理器，運行Windows NT 4.0的。一個Acroloop80008軸運動控制與突破開箱卡控制所有執(zhí)行器的運動，讀取所有的模擬反饋裝置，并控制多種輸入/輸出通道。索尼XC-75相機廣角鏡頭被控制使用兩個Imagenation PX-610 圖像采集卡的640×480像素各有分辨率。Sony IDC（工業(yè)設備公司）的直線執(zhí)行器使用 控制叉車的各種功能。五個的三個用于移動控制在垂直，側移車叉的運動叉車液壓閥，和傾斜角度的方向。一個線性致動器用于接合促進劑，則其他接合制動。這五個線性執(zhí)行器供電，DC電源和科普利放大器。用步電機來控制方向盤的角度。除了這些執(zhí)行器，有三個模擬反饋裝置，用于系統(tǒng)。這兩個設備便士+吉爾斯控制公司的線性電位器，使反饋對于側移位置的叉以及?？怂鼓壳暗膬A斜角度。第三模擬反饋裝置是UniMeasure線性位置傳感器，Inc.。該設備給出了系統(tǒng)反饋的垂直位置的叉。光學編碼器是通過滾動接觸的2個驅動輪上安裝。這些系統(tǒng)反饋精確地如何驅動輪已移動。假設無滑移，此信息可用于在一個數(shù)值積分計劃，以確定的路徑，叉車已經走過。 鏟車的計算機控制分為三類：車叉位置的控制，叉車速度的控制，并且叉車轉向的控制。結合PID控制規(guī)律的運動控制程序在其自己的語言，雜技的Acroloop控制器寫。通過實驗已確定該計算機系統(tǒng)能夠控制車叉的位置，以在1個中，這精度是這個特定的叉車原型系統(tǒng)的功能，而不是MCSM的或的限制MCSM一般在叉車上實現(xiàn)。 （MCSM在[3]用于實現(xiàn)七次的移動操縱器比在1。這里報告的定位更精確。） 而且，通過實驗已確定，有在轉向系統(tǒng)“播放”一個顯著量。而轉向馬達的位置和方向盤的位置之間存在的標稱關系（有車輪角沒有直接的反饋），它被判斷為存在的標稱目標位置之間達播放10?轉向角和有效的轉向角。它有可能使用的信息，從安裝在該驅動車輪的光學編碼器，以找到有效的轉向角的運動已經開始之后。使用此信息，修正例程加到Acroloop操舵方案中，提高了系統(tǒng)的轉向的精度的努力。作為叉車移動，它監(jiān)視有效的轉向角，它比較所希望的轉向角，向轉向馬達問題更正。此過程進行更詳細的5.5節(jié)中所述。認識到這個原型將不適用于實際工業(yè)使用。例如,連接暴露,這將是非常危險的,如果在正常的工業(yè)操作條件下操作。同時,該系統(tǒng)目前在速度有限。這是由于主要的硬件選擇原型的不足。而不適用于實際工業(yè)在其當前狀態(tài)，使用叉車原型應該有的放矢展示視覺引導效果的方法。 叉車原型的示意圖在圖中給出。 3.叉的三個中完整的狗的特征在于θV為垂直方向，θS為側移運動，和θT為傾斜的角度。兩個驅動輪的角位置分別為θ1，θ2。叉車的后輪的轉向角被表示為γ。的角θt，θ1，θ2，和γ以弧度測量和數(shù)量θV和θs的以英寸測量。從后方向盤和前軸的距離，其中da=52.25中表示為大。兩個驅動輪之間的一半長度被表示為分貝其中db= 17.45英寸從前軸到叉的端部的距離為DF分別自由度=在56.0被表示。驅動輪的半徑表示為R，其中R=6.66英寸值得注意的是重要的（XT ，YT，ZT）坐標系統(tǒng)中，如圖所示3，在叉之間的中間位于和與叉行進。 在（XW，YW，度Zw）坐標系是兩個前輪之間的固定中間。有可能從（XT，YT，ZT）坐標系到（XW，YW，度Zw）使用正向運動學坐標系變換的任何點： Xw(?) = (cos θt ? 0.01 sin θt )Xt ? (0.01 cos θt + sin θt )Zt+ 59.41 cos θt + (6.28 ? θv) sin θt ? 3.41 Yw(?) = Yt + θs Zw(?) = (sin θt + 0.01 cos θt )Xt + (cos θt ? 0.01 sin θt )Zt + 59.41 sin θt + (θv ? 6.28) cos θt + 0.8 where ? = (θv, θs, θt ). The functions Xw(?), Yw(?), 和ZW（?）對應的位置向量函數(shù)X（?），Y(?)，and Z(?) 應用于 式（1）。應當指出的是，描述的系統(tǒng)的物理布局的幾個參數(shù)已合并為等式的數(shù)值常數(shù)。 式（3）簡單列出。 圖3 頂部和側面叉車意見原型示意圖 5 MCSM叉車原型實現(xiàn) MCSM的任務是在叉車上實現(xiàn)當定位托盤的原型是一個簡單的嚙合。參與戰(zhàn)略的托盤MCSM算法分解如下。第一個任務是托盤的視覺識別。視覺識別的兩種方法進行了討論。一旦托盤被確定相機空間目標的產生。這些目標是用來解決三叉自由必要安裝托盤。此外，目標是用來創(chuàng)建一個軌跡的叉車跟隨。隨著叉車走向目標,獲得更多的視覺樣本。目標,隨后,目標叉姿態(tài)和軌跡更新與新的信息可用新圖像的采集和處理。還,系統(tǒng)創(chuàng)建一個新的名義軌跡當它檢測到它未能跟蹤理想軌跡有足夠的精度,以確保托盤嚙合。 圖4所示 托盤與基準點放置 5.1托盤識別 托盤的鑒定的最有效和可靠的方法是將上，簡化了托板的視覺識別托板本身的功能（也稱為基準點）。用于該項目的基準采取同心黑色和白色圓圈的形狀。如示于圖4三個這樣的基準點放置在每個托盤：白色為中心基準，中間和上托盤兩側的兩個黑色為中心基準。叉車系統(tǒng)能夠識別貨盤，如果它可以找到白色為中心基準，并在它的兩個攝像機的至少黑色為中心基準之一。雖然這是一個有點讓步，以對，而不是使用調色板自然特征托盤基準，應該指出的是，這不一定是不合理的，也不昂貴的命題。許多倉儲業(yè)務購機定制托盤，以滿足他們的特殊需求。這將是比較簡單的，使定制托盤基準一部分。 YSI討論了這種可能性有托盤制造商誰表明，添加類似于我們的實驗采用定制托盤的基準點是相當簡單，不會抬高托盤的成本顯著。 作者只使用天然功能闡述了MCSM不被需要基準被放置在托盤限制的目的而開發(fā)的托盤recog- nition的簡單方法。 （另一種自然的特征recogni-化方法， 提出了通過上述內容[10]。我們的方法使用一個標準庫的邊緣檢測[24]。 圖5示出了托盤本身的一個圖像，并在它旁邊的邊緣檢測例程中發(fā)現(xiàn)的邊緣。該系統(tǒng)首先查找邊緣段ments具有某個最小長度。這方面的例子可圖的左側圖像中看到。 6，其中白線表示發(fā)現(xiàn)邊緣段。通過一系列的匹配測試它試圖認為實際上是相同的連續(xù)生產線的一部分的段結合起來（參照圖6的中間圖像）。最后，該系統(tǒng)識別該貨盤的下邊緣（見圖右圖像6）。這是基于四個條件進行：（1）直接位于下部托邊緣上方的線本身的最小長度，和（2）大致相同的斜率和（3）相同的長度（4）的另一上邊緣的存在。圖7顯示了下托板邊緣開始于角落1和運行到拐角處2的草圖。 圖5 照片在托盤上的照片托盤和邊緣檢測運行 圖6確定下托盤邊緣圖像序列 圖7素描托盤通過自然特征檢測位于關鍵點 雖然這種算法是簡單的，它沒有起到示范MCSM的識別托盤，而不依賴于人工基準能力的目的。為了在工業(yè)環(huán)境中使用MCSM方法，無需基準這一自然特點識別托盤將日常必須作出更強勁。 5.2 目標定義 一旦托盤已在以約所必需的軌跡生成托盤信息拍攝的圖像被確定：托盤中點和托盤載體（既可以看到的圖8的右側）。無論托盤識別所采用的方法，它是必要找到托盤中間點的位置，并在托盤向量（Xw，Yw，，Zw）的坐標系。 在過程中的這一點上，假定系統(tǒng)已經建立了使用從聯(lián)合空間/攝像機空間樣品使用視圖參數(shù)獲得信息，在各攝像機視圖參數(shù)和等式所描述的關系。（1）它是能夠估計在（Xw，Yw，Zw）參考幀中的托盤中點位置。 Γ2 = x j? f (C j , , , ).2,d =Xw?Xw)2 + (Yw?Yw)2 + (Zw?Zw )2c + ycm?fy(C , Xwm , Ywm , Zwm )Wj (4) 這是通過整體最小化（Zwm，Zwm，Zwm）來完成。變量n表示的攝像機的數(shù)量，這在目前的叉車系統(tǒng)的情況下是二。應當指出的是MCSM并不限于兩個攝像機操作;它可以從盡可能多的攝像機采用的信息是在系統(tǒng)中存在。類似方程周。式（2）Wj為相對加權因子。在實踐中，WJ始終設置為1。然而，如果兩個以上的相機在場它可以改變，或者如果它被稱為該信息從一個或另一個相機不準確，因此應被解加權。 對于基準輔助托盤識別過程托盤矢量計算如下?？紤]這兩個白為中心基準，位于其左側的黑為中心基準在托盤識別階段被確定的情況。白為中心的基準的位置是一樣的托盤中點（Zwm，Zwm，Zwm）。左側的位置，黑 - 中心基準，使用相同的處理托盤矢量發(fā)現(xiàn)，PV然后通過找到：Xbl , Ybl , Zbl )。托盤的向量，P?V是通過： dP?v =(Xwbl ? Xwm ) + (Ywbl ? Ywm ) + (Zwbl ? Zwm ) P?V =++ （5） 對于自然景物的托盤識別過程的情況下，托盤中間點計算如下。使用方程類似的形式。 （4），可以發(fā)現(xiàn)在（Xw，Yw，度Zw）參考幀中的兩個角點的位置：（Xw p1，Ywp1，度Zw p1）和（Xwc p2，Ywcp2，Zwcp2）。然后，托盤中點，（Xwm，Ywm，Zwm）被發(fā)現(xiàn)： (6) 應當指出的是，托盤中點的Z分量位于大約3。上述下部托邊緣。 托盤載體以類似的方式為前值： (7) 圖8所示 叉車托盤接觸軌跡 圖9 錯誤跟蹤理想的多項式軌跡 5.3解決叉車自由度 他分段將審查所需的步驟來確定一個合適的姿勢三個叉自由度,使叉車進行托盤。首先假定托盤放置在平面上平行于地面。這是一個合理的假設大多數(shù)倉庫地板以及托盤架相對水平。因此,叉子的傾角設置為θt = 0。下一個叉的垂直位置是只需要決定用這個叉與托盤中點。因此,θv = Zwm。sideshift叉的位置也必須解決。開始時的軌跡,這一立場是θs = 0。理論上,轉向和驅動輪應足以線叉與適當?shù)陌l(fā)生在軌跡跟蹤過程的一部分。在此情況下，叉的側移位置被發(fā)現(xiàn)為θs的= YWM。它應該指出的是叉的側移軸可以通過一個范圍為約7英寸移動。 5.4軌跡生成 對于軌跡生成方法類似于在[25]開發(fā)的方法。該系統(tǒng)利用五階多項式的生成用于叉車的適當軌跡跟隨將定位并正確對齊叉車托盤接合： Yw = a+ a Xw+ aXw+ aX w + aXw + aXw 角φ和γ(如圖8所示),由:多項式相關： （9） 以下六個條件用于解決多項式函數(shù)的參數(shù)。前三個條件是簡單的初始條件是當Xw=0：Yw = 0,φ= 0,γ=γi （10） 最初的轉向角,γi,不一定等于零。這是由于這樣的事實:新的軌跡計劃隨著叉車托盤和獲得更多的視覺信息。初的軌跡很可能轉向角不為零,但一些已知數(shù)量標記,γi。最后的位置和姿態(tài)進行所需的叉車托盤滿足兩個條件。第四個條件是基于當?shù)淖罱K位置Xw = Xwm ? d f : Yw = Ywm 在d f是圖3所示。第五個條件是最終的方向。這是寫成當Xw = Xwm?d f: φ=φf = ds cos (11) 參數(shù)，DS，僅僅是用于獲取φF中的正確的符號。 如果Xwbl-Xwm>0，則d=－1，否則d= 1。注意，叉車是在最后的位置中示出的Y方向，圖9是完全與圖1所示的托盤矢量對齊如圖8所示。 第六個條件是由規(guī)定，叉車必須對托盤的最終辦法，幾乎是直線滿足。圖8示出了叉車在其中的軌跡的最后段是一個幾乎直線的方法的軌跡。這減少了轉動的叉車必須在軌跡，這增加了系統(tǒng)的接合精度的端部進行的量。這個條件是寫成: (13) 由于與五階多項式籌辦相關聯(lián)的限制條件的叉車有時必須經過在狹小的空間急劇轉向的變化。已通過實驗確定，如叉車越接近托板，它有可能使用三階多項式籌辦代替第五順序之一。低階多項式籌辦通常減少了在轉向角突然和大的變化的量。這兩個限制移除的三階多項式規(guī)劃條件四個和六個指方程式(11)和(13)。由于除去的條件四叉車可以不結束在Yw方向完全一致，但方向是正確的。在此情況下，叉的側移自由度可以用來糾正這種錯位。 5.5視覺更新與軌跡校正 當叉車朝托盤移動時，系統(tǒng)會更新它的軌跡。這些更新可能是由于傳入的視覺信息，或通過制定一個路徑跟蹤誤差在指定的公差。從驅動輪編碼器的運動的叉車的運動方程被用來跟蹤的實際運動，叉車已經發(fā)生。這是根據(jù)在[ 26 ]的發(fā)展基礎上進行的。 首先，參數(shù)，α和U，正在使用的兩個前輪角位置計算知識，θ1和θ2: (14) 運動方程,基于不完整約束,可以寫成: (15) 其中，叉車的取向角度，φ，示于圖8和輪半徑R，參數(shù)，db，示于圖3,實際位置和方向，（XA，YA，φA）是相對于（XW，YW，度Zw）坐標系告誡測量的，直到軌跡更新（XW，YW，度Zw）的起源仍固定即使實際叉車系統(tǒng)處于運動。 作為叉車向前移動一個小的距離，叉車的當前位置是使用一個簡單的數(shù)字積分運動的這些方程的近似： Xai +1 = Xai + 6αRcosφai Yai +1 = Yai + 6αR sinφai (16) (17) 在 使用叉車的實際位置和方向是可能的確定提供了理想多項式軌跡的跟蹤錯誤。有使用的兩個誤差分量：垂直于多項式，En，并在取向錯誤，Eφ圖8和圖9示出叉車的在參考前軸到理想多項式軌跡?；诿抗墒找娴膶嶋H位置。（16）和（17）被表示為（Xa，Ya，φα）。 該點的X-component在沿軸繪制的線相交的理想多項式表示為，Xp。該交叉點能夠與僅需要三個迭代簡單迭代過程來近似。這種幾何基礎基于[27]討論的原因。一旦Xp中是已知的Yp的值被發(fā)現(xiàn)等同于式（8）。然后，垂直于路徑的誤差的計算公式為： （18） 在點叉車的理想取向，（X p，Yp）被表示，φP，并利用方程（9）計算。錯誤的定位是: Eφ = φa ? φp （19） 有三個指標，這將導致該系統(tǒng)更新其軌跡。首先是簡單的距離。如果實際行駛距離，Xa，增長超過設定量（通常為20英寸），該系統(tǒng)將開始一個軌道的更新。如果錯誤垂直于多項式，En，其公差（通常為3英寸）以上的增加，則系統(tǒng)也將更新。如果方向錯誤，Eφ，增長超過其耐受性（通常5?）系統(tǒng)將更新它的軌跡。 要創(chuàng)建一個更新的軌跡規(guī)劃，系統(tǒng)首先嘗試識別使用其視覺傳感器托盤。如果可以時，系統(tǒng)更新基于該新的托盤信息的軌跡。在為了具有叉車接近托盤具有適當取向一些實例中，原軌跡要求叉車在軌跡的開始打開從托盤離開。在周期中，當鏟車從托盤轉身離開它不可能執(zhí)行視覺更新。當這種情況發(fā)生時，系統(tǒng)使用實際叉車運動的歷史創(chuàng)建新的軌道計劃，其中糾正發(fā)生的錯誤。 鏟車以這種方式繼續(xù)更新的軌跡，直到它到達與適當?shù)膶实淖罱K位置。然后，叉車移動直行根據(jù)它的叉的長度的固定的距離，以接合托盤。 應當注意的是，有一些是用來增加該系統(tǒng)的精度另外兩個因素。第一個因素是固有MCSM的方法。當叉朝最后的姿勢動，構成必要搞托盤，額外的視頻樣本可能變得可用。這些樣品可以用公式（2）來更新視圖參數(shù)、傾斜式的關系（1）在關節(jié)和相機空間的局部區(qū)域更準確。與更新后的視圖參數(shù)時，系統(tǒng)更新其托盤中點的位置，并在托盤矢量的估計。與關于貨盤已更新的信息時，有時需要更新目標軌跡。 用來增加該系統(tǒng)的精度的第二個因素具有與該特定叉車系統(tǒng)的轉向角，γ。通過實驗已經確定存在是約10度的轉向角“播放”。與此大量的“播放”，則可能的是，指令轉向角可基本上從有效的轉向角不同。這種差異會導En和Eφ相當迅速成長。從車輪旋轉，θ1的實際歷史和θ2信息有可能通過來估計當前有效的轉向角： （20） 圖10 嚙合叉車托盤 如果該數(shù)量從當前指令轉向角基本上不同，則系統(tǒng)在試圖關閉有效和指令轉向角之間的差發(fā)出一個小的修正。應當強調的是，這種差異是不MCSM的固有品質，但用于測試的當前原型叉車的機械限制。 6 實驗結論 兩種類型的測試托盤接合進行運行：一個僅使用托盤的自然特征貨盤上的基準點和其他。圖10示出叉車的多張圖片進行典型的托盤接合實驗貨盤上的基準點。對于托板接合任務的目的，成功通過實現(xiàn)托板接合測定。對于MCSM系統(tǒng)的精確度的更詳細的分析，參見[3]。 對于使用的托盤的基準點的一系列100測試運行的情況下進行了。這些測試的初始叉車位置所需的托盤是鑒于兩者的叉車攝像機。相對于從約6英尺變化以在Xw方向12英尺叉車貨盤的初始位置（參照圖3），-3英尺在Yw方向3英尺，并在度Zw方向0-4英尺。Xw中托盤的初始角度 Yw相對面從大致改變叉車-20?到20?。叉車成功地嚙合托盤中的100次試驗的98。在兩次不成功的測試后，系統(tǒng)會自動檢測到它無法找到托盤和停止本身等待援助。在試驗的約20％的叉車無法接合在其第一次嘗試托盤。一旦系統(tǒng)確定它太接近貨盤，以便校正其最終位置和/或方向它備份自動給自身足夠的空間來執(zhí)行新的軌跡。誤差的主要來源，從而導致系統(tǒng)具有備份是在轉向角的“播放”。 一系列的試驗，進行了使用天然特征托盤識別過程，而不是在貨盤上的基準點，以證明MCSM并不限于使用人工設有為視覺識別和貨盤的接合。然而，應該指出的是，為了使自然特征例程成功地識別所期望的托盤圍繞該托盤的環(huán)境被清除可能已經“混淆”算法其他托盤或對象。在這些測試中，該系統(tǒng)成功地在13個試驗中成功地進行了11次試驗。雖然自然特征算法將要做得更強大，在實際的工業(yè)環(huán)境中使用，這些測試表明，該系統(tǒng)是能夠使用的托盤，只使用它們的自然特征。 結論 我們已經提出了一個原型視力不佳引導叉車系統(tǒng)的開發(fā)托盤的自動參與。這個系統(tǒng)用的移動攝像機空間操縱（MCSM），其最初開發(fā)用于與行星探索流動站使用的視覺引導方法控制。 MCSM能夠實現(xiàn)在定位高水平的精確度和定向移動機械臂的機器人如漫游者或在本文中的改性，計算機控制的叉車的情況進行說明。它實現(xiàn)這種精度不依賴于攝像機標定。 MCSM超過標準的攝像機空間操作（CSM）一個顯著的進步。它使移動系統(tǒng)板載其攜帶的相機，而CSM所需的相機是靜止的。除了去除引起的靜止攝像機的要求在工作區(qū)的限制 - 一個限制，使CSM不切實際用于工業(yè)叉車系統(tǒng)的控制 - MCSM系統(tǒng)的攜帶攝像機板載解決如減少相機的分辨率的其他潛在問題的能力，由系統(tǒng)本身的目標視覺阻礙，并需要維持所述相機和移動系統(tǒng)之間可靠和穩(wěn)定的通信。此外，MCSM的估算模型不會受到來自非完整自由度的相對不準確的信息作為與CSM系統(tǒng)的情況下實現(xiàn)的。 這種技術的叉車類型的系統(tǒng)的發(fā)展可促進本領域的當前狀態(tài)中的材料處理兩種不同的方式。首先，該技術可以被添加到市售的AGV材料處理系統(tǒng)。這將使AGV系統(tǒng)以接合基于其實際位置的托盤，而不是在假定它們位于1厘米先前記錄的位置的內接合托盤的現(xiàn)行做法。這也將得到的AGV系統(tǒng)的執(zhí)行任務的能力，如tractor-拖車卸載地方是不可能知道的托盤先驗的位置。這里開發(fā)的技術也可以被加入到標準的工業(yè)叉車創(chuàng)造一個“半自治'叉車。叉車操作者仍然必須導航通過倉庫叉車和使托盤鑒于叉車的攝像機的任務。然后，MCSM將執(zhí)行托盤的最終定位和嚙合。這種技術的潛在可能減少發(fā)生在涉及托板接合和產品的運輸叉車意外損壞產品的量。 本文介紹了一個實際的原型系統(tǒng)，叉車和兩種托盤參與實驗。隨著放置在托盤的視覺識別基準的協(xié)助下，原型系統(tǒng)能夠自動托盤參與中進行的實驗的98％。粗略算法的開發(fā)是為了使系統(tǒng)能夠自動檢測和接合托盤，而不需要人工功能。 在本文所提出的技術，將進一步在幾個方向進行開發(fā)。首先，在努力給作者打算繼續(xù)在使系統(tǒng)通過增加可靠性接近100％越好更健壯的工作的技術商業(yè)化。筆者也希望，以適應高達到應用的方法和系統(tǒng)。工作目前正在進行開發(fā)多個移動操縱器的合作的框架，其中至少有一個將使用MCSM方法來控制。協(xié)同控制的初步發(fā)展包括測試在本文中具有體積小，高精度的月球車提出合作叉車系統(tǒng)。 致謝 筆者想通過合同SBIR計劃第一階段合同NAS8-98170和II期NAS3-99131，尤其是我們的技術監(jiān)控，Eric Baumgartner,，我們的SBIR協(xié)調員Patricia MacGuire，感謝美國宇航局噴氣推進實驗室的支持這項技術的發(fā)展。作者還感謝圣母大學的Steven Skaar，Automation Solutions有限公司的Bob Emery, Hal Ulrich, Loren Shaum 和卡耐基梅隆大學的Sanjiv Singh對自己在第二階段合同的順利完成提供援助。 參考文獻 [1] G.A. Castleberry, The AGV Handbook, Braun-Brumfield, Inc., 1991. [2] MHIA Elessons on Automatic Guided Vehicle Systems, http://www.mhia.org/psc/PSC Products GuidedVehicle elessons.cfm. [3] M. Seelinger, J.-D. Yoder, E.T. Baumgartner, S.B. Skaar, High-precision visual control of mobile manipulators, IEEE Transactions on Robotics and Automation 18 (6) (2002) 957–965. [4] H. Seraji, Configuration control of rover-mounted manipulators, in:Proceedings of IEEE Intl. Conf. on Robotics and Automation, 1995, pp. 2261– 2266. [5] S.B. Skaar, W.H. Brockman, R. Hanson, Camera space manipulation, International Journal of Robotics Research 6 (4) (1987) 20–32. [6] S.B. Skaar, W.H. Brockman, W.S. Jang, Three dimensional camera space manipulation, International Journal of Robotics Research 9 (4) (1990) 22–39. [7] E.J. Gonzalez-Galvan, S.B. Skaar, U.A. Korde, W.Z. Chen, Application of a precision enhancing measure in 3-d rigid-body positioning using camera-space manipulation, International Journal of Robotics Research 16 (2) (1997) 240–257. [8] S.B. Skaar, I. Yalda-Mooshabad, W.H. Brockman, Nonholonomic camera-space manipulation, IEEE Transactions on Robotics and Automation 8 (4) (1992) 464– 479. [9] R.K. Miller, D.G. Stewart, H. Brockman, S.B. Skaar, A camera space control system for an automated forklift, IEEE Transactions on Robotics and Automation 10 (5) (1994) 710–716. [10] J. Page`s, X. Armangue′, J. Salvi, J. Freixenet, J. Mart′?, A computer vision system for autonomous forklift vehicles in industrial environments, in: In Proc. of The 9th Mediterranean Conference on Control and Automation MEDS’2001, 2001. [11] A. Kelly, Automated Material Transport System, http://www.rec.ri.cmu.edu/projects/amts/amts.shtml, 2003. [12] AGV Products Homepage, http://www.agvp.com/. [13] Egemin Automation Homepage, http://www.egeminusa.com/.[14]FMC Technologies Homepage, http://www.fmcsgvs.com/. [15] B. Jervis, Webb Company Homepage, http://www.jervisbwebb.com/. [16] R. Pissard-Gibollet, P. Rives, Applying visual servoing techniques to control a mobile hand–eye system, in: Proc. IEEE Intl. Conf. on Robotics and Automation, 1995, pp. 166–171. [17] R. Swain, M. Devy, Motion control using visual servoing and potential fields for a rover-mounted manipulator, in: Proc. IEEE Intl. Conf. on Robotics and Automation, 1999, pp. 2249–2254. [18] D.C. MacKenzie, R.C. Arkin, Behavior-based mobile manipulations for drum sampling, in: Proc. IEEE Intl. Conf. on Robotics and Automation, 1996, pp. 2389–2395. [19] M. Seelinger, S.B. Skaar, M. Robinson, in: D.J. Kriegman, G.D. Hager, A.S. Morse (Eds.), An alternative approach for image-plane control of robots, in: Lecture Notes in Control and Information Sciences: The Confluence of Vision and Control, Springer, London, 1998, pp. 41–65. [20] D. Tsakiris, P. Rives, C. Samson, in: D.J. Kriegman, G.D. Hager,A.S. Morse (Eds.), Extending Visual Servoing Techniques to Nonholo- nomic Mobile Robots, in: Lecture Notes in Control and Information Sci- ences: The Confluence of Vision and Control, Springer, London, 1998, pp. 106–117. [21] B. Horn, Robot Vision, MIT Press, Cambridge, 1986. [22] R. Tsai, An efficient and accurate camera calibration technique for 3d machine vision, in: Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, 1986, pp. 364–374. [23] H. Zhuang, K. Wang, Z. Roth, Simultaneous calibration of a robot and hand-mounted camera, IEEE Transactions on Robotics and Automation 11 (5) (1995) 649–660. [24] S.M. Smith, J.M. Brady, Susan — a new approach to low level image processing, International Journal of Computer Vision 23 (1) (1997) 45–78. [25] D. Shin, S. Singh, J. Lee, Explicit path tracking by autonomous vehicles, Robotica 10 (1992) 539–554. [26] E. Baumgartner, S. Skaar, An autonomous vision-based mobile robot, IEEE Transactions on Automotic Control 39 (3) (1994) 493–502. [27] J.-D. Yoder, E. Baumgartner, S. Skaar, Reference path description for an autonomous wheelchair, in: Proc. IEEE Intl. Conf. on Robotics and Automation, 1994, pp. 2012–2017.