《基于機(jī)器人視覺(jué)的快遞分揀系統(tǒng)設(shè)計(jì)與試驗(yàn)》由會(huì)員分享，可在線閱讀，更多相關(guān)《基于機(jī)器人視覺(jué)的快遞分揀系統(tǒng)設(shè)計(jì)與試驗(yàn)（84頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、 本科畢業(yè)論文（設(shè)計(jì)） 論 文 題 目 ：基于機(jī)器人視覺(jué)的快遞分揀系統(tǒng)設(shè)計(jì)與試驗(yàn) 本科畢業(yè)論文（設(shè)計(jì)）專用 摘 要 隨著電子商務(wù)行業(yè)的發(fā)展，包裹遞送量不斷增加，使傳統(tǒng)的分揀自動(dòng)化機(jī)器人面臨壓 力，并限制了它們跟上需求的能力。作為回應(yīng)，將視覺(jué)智能系統(tǒng)與這些機(jī)器人集成可以提 高效率并降低成本。對(duì)此，本文提出了一種基于機(jī)器視覺(jué)和機(jī)器人技術(shù)的快遞箱自動(dòng)分類 系統(tǒng)，實(shí)現(xiàn)快遞盒的自動(dòng)分揀和分類，可以分揀不同尺寸的快遞盒，提高分揀效率和準(zhǔn)確 性。本文主要研究?jī)?nèi)容主要集中于以下幾個(gè)方面： (1) 研究采用 HALCO

2、N 視覺(jué)軟件獲取快遞箱的深度信息，進(jìn)而提取出快遞箱的長(zhǎng)度、 寬度、高度和體積等信息，并通過(guò)九點(diǎn)標(biāo)定算法和仿射變換得出快遞箱的坐標(biāo)信息，通過(guò) socket 通信將坐標(biāo)信息傳輸給 ABB 機(jī)器人，實(shí)現(xiàn)機(jī)器人的精確抓取和分類。 (2) 實(shí)現(xiàn)對(duì)快遞盒的自動(dòng)分類，編寫一套控制機(jī)器人動(dòng)作的程序，開(kāi)發(fā)相應(yīng)的軟件程 序來(lái)實(shí)現(xiàn)這一目標(biāo)，程序?qū)⒅敢龣C(jī)器人對(duì)快遞盒進(jìn)行自動(dòng)分類。這些程序需要與攝像頭、 傳感器和其他設(shè)備協(xié)調(diào)，以確保分揀操作順利進(jìn)行。 (3) 使用 C#語(yǔ)言開(kāi)發(fā) WinForm 界面，實(shí)現(xiàn)對(duì)整個(gè)快遞分類流程的控制。利用 C#語(yǔ)言 創(chuàng)建 WinForm 接口，用于控制整個(gè)快速分類過(guò)程。讓快遞自動(dòng)分類更

3、簡(jiǎn)單流程化。 使用 ABBIRB1410 型號(hào)的工業(yè)機(jī)器人、工業(yè)相機(jī)、光源、光源控制器、主控電腦等硬 件組成了機(jī)器人分揀系統(tǒng)，提出了一種基于機(jī)器視覺(jué)和機(jī)器人技術(shù)的快遞箱自動(dòng)分類系統(tǒng)， 將視覺(jué)智能系統(tǒng)和機(jī)器人技術(shù)集成，以應(yīng)對(duì)快遞遞送量不斷增加的挑戰(zhàn)。本文的研究成果 可以代替人工進(jìn)行快遞分揀搬運(yùn)，提高快遞盒的自動(dòng)分揀和分類效率和準(zhǔn)確性，具有廣闊 的應(yīng)用前景和市場(chǎng)價(jià)值。 關(guān)鍵詞：機(jī)器視覺(jué)；快遞分揀；工業(yè)機(jī)器人；C#；工作站集成設(shè)計(jì)。 Abstract As the e-commerce industry grows, package delivery volumes

4、are increasing, putting traditional sortation automation robots under pressure and limiting their ability to keep up with demand. In response, integrating visual intelligence systems with these robots could improve efficiency and reduce costs. In this regard, this paper proposes an automatic sor

5、ting system for express boxes based on machine vision and robot technology to realize automatic sorting and classification of express boxes, which can sort express boxes of different sizes and improve sorting efficiency and accuracy.The main research content of this paper mainly focuses on the fol

6、lowing aspects: (1) The study uses the HALCON vision software to obtain the depth information of the express box, and then extracts the length, width, height and volume of the express box, and obtains the coordinate information of the express box through the nine-point calibration algorithm and af

7、fine transformation. The socket communication transmits the coordinate information to the ABB robot to realize the precise grasping and classification of the robot. (2) Realize the automatic classification of express boxes, write a set of programs to control the movement of the robot, and develo

8、p corresponding software programs to achieve this goal. The program will guide the robot to automatically classify the express boxes. These procedures need to be coordinated with cameras, sensors and other equipment to ensure that sorting operations run smoothly. (3) Use C# language to develop

9、 the WinForm interface to realize the control of the entire express classification process. Create a WinForm interface using C# language to control the entire quick classification process. Make the automatic classification of express delivery easier and more streamlined. A robot sorting system

10、is composed of ABB IRB1410 industrial robot, industrial camera, light source, light source controller, main control computer and other hardware, and a express box automatic sorting system based on machine vision and robot technology is proposed. Integrate with robotics to meet the challenge

11、 of increasing express delivery volume. The research results of this paper can replace manual express sorting and handling, improve the efficiency and accuracy of automatic sorting and classification of express boxes, and have broad application prospects and market value. Key words: machine vi

12、sion; Express sorting; industrial robots; C#；Workstation-integrated design. 本科畢業(yè)論文（設(shè)計(jì)）專用 目 錄 1 引 論 1 1.1 研究目的及意義 1 1.2 國(guó)內(nèi)外研究現(xiàn)狀 2 1.3 設(shè)計(jì)的主要內(nèi)容 3 1.4 章節(jié)安排 4 2 機(jī)器人視覺(jué)的快遞分揀系統(tǒng)設(shè)計(jì) 6 2.1 視覺(jué)分揀系統(tǒng)方案設(shè)計(jì) 6 2.2 系統(tǒng)軟硬件集成設(shè)備選型 6 2.3 光學(xué)方案設(shè)計(jì) 12 3 Halcon 視覺(jué)圖像處理 15 3.1 Halcon 視覺(jué)軟件工作總體流程 15 3.

13、2 相機(jī)的標(biāo)定 20 3.3 系統(tǒng)的通信方式 23 3.4 快遞的定位轉(zhuǎn)換 25 4 VS2019 的 WinForm 窗體設(shè)計(jì) 30 4.1 上位機(jī)開(kāi)發(fā)功能要求 30 4.2 以 C#格式導(dǎo)出 Halcon 程序 30 4.3 配置環(huán)境 30 4.4 Winform 界面設(shè)計(jì) 34 4.5 窗體界面的顯示邏輯 35 5 ABB 機(jī)器人路徑算法設(shè)計(jì) 37 5.1 ABB 機(jī)器人工作總體流程 37 5.2 ABB 機(jī)器人 Halcon 通訊設(shè)置 37 5.3 ABB 機(jī)器人離線程序設(shè)定 39 6 工作站聯(lián)合調(diào)試試驗(yàn) 41 6.1 程序調(diào)試 41 6.2

14、 軟件打包發(fā)布 41 7 結(jié) 語(yǔ) 46 參考文獻(xiàn) 47 致 謝 48 附 錄 49 附錄一：Halcon 機(jī)器視覺(jué)算法設(shè)計(jì)及說(shuō)明 49 附錄二：ABB 機(jī)器人詳細(xì)離線程 54 附件三：VS2019 的 WinForm 算法設(shè)計(jì)及說(shuō)明 59 附 圖 79 附圖一：UI 界面圖 79 本科畢業(yè)論文（設(shè)計(jì)）專用 1 引 論 1.1 研究目的及意義 近年來(lái)快遞量的持續(xù)增長(zhǎng)，物流服務(wù)的質(zhì)量和水平仍有待提高。要提高我國(guó)郵政業(yè)的發(fā) 展水平和國(guó)際競(jìng)爭(zhēng)力，必須在郵政業(yè)實(shí)行全面、精細(xì)化的管理。智能分揀系統(tǒng)由物流自動(dòng)化 設(shè)備、信息傳輸、倉(cāng)儲(chǔ)控制、管理系統(tǒng)組成，是快遞

15、物流系統(tǒng)的重要組成部分，也是保障整 個(gè)物流系統(tǒng)高效運(yùn)行的重要基礎(chǔ)設(shè)施。其主要功能包括自動(dòng)揀選、自動(dòng)包裝、自動(dòng)分揀，可 由計(jì)算機(jī)遠(yuǎn)程監(jiān)控或管理。研究快遞物流分揀環(huán)節(jié)自動(dòng)化技術(shù)，可以為郵政行業(yè)的自動(dòng)化生 產(chǎn)提供新技術(shù)、新產(chǎn)品，提高企業(yè)的經(jīng)濟(jì)效益。視覺(jué)識(shí)別技術(shù)是機(jī)器人分揀系統(tǒng)的核心組成 部分，涉及計(jì)算機(jī)采集圖像信息、分析圖像信息、提取有價(jià)值的信息等關(guān)鍵技術(shù)。通過(guò)分析 與研究圖像特征與分類之間的關(guān)系，進(jìn)而獲取目標(biāo)區(qū)域特征信息進(jìn)行識(shí)別和分類，下面是分 揀機(jī)器人正在在進(jìn)行分揀作業(yè)。（圖 1.1） 圖 1.1 產(chǎn)線上的視覺(jué)分揀機(jī)器人 機(jī)器人視覺(jué)作為一種新興技術(shù)，可以應(yīng)用于自動(dòng)化生產(chǎn)領(lǐng)域，用于物體識(shí)別

16、、跟蹤、分 類和計(jì)數(shù)。機(jī)器人視覺(jué)的關(guān)鍵在于實(shí)現(xiàn)物體識(shí)別和定位、跟蹤，并確定目標(biāo)物體的位置和運(yùn) 動(dòng)方向，主要任務(wù)是目標(biāo)對(duì)象檢測(cè)和分割。主要包括：（1）獲取和處理圖像中的顏色、灰度、 紋理等各種信息;（2）對(duì)加工目標(biāo)進(jìn)行分類;（3）對(duì)檢測(cè)到的目標(biāo)對(duì)象進(jìn)行計(jì)數(shù)和識(shí)別等基本 操作。在分揀過(guò)程中，機(jī)器人視覺(jué)不僅可以對(duì)貨物進(jìn)行分揀，還可以對(duì)自動(dòng)分揀系統(tǒng)中各種 傳感器檢測(cè)到的各種產(chǎn)品的規(guī)格和尺寸進(jìn)行準(zhǔn)確判斷和分類。實(shí)現(xiàn)不同產(chǎn)品之間或單個(gè)項(xiàng)目 之間的信息相互傳遞，部門之間的指令和信息傳遞，也需要不同的技術(shù)手段。機(jī)器人視覺(jué)可 以檢測(cè)并自動(dòng)分類不同的產(chǎn)品或相同的產(chǎn)品。它在分揀過(guò)程中起著至關(guān)重要的作用，不僅實(shí) 現(xiàn)了

17、自動(dòng)化物流系統(tǒng)中貨物的分揀功能，而且按照一定的程序和規(guī)則將貨物分揀或運(yùn)輸?shù)街?定位置。 本文設(shè)計(jì)一種可以應(yīng)用于自動(dòng)識(shí)別分揀小物件快遞盒和快速分揀系統(tǒng)。在進(jìn)行貨物分類 處理時(shí)，快遞公司的工作人員將先前已經(jīng)分好相同地區(qū)的商品再進(jìn)行分配，快遞公司的工作 人員將產(chǎn)品放到傳送帶上，經(jīng)過(guò)機(jī)器視覺(jué)識(shí)別器掃描后，將商品放到自動(dòng)運(yùn)輸機(jī)器上，到了 出貨站臺(tái)后自動(dòng)運(yùn)輸機(jī)器會(huì)把托盤升起使機(jī)器上的商品落到出貨口，集中配送。[7] 9 本科畢業(yè)論文（設(shè)計(jì)）專用 通過(guò)對(duì)快遞包裝進(jìn)行圖像采集，采用了圖像處理中常用的閾值分割方法、邊緣檢測(cè)、形 態(tài)學(xué)操作、閾值分割、形態(tài)學(xué)操作以及特征提取方法來(lái)對(duì)包裹和包裝

18、箱進(jìn)行分類識(shí)別。根據(jù) 用戶對(duì)快遞單信息錄入要求，設(shè)計(jì)了一種用于處理快遞數(shù)據(jù)信息并且能對(duì)快遞圖像數(shù)據(jù)信息 進(jìn)行處理的系統(tǒng)模塊；該智能分揀系統(tǒng)可以自動(dòng)識(shí)別單快遞盒和包裝箱等不同類別和不同大 小的物品進(jìn)行分揀； 1.2 國(guó)內(nèi)外研究現(xiàn)狀 自 20 世紀(jì)以來(lái)，快遞行業(yè)飛速發(fā)展，智能物流發(fā)展迅速，國(guó)家政策也在不斷出臺(tái)鼓勵(lì)創(chuàng) 新。國(guó)內(nèi)也在不斷學(xué)習(xí)技術(shù)并進(jìn)行開(kāi)發(fā)，以保證物流行業(yè)的高速發(fā)展。隨著人工智能技術(shù)在 各企業(yè)間的推廣應(yīng)用，機(jī)器人視覺(jué)技術(shù)的發(fā)展也逐步成熟。我國(guó)研究的自主式智能快遞機(jī)器 人系統(tǒng)由三部分組成：控制中心、末端執(zhí)行器、服務(wù)機(jī)器人。機(jī)器人視覺(jué)技術(shù)在各行各業(yè)得 到廣泛應(yīng)用，主要是為了提高生產(chǎn)效率和

19、自動(dòng)化程度，并且能有效避免人為失誤；其次是降 低人工成本、減輕勞動(dòng)強(qiáng)度、實(shí)現(xiàn)機(jī)器換人等特點(diǎn)。隨著人工智能和信息科技的不斷發(fā)展， 機(jī)器人系統(tǒng)被廣泛運(yùn)用于物流、倉(cāng)儲(chǔ)等領(lǐng)域中，目前已有很多優(yōu)秀品牌采用了自主研發(fā)機(jī)器 人來(lái)代替人工對(duì)貨物進(jìn)行分揀作業(yè)。國(guó)內(nèi)快遞行業(yè)正處于快速發(fā)展時(shí)期且各大快遞公司均在 不斷投入大量資金完善設(shè)施設(shè)備。[2] 目前國(guó)內(nèi)已經(jīng)有了許多分揀中心與自動(dòng)化設(shè)備供各大快遞公司使用，并且已經(jīng)取得了良 好成效。隨著人工智能技術(shù)和信息科學(xué)技術(shù)的迅速發(fā)展，機(jī)器人系統(tǒng)可以有效代替人工工作 并降低人力成本；同時(shí)也是對(duì)傳統(tǒng)的機(jī)械化流水線進(jìn)行升級(jí)改造的過(guò)程。近年來(lái)隨著物流行 業(yè)快速發(fā)展使得快遞行業(yè)業(yè)務(wù)

20、量激增而機(jī)器人系統(tǒng)無(wú)法滿足日益增長(zhǎng)的快件數(shù)量所造成的設(shè) 備及人工成本增加是導(dǎo)致我國(guó)快遞分揀中心智能化水平不斷提高的重要原因之一；同時(shí)我國(guó) 物流業(yè)快速發(fā)展、物流業(yè)相關(guān)服務(wù)體系不斷完善也是對(duì)物流行業(yè)轉(zhuǎn)型升級(jí)、提高物流行業(yè)自 動(dòng)化程度起到促進(jìn)作用。目前我國(guó)已經(jīng)有了許多專業(yè)從事物流設(shè)備研發(fā)與生產(chǎn)、運(yùn)營(yíng)管理等 方面工作人員。其中就包括從事機(jī)器人系統(tǒng)研究、開(kāi)發(fā)、制造及技術(shù)服務(wù)等工作人員；同時(shí) 從事機(jī)械自動(dòng)化工程設(shè)計(jì)人員；從事相關(guān)設(shè)備研究及應(yīng)用開(kāi)發(fā)人員以及從事物流企業(yè)相關(guān)從 業(yè)技術(shù)與管理人員等；這些人通常擁有高學(xué)歷和扎實(shí)的專業(yè)技能與技術(shù)經(jīng)驗(yàn)。 與國(guó)外的機(jī)器視覺(jué)和人工智能領(lǐng)域進(jìn)行比較，我們可以對(duì)國(guó)外幾種典型

21、視覺(jué)識(shí)別系統(tǒng)進(jìn) 行分析和應(yīng)用研究： 美國(guó)：Eclipse 公司的自動(dòng)分揀系統(tǒng)（Automatic Segmentation System, ASS），通過(guò)基于圖 像的信息識(shí)別技術(shù)，實(shí)現(xiàn)自動(dòng)分揀和貨物定位。 日本：豐田物流公司的倉(cāng)儲(chǔ)設(shè)備中，利用機(jī)器視覺(jué)識(shí)別系統(tǒng)技術(shù)來(lái)對(duì)分揀出來(lái)的貨物進(jìn) 行分類。 德國(guó)：Deeplearningen 公司通過(guò)計(jì)算機(jī)視覺(jué)識(shí)別系統(tǒng)來(lái)實(shí)現(xiàn)對(duì)貨物的分揀。 法國(guó)：Eclipse 公司使用工業(yè)相機(jī)和機(jī)器視覺(jué)技術(shù)來(lái)實(shí)現(xiàn)貨物的識(shí)別。 澳大利亞：Australian Technology 公司開(kāi)發(fā)出一種可以將計(jì)算機(jī)視覺(jué)技術(shù)與 RFID 相結(jié)合 使用并集成到機(jī)器人揀選中的機(jī)器人

22、系統(tǒng)?？萍级挤奖懔巳藗?nèi)粘Ｉ詈涂爝f行業(yè)的發(fā)展。 盡管國(guó)內(nèi)快遞行業(yè)已經(jīng)取得了一定的成效，但是有些企業(yè)采用的是傳統(tǒng)的人工分揀方式， 成本高、效率低，同時(shí)易出現(xiàn)人為失誤，影響服務(wù)質(zhì)量。所以提高快遞分揀中心的速度，降 低成本，提高服務(wù)質(zhì)量，是快遞行業(yè)需要解決的問(wèn)題。 目前國(guó)內(nèi)的物流企業(yè)已經(jīng)開(kāi)始進(jìn)行自主研發(fā)機(jī)器人快遞系統(tǒng)，例如順豐、圓通、中通等。 這些公司不斷引入新技術(shù)，提高其設(shè)備和機(jī)器人的智能化程度，提高快遞分揀中心的自動(dòng)化 水平。在這些企業(yè)的帶動(dòng)下，中國(guó)快遞業(yè)的自動(dòng)化水平也在不斷提高。 總的來(lái)說(shuō)，隨著人工智能技術(shù)和信息科技的不斷發(fā)展，機(jī)器人系統(tǒng)將在物流、倉(cāng)儲(chǔ)等領(lǐng) 域中被廣泛運(yùn)用，快遞

23、行業(yè)也將會(huì)實(shí)現(xiàn)從人工分揀到機(jī)器人分揀的轉(zhuǎn)變。我國(guó)快遞行業(yè)還需 要不斷加強(qiáng)技術(shù)研發(fā)和人才培養(yǎng)，提高自主創(chuàng)新能力，以適應(yīng)快速發(fā)展的市場(chǎng)需求，推動(dòng)快 遞行業(yè)的轉(zhuǎn)型升級(jí)和可持續(xù)發(fā)展。 1.3 設(shè)計(jì)的主要內(nèi)容 （1）機(jī)器人視覺(jué)快遞分揀系統(tǒng)設(shè)計(jì)與測(cè)試方案，討論研究的目標(biāo)以及對(duì)高效準(zhǔn)確的快遞 包裹分揀系統(tǒng)的需求，為研究所需的實(shí)驗(yàn)工作場(chǎng)景選擇合適的軟硬件設(shè)備，建立工作操作平 臺(tái)，連接系統(tǒng)與集成系統(tǒng)形成整體。設(shè)計(jì)系統(tǒng)的關(guān)鍵部件，包括攝像頭和視覺(jué)分揀一體化的 空間布局，開(kāi)發(fā)可靠高效的系統(tǒng)，可以準(zhǔn)確分揀快遞包裹。 （2）快遞分揀系統(tǒng)光學(xué)平臺(tái)的設(shè)計(jì)與構(gòu)建，確定需要分揀的快遞員的尺寸范圍，選擇合 適的硬件和軟件來(lái)

24、設(shè)計(jì)和構(gòu)建光學(xué)平臺(tái)，選擇光學(xué)載物臺(tái)的三個(gè)主要組成部分：光源、相機(jī) 和鏡頭，再校準(zhǔn)相機(jī)以獲得快遞尺寸和位置的準(zhǔn)確測(cè)量值，確?？爝f可以清晰地成像和提取， 以便在后續(xù)章節(jié)中進(jìn)一步處理。 （3）設(shè)計(jì)基于 HALCON 機(jī)器視覺(jué)的快速定位與抓取算法，描述 Halcon 軟件的整體工作 流程，利用處理圖像的算法提取快遞的深度信息，得到快遞的長(zhǎng)度、寬度和高度，以及快遞 的體積，使用九點(diǎn)標(biāo)定算法獲取快遞的坐標(biāo)點(diǎn)，就可以通過(guò) socket 通信發(fā)送到機(jī)器人的交互 端，實(shí)現(xiàn)快遞盒分揀和快遞盒的定位。 （4）使用 C#作為編程語(yǔ)言工具，編寫基于 Halocn 程序的 VS2019 WinForm 界面設(shè)計(jì) 配置

25、打包 Halocn 程序并配置語(yǔ)言環(huán)境，根據(jù)實(shí)驗(yàn)要求設(shè)計(jì) Winform 界面，控制快遞分揀 全過(guò)程。 （5）快速定位和抓取的機(jī)器人工作流程，詳細(xì)介紹 ABB 機(jī)器人的工作流程，包括機(jī)器 人坐標(biāo)系的建立、機(jī)器人的軌跡規(guī)劃、機(jī)器人的抓取和放置，針對(duì)快遞箱的不同尺寸和重量 調(diào)整機(jī)器人的工作參數(shù)，編寫相應(yīng)的程序來(lái)控制機(jī)器人的動(dòng)作，實(shí)現(xiàn)機(jī)器人的自動(dòng)分類功能， 與攝像頭、傳感器等設(shè)備協(xié)調(diào)，確保機(jī)器人的分揀作業(yè)能夠順利完成。 1.4 章節(jié)安排 圖 1.2 技術(shù)路線流程圖 第一章，首先介紹研究的目的和意義，解釋了該主題的研究方向，通過(guò)研究目的介紹了 機(jī)器人視覺(jué)快遞分類的研

26、究進(jìn)展，并總結(jié)了國(guó)內(nèi)外快遞分類技術(shù)的發(fā)展和實(shí)現(xiàn)方向。 第二章本章主要探討機(jī)器人視覺(jué)快遞分揀系統(tǒng)的設(shè)計(jì)和測(cè)試方案。研究的目標(biāo)是開(kāi)發(fā)一 個(gè)高效準(zhǔn)確的系統(tǒng),能夠快速分揀各種大小和形狀的快遞包裹和遞分揀系統(tǒng)光學(xué)平臺(tái)的設(shè)計(jì)和 構(gòu)建。為了實(shí)現(xiàn)這個(gè)目標(biāo),我們針對(duì)研究所需的實(shí)驗(yàn)工作場(chǎng)景,具體選取了合適的軟硬件設(shè)備。 光學(xué)平臺(tái)是系統(tǒng)的關(guān)鍵組件,因?yàn)樗东@快遞的圖像以進(jìn)行進(jìn)一步處理。為了確保準(zhǔn)確高效的 分揀,我們首先確定需要分揀的快遞的尺寸范圍。根據(jù)實(shí)驗(yàn)的要求,選擇合適的硬件和軟件來(lái)設(shè) 計(jì)和構(gòu)建光學(xué)平臺(tái)。光學(xué)平臺(tái)由三個(gè)主要部件組成：光源、相機(jī)和鏡頭。光源為快遞提供照 明,其選擇對(duì)于最大限度地減少快遞表面的陰影和

27、反射至關(guān)重要。根據(jù)快遞的尺寸、分辨率和 相應(yīng)的視覺(jué)算法選擇相機(jī)。選擇鏡頭以優(yōu)化圖像質(zhì)量,并確保在相機(jī)的視野中準(zhǔn)確捕獲快遞。 選擇硬件后,我們校準(zhǔn)相機(jī)以獲得快遞尺寸和位置的準(zhǔn)確測(cè)量值。校準(zhǔn)過(guò)程包括測(cè)量相機(jī)的固 有和外在參數(shù)并獲得失真系數(shù)。校準(zhǔn)結(jié)果用于校正相機(jī)捕獲的圖像,使其更準(zhǔn)確并適合進(jìn)一步 處理。根據(jù)快遞的高度、分辨率和相應(yīng)的視覺(jué)算法進(jìn)行特殊設(shè)計(jì)。這確保攝像頭能夠捕捉清 晰準(zhǔn)確的快遞圖像,從而基于大小和形狀進(jìn)行精確的分揀。此外,規(guī)劃視覺(jué)分揀集成的空間布局, 以確保系統(tǒng)的效率和準(zhǔn)確性得到優(yōu)化。這包括攝像頭、照明和其他組件的擺放,以確保整個(gè)快 遞分揀過(guò)程順暢無(wú)縫。機(jī)器人視覺(jué)快遞分揀系統(tǒng)的設(shè)計(jì)和測(cè)試

28、方案考慮了實(shí)驗(yàn)的具體需求和 要求,開(kāi)發(fā)出可靠高效的系統(tǒng),能夠準(zhǔn)確地分揀快遞包裹。通過(guò)設(shè)計(jì)和構(gòu)建光學(xué)平臺(tái),我們確?？?以清晰地成像和提取快遞,以便在后續(xù)章節(jié)中進(jìn)一步處理。 第三章，視覺(jué)圖像處理、算法流程、視覺(jué)中標(biāo)定的介紹，基于 HALCON 機(jī)器視覺(jué)的快遞 定位抓取，本研究的主要目的是通過(guò)應(yīng)用圖像處理算法從快遞包裹中提取深度信息。具體來(lái) 說(shuō)，這些算法旨在確定快遞的長(zhǎng)度、寬度和高度，以及其整體體積。有了這些深度信息，系 統(tǒng)就可以利用九點(diǎn)校準(zhǔn)算法和仿射變換來(lái)獲得快車的精確坐標(biāo)。這項(xiàng)工作是自動(dòng)分類和分揀 系統(tǒng)的關(guān)鍵組成部分，對(duì)系統(tǒng)的整體成功至關(guān)重要。 第四章，基于 Halocn 程序進(jìn)行

29、 VS2019 的 WinForm 窗體設(shè)計(jì)。該設(shè)計(jì)主要以 C#作為編 程語(yǔ)言工具。概述了自動(dòng)分類和排序系統(tǒng)中窗體設(shè)計(jì)開(kāi)發(fā)的功能要求。它涵蓋了窗體設(shè)計(jì)必 須具備的關(guān)鍵特性和功能，以有效控制和監(jiān)視系統(tǒng)的運(yùn)行。介紹了以 C#格式導(dǎo)出 HALCON 程序的過(guò)程。這是開(kāi)發(fā) WinForm 接口的關(guān)鍵步驟，因?yàn)樗С謱?HALCON 程序與接口的 C# 代碼集成。還有開(kāi)發(fā) WinForm 接口所需的環(huán)境配置。它涵蓋了軟件和硬件要求，以及必要的 設(shè)置和配置。首先打包好 Halocn 程序，以及配置好語(yǔ)言環(huán)境，再根據(jù)實(shí)驗(yàn)的要求設(shè)計(jì) Wimform 界面，釋界面的顯示邏輯，該邏輯決定了各種組件在屏幕上的顯示方

30、式。本節(jié)涵蓋了管理不 同元素的顯示并確保界面響應(yīng)迅速且用戶友好的代碼。做好控制快遞分揀整個(gè)流程。 第五章，在本章中，將全面介紹 ABB 機(jī)器人的工作流程，包括坐標(biāo)系建立、軌跡規(guī)劃、 抓取和放置等關(guān)鍵步驟。再針對(duì)不同尺寸和重量的快遞箱，將對(duì)機(jī)器人的工作參數(shù)進(jìn)行優(yōu)化， 以實(shí)現(xiàn)最佳分類效果。為實(shí)現(xiàn)機(jī)器人的自動(dòng)分類功能，還將編寫相應(yīng)的程序，控制機(jī)器人的 運(yùn)動(dòng)。在程序設(shè)計(jì)中，我們將充分考慮機(jī)器人的安全性、精確性和效率等因素。同時(shí)，我們 還需要與相機(jī)和傳感器等設(shè)備進(jìn)行協(xié)調(diào)，以確保機(jī)器人的分類操作能夠順利完成。研究重點(diǎn) 在于如何實(shí)現(xiàn)機(jī)器人的精準(zhǔn)定位和分類功能，解決機(jī)器人在處理快遞時(shí)可能遇到的尺寸差異 和重

31、量不同等問(wèn)題，提高機(jī)器人的分類效率和準(zhǔn)確性。 第六章，本章分為兩部分，重點(diǎn)介紹此過(guò)程涉及的關(guān)鍵步驟。重點(diǎn)是識(shí)別和修復(fù)系統(tǒng)軟 件組件中的錯(cuò)誤所需的步驟。介紹如何使用調(diào)試工具和技術(shù)（如斷點(diǎn)、變量檢查和錯(cuò)誤日志 記錄）來(lái)識(shí)別和解決軟件中的問(wèn)題。還有自動(dòng)分類和排序系統(tǒng)的軟件打包和發(fā)布過(guò)程。它涵 蓋了將軟件組件打包為可分發(fā)格式（如安裝程序或 zip 文件）所需的步驟。更是介紹了發(fā)布過(guò) 程，包括版本控制、文檔和測(cè)試。強(qiáng)調(diào)了徹底測(cè)試和文檔編制的必要性，以確保系統(tǒng)部署和 運(yùn)行成功。主要目的是描述系統(tǒng)的聯(lián)調(diào)過(guò)程。 第七章，論文的結(jié)語(yǔ)提供了研究工作的總結(jié)，從獲得的結(jié)果中得出結(jié)論，提出了未來(lái)研 究的可能方向，并

32、強(qiáng)調(diào)了研究結(jié)果的實(shí)際意義。最后的發(fā)言表達(dá)了對(duì)那些為這項(xiàng)研究做出貢 獻(xiàn)的人的感謝，并以對(duì)該領(lǐng)域未來(lái)研究的希望聲明結(jié)束。 2 機(jī)器人視覺(jué)的快遞分揀系統(tǒng)設(shè)計(jì) 2.1 視覺(jué)分揀系統(tǒng)方案設(shè)計(jì) 視覺(jué)分揀機(jī)器人設(shè)計(jì)由多個(gè)系統(tǒng)組成，包括快遞傳輸、視覺(jué)采集、圖像和信息處理、機(jī) 器人和控制器等。不同尺寸的快遞通過(guò)托盤隨機(jī)放置在傳送帶上。（圖 2.1）CCD 攝像設(shè)備捕 捉到圖像在工業(yè)生產(chǎn)過(guò)程中，使用 Halcon 軟件識(shí)別目標(biāo)物體的類型，通過(guò)算法提取實(shí)時(shí)坐標(biāo)， 并將坐標(biāo)信息傳輸給工業(yè)機(jī)器人。然后，機(jī)器人對(duì)工件進(jìn)行相應(yīng)的分類。 控制器 CCD 光源 快遞盒 PC 工業(yè)機(jī)器人 圖 2.

33、1 基于視覺(jué)機(jī)器人分揀系統(tǒng)示意圖 快遞的輸送單元由輸送機(jī)履帶和步進(jìn)電機(jī)組成?？爝f箱均為棕色，具有光澤，與工件傳 輸跟蹤箱托盤形成明顯的顏色對(duì)比。這種色差有利于快遞箱的識(shí)別和精確定位。 視覺(jué)部門包括工業(yè)相機(jī)、光學(xué)鏡頭和照明設(shè)備。視覺(jué)光源作為平臺(tái)的照明設(shè)備安裝在傳 送帶的兩側(cè)。充足的照明設(shè)備對(duì)于提高目標(biāo)的成像效果，克服環(huán)境光干擾，確保圖像穩(wěn)定性， 消除工件上的陰影至關(guān)重要。工業(yè)相機(jī)在傳送帶上連續(xù)捕獲目標(biāo)工件，獲得的信息由 Halcon 軟件處理，以便工業(yè)機(jī)器人進(jìn)行后續(xù)分類，把 Visual Studio 作為操作軟件界面。該接口可輕 松控制和監(jiān)控整個(gè)系統(tǒng)，使包裹的分揀和交付更加高效和有效。

34、2.2 系統(tǒng)軟硬件集成設(shè)備選型 本次視覺(jué)分揀機(jī)器人中的控制單元與視覺(jué)設(shè)備選型分為兩種，一是硬件選型，二是軟件 選型。硬件選型為：工業(yè)機(jī)器人、控制柜、示教器、?？迪鄼C(jī)、條形光源、光源控制器、紅 外線感應(yīng)器、繼電器。軟件選擇為：Halcon17.12 完成（圖 2.2）。Halcon 與 VS2019 開(kāi)發(fā)完成 （圖 2.3）。 圖 2.2 HALCON12 開(kāi)始界面 圖 2.3 VS2019 開(kāi)啟界面 本課題選擇了中國(guó) ABB 機(jī)器人分公司的一款名為 IRB-1410 型號(hào)機(jī)械手臂（圖 2.4）。該 機(jī)器人手臂具有卓越的性能，工作周期短，運(yùn)行可靠，精度高，機(jī)器人手腕

35、荷重為 5kg。此外， 機(jī)器人上管還提供了獨(dú)有的 18kg 附加荷重。根據(jù) ABB 官方網(wǎng)站提供的信息，該機(jī)器人末端 加上吸盤可以吸取的最大重量為 10 公斤，該項(xiàng)目中使用的工業(yè)機(jī)器人是一個(gè)多功能且適應(yīng)性 強(qiáng)的系統(tǒng)，能夠容納一系列工藝設(shè)備。得益于其先進(jìn)的定位技術(shù)，它擁有卓越的速度和精度， 可以進(jìn)行調(diào)整以適應(yīng)每個(gè)制造過(guò)程的獨(dú)特要求。此外，這種堅(jiān)固可靠的機(jī)器人以其低噪音排 放、長(zhǎng)使用壽命和最低維護(hù)要求而聞名。其廣泛的工作范圍、長(zhǎng)范圍和緊湊的設(shè)計(jì)使其成為 高效的選擇，即使在狹窄或具有挑戰(zhàn)性的工作空間中也是如此。憑借其卓越的性能和適應(yīng)性， 該工業(yè)機(jī)器人非常適合滿足該項(xiàng)目的需求。 圖 2.

36、4 IRB-1410 機(jī)器人 IRB1410 還配備了相應(yīng)的機(jī)器人控制柜，如圖 2.4 所示。該控制柜支持以太網(wǎng)和串口通信。 同時(shí)，示教器功能也非常強(qiáng)大，包括通信暫停、功能復(fù)位、觸摸屏無(wú)效化和機(jī)器人系統(tǒng)重啟 等功能。機(jī)器人示教器是一種用于編程和控制工業(yè)機(jī)器人的工具，由一個(gè)手持式設(shè)備和一個(gè) 用戶界面組成，可以讓用戶直接控制機(jī)器人的運(yùn)動(dòng)和操作，而不需要編寫復(fù)雜的程序代碼。 使用機(jī)器人示教器，操作人員可以將機(jī)器人的動(dòng)作記錄下來(lái)并保存為程序，然后這些程序可 以在后續(xù)的操作中被重復(fù)使用。這使得機(jī)器人的編程和操作變得更加簡(jiǎn)單和高效，同時(shí)也提 高了生產(chǎn)線的靈活性和適應(yīng)性。（圖 2.4） 圖 2.5

37、示教器 機(jī)器人的末端執(zhí)行器可以配備不同的組件，例如真空吸盤（如圖 2.6 所示）和機(jī)械夾持器。 在該系統(tǒng)中，真空吸盤比機(jī)械夾具更實(shí)用、更高效。夾持器/吸盤工具是一種多功能復(fù)合工具， 可以將活塞銷的外圓表面夾在夾持器端的內(nèi)側(cè)，并將卡展開(kāi)以將連桿夾在外側(cè)。此外，當(dāng)完 全關(guān)閉時(shí)，該工具的前端可以將活塞銷推入到位。 圖 2.6 真空吸盤 另一方面，吸盤工具用于夾緊活塞部分的上端面。吸盤的使用需要空氣壓縮機(jī)（如圖 2.9 所示）、真空發(fā)生器（如圖 2.8 所示）和電磁閥（如圖 2.7 所示）?？諝鈮嚎s機(jī)和真空發(fā)生器 為真空吸盤產(chǎn)生吸力，而電磁閥控制氣體通道的打開(kāi)和關(guān)閉。該系統(tǒng)選擇了常

38、用的 NMPC 三 位兩位三通電磁閥。當(dāng)機(jī)器人的吸盤用于抓取快遞時(shí)，電磁閥打開(kāi)，當(dāng)工業(yè)機(jī)器人將快遞放 下時(shí)，電磁閥關(guān)閉。 圖 2.7 電磁閥 圖 2.8 真空發(fā)生器 圖 2.9 空氣壓縮機(jī) ?？低曄鄼C(jī) MV-CA050-12GC（圖 2.10）是一款高性能的工業(yè)相機(jī)，主要用于工業(yè)自動(dòng) 化、機(jī)器視覺(jué)、數(shù)字圖像處理等領(lǐng)域。以下是對(duì)其詳細(xì)介紹： 分辨率和幀率：MV-CA050-12GC 采用 500 萬(wàn)像素的 CMOS 圖像傳感器，最大輸出分辨 率為 2448×2048 像素，幀頻為 23.5fps@2448×2048 Mono8，可以實(shí)現(xiàn)高速捕捉和處理圖像數(shù) 據(jù)。 接口和輸出：該相機(jī)

39、支持 GigE Vision 接口，傳輸速率高達(dá) 1Gbps，具有較高的數(shù)據(jù)傳輸 穩(wěn)定性和可靠性。并輸出格式支持 RAW、BMP、JPEG 等多種格式。 光學(xué)性能：該相機(jī)使用了高品質(zhì)的鏡頭和濾光片，能夠提供高質(zhì)量的圖像捕捉。此外， 它還支持多種自動(dòng)曝光、自動(dòng)白平衡等功能，可以適應(yīng)不同的光線環(huán)境，并能夠?qū)崿F(xiàn)自適應(yīng) 亮度和對(duì)比度調(diào)節(jié)，使得圖像更加清晰和真實(shí)。 硬件和軟件支持：MV-CA050-12GC 相機(jī)可以通過(guò) SDK 和 API 進(jìn)行編程和控制，此外， 該相機(jī)還具備多種應(yīng)用程序，如捕捉、觸發(fā)、調(diào)試等，方便用戶進(jìn)行圖像處理和數(shù)據(jù)分析。 （圖 2.12）。 圖 2.10 外形

40、尺寸 圖 2.11 MV-CA013-20GC 相機(jī) 圖 2.12 12mm 鏡頭 在本課題中，我們需要選用合適照明設(shè)備。這種照明設(shè)備是條形光源，它有兩種形態(tài)： 高均勻性線性光源和復(fù)合線性光源。前者是照亮大型方形物體的理想選擇，而后者則提供了 根據(jù)需要組合顏色的靈活性。條形光源的長(zhǎng)度和照明角度可調(diào)，適用于各種成像場(chǎng)景，尤其 是快遞包裹等涉及大型物品的場(chǎng)景。由于其多功能性，條形光源是這些領(lǐng)域?qū)I(yè)人士的寶貴 工具。條形光源是任何需要高質(zhì)量照明才能產(chǎn)生準(zhǔn)確結(jié)果的機(jī)器視覺(jué)系統(tǒng)的關(guān)鍵組件。本次 試驗(yàn)也是采用 WD MM 型號(hào):DSL-144-22 條形光源（圖 2.13）。

41、19 圖 2.13 DSL-144-22 條形光源 圖 2.13 光源照度參考圖 條形光源具有高亮度 LED，其照明水平可以根據(jù)照度參考圖進(jìn)行調(diào)整，同時(shí)可以靈活修 改照明角度以滿足特定要求。此外，增加的擴(kuò)散板可確保更均勻、更柔和的光輸出。 本研究使用紅外傳感器（圖 2.14）來(lái)感應(yīng)物體是否有無(wú)等其他參數(shù)。當(dāng)紅外傳感器發(fā)出 信號(hào)時(shí)，信號(hào)要么被周圍物體吸收，要么被反射，傳感器根據(jù)反射時(shí)間和強(qiáng)度計(jì)算物體的位 置和距離。在本項(xiàng)目中，紅外傳感器用作硬觸發(fā)器，在必要時(shí)通過(guò)向相機(jī)發(fā)送信號(hào)來(lái)捕獲圖 像。 圖 2.14 紅外線傳感器 光源控制器：?？倒庠纯刂破?，型號(hào)為“MV-

42、VB2210-120G”（圖 2.15），主要負(fù)責(zé)控制光 源的亮度和開(kāi)/關(guān)狀態(tài)。它配備了英特爾 E3845 SoC，配備 1.91GHz CPU，4GB DDR3L 內(nèi)存和 高可靠性 SSD 存儲(chǔ)。它還支持多個(gè)光耦合器隔離輸入和輸出，并可通過(guò)光源接口控制光源的 開(kāi)/關(guān)狀態(tài)和亮度。內(nèi)置觸發(fā)器是一個(gè)數(shù)字輸入模塊，用于檢測(cè)外部信號(hào)，例如按下按鈕或光 傳感器檢測(cè)物體，并向光源控制器發(fā)送信號(hào)以觸發(fā)相應(yīng)的操作?？刂破鞯某叽缛缦拢▓D 2.16） 圖 2.15 光源控制器 2.3 光學(xué)方案設(shè)計(jì) 圖 2.16 光源控制器尺寸 檢測(cè)快遞盒

43、以及標(biāo)準(zhǔn)，產(chǎn)品名稱：快遞盒（圖 2.17），產(chǎn)品尺寸：直徑長(zhǎng)寬<50cm,產(chǎn)品 結(jié)構(gòu)如下圖所示,產(chǎn)品檢測(cè)姿態(tài)：定點(diǎn)檢測(cè)，無(wú)運(yùn)動(dòng)。檢測(cè)標(biāo)準(zhǔn):檢測(cè)快遞盒的長(zhǎng)寬高，精度不 低于 0.1cm。 尺寸 24.7X17.2X43cm 圖 2.17 快遞盒尺寸 光學(xué)排布圖的設(shè)計(jì)，使用?？低曄鄼C(jī) MV-CA050-12GC 和 12mm 鏡頭與海康威視光源 控制器和條形燈一起（圖 2.18），F(xiàn)OV 是 80*60cm，單次曝光，10ms，相機(jī)安裝孔做成 U 型 長(zhǎng)孔可進(jìn)行適當(dāng)?shù)木嚯x調(diào)整，光源支架做 C 型孔可進(jìn)行適當(dāng)?shù)慕嵌日{(diào)整，

44、兩個(gè)相機(jī)中心分別 正對(duì)兩側(cè)快遞盒表面中心且光學(xué)聚焦面為快遞表面；光學(xué)排布圖可能會(huì)根據(jù)現(xiàn)場(chǎng)機(jī)構(gòu)實(shí)際狀 態(tài)做優(yōu)化調(diào)整，左側(cè)為正視圖，右側(cè)為側(cè)視圖。（圖 2.19） 圖 2.18 dome 平臺(tái) 圖 2.19 光學(xué)排布圖 視覺(jué)檢測(cè)流程，首先快遞盒移動(dòng)到相機(jī)下，觸發(fā)紅外線傳感器進(jìn)行拍照，隨后通過(guò)軟件 對(duì)圖像進(jìn)行處理，對(duì)產(chǎn)品進(jìn)行定位等操作，發(fā)送給 ABB 機(jī)器人一個(gè)信號(hào)，隨后機(jī)器人進(jìn)行抓 取分揀。流程圖如下。 圖 2.20 視覺(jué)方案流程圖 3 Halcon 視覺(jué)圖像處理 3.1 Halcon 視覺(jué)軟件工作總體流程 在本設(shè)計(jì)中主要的圖像處理流程如下： (

45、1) 首先讀取圖像:使用讀取圖像函數(shù) read image，并將其存儲(chǔ)在 lmage1 中。圖像路徑為 C:/Users/32923/Desktop/畢業(yè)設(shè)計(jì)/1.jpg”。 (2) 將 RGB 圖像轉(zhuǎn)換為灰度圖像:使用 rgb1 to_gray 函數(shù)將 lmage1 轉(zhuǎn)換為灰度圖像，并將結(jié) 2 果存儲(chǔ)在 Graylmage 中。 (3) 腐蝕處理: 使用 gray erosion rect 函數(shù)對(duì) Graylmage 進(jìn)行腐蝕處理， 并將結(jié)果存儲(chǔ)在 26lmageMin 中。 (4) 膨脹 處理: 使用 gray dilation rect 函數(shù) 對(duì) ImageMin 進(jìn)行

46、膨脹處 理， 并 將結(jié)果 存儲(chǔ)在 ImageMax 中。 (5) 閩值處理:使用 threshold 函數(shù)對(duì) ImageMax 進(jìn)行閩值處理，并將結(jié)果存儲(chǔ)在 Regions 中。 (6) 連 通 域 處 理 : 使 用 connection 函 數(shù) 對(duì) Regions 進(jìn) 行 連 通 域 處 理 ， 并 將 結(jié) 果 存 儲(chǔ) 在 ConnectedRegions 中. (7) 選擇形狀: 使用 select shape 函數(shù)從 ConnectedRegions 中選擇符合“ 面積在 734291 和 1.47756e+006 之間”的形狀，并將結(jié)果存儲(chǔ)在 SelectedRegi

47、ons 中。 (8) 填充區(qū)域:使用 fill up 函數(shù)對(duì) SelectedRegions 進(jìn)行填充，并將結(jié)果存儲(chǔ)在 RegionFillUp 中。 (9) 形狀 轉(zhuǎn)換 : 使用 shape trans 函數(shù) 將 RegionFillUp 轉(zhuǎn)換 為凸 包形 狀， 并 將結(jié) 果存儲(chǔ) 在 RegionTrans 中。 (10) 10.矩形開(kāi)放:使用 opening rectangle1 函數(shù)對(duì) RegionTrans 進(jìn)行矩形開(kāi)放，并將結(jié)果存儲(chǔ)在 RegionOpening 中 (11) 邊 界 處 理 : 使 用 boundary 函 數(shù) 提 取 RegionOpening 的

48、內(nèi) 部 邊 界 ， 并 將 結(jié) 果 存 儲(chǔ) 在 RegionBorder 中 (12) 最小矩形處理:使用 smallest rectangle2 函數(shù)提取 RegionBorder 的最小矩形，并分別將結(jié)果 存儲(chǔ)在 Row、Column、Phi、Length1、Length2 中。 在進(jìn)行圖像處理之前，第一步先要對(duì)快遞進(jìn)行標(biāo)定（圖 3.1），我們采用的方法是九點(diǎn)標(biāo) 定，先要拍取實(shí)際標(biāo)定板的圖像，得到的圖像通過(guò)預(yù)處理和 blob 分系得到九點(diǎn)的中心坐標(biāo)， 這里使用中心點(diǎn)(x,y)。用工業(yè)機(jī)器人移動(dòng)機(jī)械臂旋轉(zhuǎn)中心依次到第一個(gè)點(diǎn)，并且保存機(jī)器當(dāng) 前坐標(biāo)(X,Y),然后按照順序移動(dòng)到第二個(gè)點(diǎn)，

49、保存坐標(biāo)，以此類推，到最后一個(gè)點(diǎn),坐標(biāo)全部保 存起來(lái)利用剛剛保存的九點(diǎn)坐標(biāo)和機(jī)器坐標(biāo)，再用算子 vector_to_hom_mat2d 求出矩陣，把像 素坐標(biāo)轉(zhuǎn)化成實(shí)際坐標(biāo)，就可以確定相機(jī)鏡頭下的物體具體坐標(biāo)，機(jī)械臂就可以實(shí)現(xiàn)精準(zhǔn)抓 取。 圖 3.1 標(biāo)定方法 第二步建立機(jī)器人與相機(jī)通訊（圖 3.2）。本次試驗(yàn)中使用 socket 通訊，機(jī)器人充當(dāng)服務(wù) 器，Halcon 充當(dāng)客戶端。服務(wù)器使用 Sockek 對(duì)象創(chuàng)建偵聽(tīng)連接，并通過(guò) Bind 方法將其綁定 到一個(gè) EndPoint 上。然后，使用 Listen 方法開(kāi)始偵聽(tīng)連接請(qǐng)求。當(dāng)客戶端請(qǐng)求連接時(shí)，服務(wù) 器將創(chuàng)建一個(gè)新的

50、Socket 對(duì)象，并使用 Accept 方法開(kāi)始通信。通信結(jié)束后，需關(guān)閉連接?？?戶端需要先創(chuàng)建一個(gè) Socket 對(duì)象，然后使用指定的服務(wù)器 IP 地址和端口號(hào)創(chuàng)建一個(gè) EndPoint 對(duì)象，以建立連接。接下來(lái)，使用 Connect 方法將連接請(qǐng)求發(fā)送到服務(wù)器，使用先前創(chuàng)建的 EndPoint 對(duì)象作為參數(shù)。 圖 3.2 建立通訊 成功連接后，客戶端使用 socket 對(duì)象方法向服務(wù)器發(fā)送信息（如圖 3.3 所示）。然后，客 戶端使用 socket 對(duì)象的 Receive 方法來(lái)接收服務(wù)器發(fā)送的信息。通信完成后，關(guān)閉套接字。一 旦 ABB 機(jī)器人收到 Halcon 發(fā)送的坐

51、標(biāo)，它就會(huì)繼續(xù)抓取目標(biāo)。在進(jìn)行實(shí)驗(yàn)以確定目標(biāo)是否 已準(zhǔn)確定位后，如有必要，對(duì) X 或 Y 軸進(jìn)行調(diào)整，直到到達(dá)中心點(diǎn)。 圖 3.3 信息接收 第三步是確定快遞盒的中心坐標(biāo)。為此，首先對(duì)快遞盒像進(jìn)行預(yù)處理，然后使用中值濾 波和高斯濾波、閾值分割、連接區(qū)域、區(qū)域選擇和區(qū)域填充運(yùn)算符等過(guò)濾技術(shù)，以獲得快遞 的最小邊界矩形，也就是快遞件的矩形區(qū)域，隨后用 area_center 算子就可以求出快遞件中心 坐標(biāo)，再通過(guò)中心坐標(biāo)求出機(jī)器坐標(biāo) affine_trans_point_2d(HomMat2D,物體 Row,物體 Column, 得到機(jī)器 X,機(jī)器 Y）。同時(shí)另外一個(gè)相機(jī)拍照得到

52、高度 Z,Z 的實(shí)際值求出后，先計(jì)算機(jī)器人 基坐標(biāo)中 Z 坐標(biāo)在快遞平臺(tái)的高度，根據(jù)上升多少多少坐標(biāo)與實(shí)際上升高度成比列進(jìn)行轉(zhuǎn)換， 具體要根據(jù)現(xiàn)場(chǎng)調(diào)試，經(jīng)過(guò)比列計(jì)算轉(zhuǎn)換成參數(shù)給到 Halcon 求出的實(shí)際高度，進(jìn)行比列轉(zhuǎn)換 得到相應(yīng)的高度坐標(biāo)，之后統(tǒng)一把 X、Y、Z 通過(guò)字符發(fā)送機(jī)器人，便形成相應(yīng)的空間坐標(biāo)。 （圖 3.4） 圖 3.4 中心坐標(biāo)轉(zhuǎn)換 舉例：快遞實(shí)際高度為 Q，快遞平臺(tái)的高度在機(jī)械手臂中基坐標(biāo) Z1 為 200，平臺(tái)高度加 上快遞高度在基坐標(biāo)中為 200+X，則計(jì)算快遞在平臺(tái)中機(jī)械手臂坐標(biāo)高度 X 比快遞實(shí)際高度 Q，得到的比例 X\Q，就可以根據(jù) X\Q，再檢測(cè)

53、其他快遞的高度轉(zhuǎn)換成新機(jī)械臂坐標(biāo)高度：z+Z1， 根據(jù) X\Q，檢測(cè)其他快遞的高度轉(zhuǎn)換成新機(jī)械臂坐標(biāo)高度：z+Z1。（圖 3.5） 圖 3.5 高度計(jì)算流程圖 第四步是 Halcon 圖像處理對(duì)快遞件的大小進(jìn)行確定，實(shí)現(xiàn)不同大小進(jìn)行分倉(cāng)處理，先通 過(guò) Halcon 對(duì)快遞進(jìn)行預(yù)處理，再通過(guò)求出的最小矩形得到快遞盒的長(zhǎng)寬大小，；另外一臺(tái)相 機(jī)同樣以這種方法得到快遞件的高度，這樣我們通過(guò) Halcon 求體積的算法求出快遞件的體積。 Volume 為體積，根據(jù)像素?cái)?shù)轉(zhuǎn)換為實(shí)際長(zhǎng)、寬、高進(jìn)行求體積。 具體程序如下： *求最小矩形 smallest_rectangle2 (Reg

54、ionBorder, Row, Column, Phi, Length1, Length2) *顯示產(chǎn)生任意方位的矩形-Length1 是矩形短邊（寬度）-Length2 是矩形的長(zhǎng)邊（長(zhǎng)度） *根據(jù)像素?cái)?shù)，實(shí)際長(zhǎng)度與圖像長(zhǎng)寬計(jì)算出，實(shí)際長(zhǎng)度為 15cm：real_length1:= Length * resolution resolution:= 0.01941 a:=Length1 b:=Length2 real_length1:= a * resolution real_length2:= b * resolution *快遞盒實(shí)際表面積為 area:=real_length

55、1*real_length2 *下一步計(jì)算體積 *resolution 為像素比 resolution:= 0.01941 c:=Length2 *實(shí)際的高度 real_length3:= c * resolution *real_length3 為實(shí)際高度，在基坐標(biāo)中桌面高為 Z1（根據(jù)現(xiàn)場(chǎng)設(shè)置），坐標(biāo)高/快遞實(shí)際 高比等于實(shí)際高度比 *設(shè)置平臺(tái)高坐標(biāo) Z=200,實(shí)際高度比 Heightratio=1.2,高坐標(biāo) Highcoordinates=平臺(tái)坐標(biāo)高 High platform coordinates+實(shí)際高度比 Heightratio*實(shí)際的高度 real_length

56、3 Heightratio:=1.2 Highplatformcoordinates:=200 Highcoordinates:=Highplatformcoordinates+Heightratio*real_length3 *求體積的循環(huán) volume volume := area * real_length3 隨后按不同體積進(jìn)行分揀，識(shí)別完之后 Halcon 會(huì)給 ABB 機(jī)器人發(fā)送不同信號(hào)，機(jī)器人 通過(guò)不同信號(hào)進(jìn)行編程，把快遞件搬運(yùn)至不同信號(hào)的指定位置。 首先通過(guò)?？迪鄼C(jī)連續(xù)觸發(fā)拍照得到快遞件的圖像，試驗(yàn)總共是三個(gè)快遞件分為，長(zhǎng)寬 高各不相同。求體積的循環(huán) volume 條

57、件一：體積大于等于 1500，高小于等于 15 執(zhí)行 0 條件 二：體積小于 1500，高小于等于 15 執(zhí)行 1 條件三：體積大于等于 1500，高大于等于 15 執(zhí)行 2。 具體程序如下： *條件一：體積大于等于 1500，高小于等于 15 執(zhí)行 0 if(volume>=1500 and real_length3 <= 15) Summ := '0' tuple_add (Highcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) endif

58、 *條件二：體積小于 1500，高小于等于 15 執(zhí)行 1 if(volume < 1500 and real_length3 <= 15) Summ := '1' tuple_add (Highcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) *條件三 ：體積大于等于 1500，高大于等于 15 執(zhí)行 2 endif if (volume >= 1500 and real_length3 > 15) Summ := '2' tuple_add (Hig

59、hcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) endif 之后通過(guò) tuple_add 算子把需要輸出的 xyz 坐標(biāo)和相應(yīng)的執(zhí)行條件進(jìn)行統(tǒng)一輸出，后面會(huì) 通過(guò) ABB 機(jī)器人進(jìn)行接收。（圖 3.6） 圖 3.6 坐標(biāo)輸出 3.2 相機(jī)的標(biāo)定 在本文中，相機(jī)校準(zhǔn)過(guò)程使用九點(diǎn)標(biāo)定方法（圖 3.7），這是機(jī)器視覺(jué)中機(jī)器人技術(shù)的一 個(gè)重要方面，因?yàn)樗驒C(jī)器人手臂提供有關(guān)操作對(duì)象的關(guān)鍵信息。物體識(shí)別與計(jì)算機(jī)視覺(jué)有 一些相似之處，但其他兩個(gè)方

60、面是機(jī)器視覺(jué)獨(dú)有的。相機(jī)校準(zhǔn)是決定相機(jī)和機(jī)器人手臂之間 的相對(duì)位置和方向，姿態(tài)估計(jì)涉及計(jì)算物體在相機(jī)坐標(biāo)系中的位置和方向，使機(jī)器人手臂能 夠準(zhǔn)確抓取它。此校準(zhǔn)過(guò)程對(duì)于將物體的世界坐標(biāo)系轉(zhuǎn)換為機(jī)械臂坐標(biāo)系至關(guān)重要，從而實(shí) 現(xiàn)準(zhǔn)確的產(chǎn)品識(shí)別、定位和抓取。 攝像機(jī) 標(biāo)定板 機(jī)械臂末端 機(jī)器人基座 圖 3.7 相機(jī)標(biāo)定 九點(diǎn)標(biāo)定的基本原理是將物體放置在工作區(qū)內(nèi)的 9 個(gè)位置，并使用相機(jī)捕獲圖像以獲得 這 9 個(gè)點(diǎn)的機(jī)械和像素坐標(biāo)。然后使用 halcon 運(yùn)算符 vector_to_hom_2d 和 affine_trans_point_2d 計(jì)算仿射矩陣，前者獲得變換矩陣關(guān)系，后者執(zhí)行

61、實(shí)際轉(zhuǎn)換。為確保準(zhǔn)確的 2D 校準(zhǔn)，確保相 機(jī)平面和物體平面盡可能平行且角度相同非常重要。 手眼校準(zhǔn)過(guò)程是一個(gè)成熟的領(lǐng)域，旨在確定相機(jī)、工具、機(jī)器人手臂和世界坐標(biāo)系之間 的變換矩陣。這是必要的，因?yàn)槲矬w識(shí)別通常依賴于世界坐標(biāo)系，而機(jī)械臂操作需要了解物 體在機(jī)器人手臂坐標(biāo)系中的真實(shí)位置。如果機(jī)械臂包含夾持器，則需要進(jìn)行額外的變換才能 將機(jī)械臂坐標(biāo)系轉(zhuǎn)換為工具坐標(biāo)系。因此，手眼校準(zhǔn)涉及在機(jī)器人手臂的工作空間內(nèi)捕獲不 同位置和方向的物體圖像，然后使用這些圖像來(lái)確定與不同坐標(biāo)系相關(guān)的仿射變換矩陣。確 保相機(jī)平面和物體平面盡可能平行非常重要，以最大程度地減少二維校準(zhǔn)過(guò)程中的誤差。手 眼標(biāo)定分為兩類（圖

62、 3.8）： (1) Eye to Hand：相機(jī)在機(jī)器人外部固定，不用隨機(jī)械臂的運(yùn)動(dòng)而運(yùn)動(dòng)。 24 (2) Eye in Hand：相機(jī)在機(jī)械臂上，跟隨機(jī)械臂運(yùn)動(dòng)。 圖 3.8 Eye to Hand 及 Eye in Hand 標(biāo)定 本課題中使用 Eye to Hand，就是眼在手外。 (1) 首先自己畫(huà)九個(gè)點(diǎn)（圖 3.9），點(diǎn)的中心是為了用于機(jī)械臂旋轉(zhuǎn)中心定位。 圖 3.9 九點(diǎn)標(biāo)定板 (2) 把剛剛放圖打印出的標(biāo)定紙進(jìn)行拍照（圖 3.9）。 (3) 使用 halcon 把剛剛拍的標(biāo)定板圖片進(jìn)行圖像處理,獲取九個(gè)點(diǎn)的坐標(biāo)，這里只使用了中心 點(diǎn)

63、(X,Y)。（圖 3.10） 圖 3.10 九點(diǎn)坐標(biāo) (4) 移動(dòng)機(jī)械臂旋轉(zhuǎn)中心依次到第一個(gè)點(diǎn)，并且保存機(jī)器當(dāng)前坐標(biāo)(X,Y),然后按照順序移動(dòng)到 第二個(gè)點(diǎn)，保存坐標(biāo)，以此類推，到最后一個(gè)點(diǎn),坐標(biāo)全部保存起來(lái)。（圖 3.11） 圖 3.11 九點(diǎn)中機(jī)器人坐標(biāo) (5) 利用剛剛保存的九點(diǎn)坐標(biāo)和機(jī)器坐標(biāo)，求出矩陣 vector_to_hom_mat2d(九點(diǎn)行,九點(diǎn)列,機(jī) 器 X,機(jī)器 Y,HomMat2D) (6) 之 后 拿 個(gè) 物 品 ， 再 用 halcon 求 出 物 體 的 坐 標(biāo) ， 拿 著 物 品 坐 標(biāo) 求 出 機(jī) 器 坐 標(biāo) affine_tr

64、ans_point_2d (HomMat2D, Row, Column, X, Y)。（圖 3.12） 具體程序如下： *實(shí)際的坐標(biāo)點(diǎn) Qx:=[-1.08,70.46,142.05,0.22,71.11,142.77,0.22,71.53,142.77] Qy:=[64.82,65.72,66.91,0.42,1.33,2.34,-64.24,-63.29,-62.27] vector_to_hom_mat2d (Column, Row, Qx, Qy, HomMat2D) affine_trans_point_2d (HomMat2D, 1572, 1770, Qx1, Qy1)

65、 *求快遞區(qū)域面積和中心點(diǎn)位置 area_center (Rectangle, Area, Row2, Column2) *坐標(biāo)的轉(zhuǎn)化 affine_trans_point_2d (HomMat2D, Column2, Row2, Qx1, Qy1) tuple_string (Qx1, '-0.1f', String) tuple_string (Qy1, '-0.1f', String1) tuple_add (String+';', String1+';', Sum1) 圖 3.12 轉(zhuǎn)換坐標(biāo) X 和 Y (7) 機(jī)械臂移動(dòng)到剛剛求出來(lái)的機(jī)器 X，機(jī)器 Y 即可，

66、如果有角度需求，直接補(bǔ)償計(jì)算出來(lái) 的角度即可，當(dāng)前移動(dòng)以及定位的精度和機(jī)械臂的重復(fù)定位精度和相機(jī)畸變較大關(guān)系有關(guān)系， 常規(guī)的工業(yè)相機(jī)畸變并不是很大，但是標(biāo)定后會(huì)造成累積的邊緣誤差，導(dǎo)致邊緣的器件誤差 增大，同時(shí)機(jī)械臂重復(fù)定位精度會(huì)導(dǎo)致在標(biāo)定時(shí)，移動(dòng)的點(diǎn)位坐標(biāo)出現(xiàn)誤差，從而也會(huì)累積 為隨機(jī)的系統(tǒng)誤差，所以現(xiàn)場(chǎng)需要根據(jù)實(shí)際誤差來(lái)進(jìn)行最終調(diào)試。 3.3 系統(tǒng)的通信方式 本課題用 PC 普通計(jì)算機(jī)，用 socket 通信連接 ABB 機(jī)器人。看 ABB 機(jī)器人如何用 socket 與 Halcon 相連接，（圖 3.13）可以看到 socket 的基本用法，socket 的聲明、服務(wù)端與客戶端 的建立等等。Socket 通訊的流程： (1) 原始套接字的一種 TCP/IP，需要選項(xiàng) 616-1PC Interface (2) 先創(chuàng)建服務(wù)器端監(jiān)聽(tīng)，再創(chuàng)建客戶端連接服務(wù)器端； (3) 服務(wù)器端與客戶端建立端口對(duì)端口連接以后，就可以互相收發(fā)數(shù)據(jù)； 注意事項(xiàng)： (1) 無(wú)字符串終止符，而不是回車換行符/r/n (2) 消息的意外合并，注意發(fā)送數(shù)據(jù)留有間隙，或增加握手互傳信號(hào) (3)