基于視覺(jué)的機(jī)器人激光熔覆過(guò)程損傷定位方法

來(lái)源：長(zhǎng)三角G60激光聯(lián)盟

目前，再制造中的損傷識(shí)別和定位是一項(xiàng)人工視覺(jué)任務(wù)。這是費(fèi)時(shí)費(fèi)力的。并且可能導(dǎo)致不精確的修復(fù)。為了緩解這一問(wèn)題，本文提出了一種基于視覺(jué)的自動(dòng)損傷定位方法，該方法將攝像機(jī)集成在機(jī)器人激光熔覆修復(fù)單元中。進(jìn)行了兩個(gè)案例研究，分析了基于更快區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）的不同配置。本研究旨在選擇最合適的配置來(lái)定位受損固定彎管上的磨損。收集圖像用于測(cè)試和訓(xùn)練R-CNN，本研究結(jié)果表明訓(xùn)練和驗(yàn)證損失呈下降趨勢(shì)，平均精度（mAP）為88.7%。

1介紹
激光熔覆（LC）或基于激光的直接金屬沉積（LMD）是一種有吸引力的增材制造技術(shù)，在航空航天、石油和天然氣工業(yè)以及機(jī)械工程中的應(yīng)用引起了極大的興趣。這一成熟的工業(yè)過(guò)程通過(guò)聚焦高功率激光束在基底上產(chǎn)生熔池，并通過(guò)同軸噴嘴將材料連續(xù)引導(dǎo)到熔池中，使其固化。與傳統(tǒng)技術(shù)（如鑄造、鍛造和機(jī)械加工）相比，這種逐層制造技術(shù)具有提高時(shí)間和成本效率的能力[。

在機(jī)器人激光熔覆應(yīng)用中，磨損區(qū)域的檢查目前是一個(gè)手動(dòng)過(guò)程。操作員通過(guò)視覺(jué)定位損傷，然后使用激光掃描儀捕捉缺陷的表面幾何形狀。此過(guò)程中的信息用于生成零件的維修策略。隨著零件規(guī)模的增加，這一過(guò)程變得更加耗時(shí)、容易出錯(cuò)和勞動(dòng)密集。

本文首先提出了在修復(fù)單元中集成視覺(jué)傳感器以記錄受損部件的圖像數(shù)據(jù)。然后，利用兩個(gè)不同的數(shù)據(jù)集進(jìn)行了兩個(gè)案例研究。這些案例研究進(jìn)行了分析，以比較用于損傷檢測(cè)的常用特征提取器的可行性、準(zhǔn)確性和時(shí)間效率。最后，根據(jù)結(jié)果選擇了合適的模型配置，并提供了結(jié)果和評(píng)估。

2.方法
本研究側(cè)重于圓柱形固定彎管的損傷識(shí)別和定位，更具體地說(shuō)，是固定彎管上的損傷和襯墊。這些是石油和天然氣工業(yè)中使用的機(jī)械零件。對(duì)于磨損的固定彎頭，必須區(qū)分襯墊的位置，因?yàn)橐r墊是造成最大損壞的區(qū)域，必須進(jìn)行維修。

2.1基于視覺(jué)的RLCRC

使用的機(jī)械臂是Fanuc-R-1000iA/80F，這是一種用于中等有效載荷的高速搬運(yùn)機(jī)器人，相機(jī)是UVC-G3-Bullet/UVC-G3-AF。圖1顯示了單元設(shè)置的示意圖。

圖1RLCRC的設(shè)置。

3.結(jié)果和討論

3.1案例研究1
為了開(kāi)發(fā)包含受損固定彎管圖像的數(shù)據(jù)庫(kù)，收集了8種不同類(lèi)型固定彎管的72張圖像（分辨率：1920 x 1080像素）。R-CNN需要大量訓(xùn)練數(shù)據(jù)來(lái)生成高性能模型。這可能是一項(xiàng)繁重的任務(wù)，因?yàn)楂@取大量數(shù)據(jù)非常昂貴，而且通常不容易訪問(wèn)。為了克服這個(gè)問(wèn)題，數(shù)據(jù)擴(kuò)充是一種被廣泛接受的實(shí)踐。在這項(xiàng)研究中，應(yīng)用了不同類(lèi)型的幾何（水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)）和光度（灰度、色調(diào)和曝光）增強(qiáng)技術(shù)，以使訓(xùn)練模型對(duì)照明和相機(jī)設(shè)置的變化更加魯棒和彈性。圖2顯示了來(lái)自擴(kuò)展數(shù)據(jù)集的樣本圖像，該數(shù)據(jù)集通過(guò)從72張圖像增加到221張圖像而被放大。

圖2 來(lái)自訓(xùn)練數(shù)據(jù)集的樣本增強(qiáng)圖像。

3.2對(duì)比分析和結(jié)果
本研究主要評(píng)估m(xù)AP，而不是對(duì)象建議代理度量，因?yàn)樗且环N廣泛用于對(duì)象檢測(cè)的度量。

從圖2可以看出，這兩個(gè)標(biāo)簽具有相似的特征，并且在圖像中有恒定的重疊。假設(shè)這些因素是模型中產(chǎn)生偏差和差異的原因，導(dǎo)致mAP評(píng)分相對(duì)較低。帶有一個(gè)標(biāo)簽的ResNet50的訓(xùn)練和驗(yàn)證損失如圖3所示。對(duì)兩種模型配置進(jìn)行推斷，邊界框預(yù)測(cè)如圖4所示。

圖3訓(xùn)練和驗(yàn)證損失與步驟數(shù)量的關(guān)系。

圖4帶有邊界框輸出的測(cè)試數(shù)據(jù)集。

3.3案例研究2

3.3.1數(shù)據(jù)集

對(duì)于自主損傷檢測(cè)，RLCRC中攝像機(jī)的位置將保持不變，這意味著工作站攝像機(jī)的圖像將始終取自相同的設(shè)置。形成了一個(gè)新的數(shù)據(jù)集，包括四個(gè)不同固定彎曲的437張?jiān)紙D像（分辨率：1920 x 1080像素）。與第一個(gè)數(shù)據(jù)集類(lèi)似，圖像被擴(kuò)充，將數(shù)據(jù)集擴(kuò)展到1049個(gè)圖像（見(jiàn)圖5）。

圖5 來(lái)自新訓(xùn)練數(shù)據(jù)集的樣本增強(qiáng)圖像，僅包含具有相同相機(jī)設(shè)置的圖像。

3.3.2對(duì)比分析和結(jié)果

圖6說(shuō)明了從ResNet50模型獲得的結(jié)果度量圖。如圖6（c，d）所示，訓(xùn)練和驗(yàn)證損失均降至穩(wěn)定點(diǎn)，這意味著沒(méi)有過(guò)度擬合。該模型通過(guò)多個(gè)IoU度量（IoU=0.50:0.05:0.95）進(jìn)行評(píng)估，這意味著該模型必須在每個(gè)IoU閾值下都表現(xiàn)良好，才能獲得較高的mAP分?jǐn)?shù)。圖6（b）顯示了0.50 IoU時(shí)的mAP值，達(dá)到100%。

圖6 結(jié)果度量圖顯示（a）mAP@0.5:0.95 IOU和（b）mAP@0.5 IOU；（c）驗(yàn)證損失和（d）培訓(xùn)損失。

3.4討論和限制

本研究的目的是開(kāi)發(fā)一種能夠識(shí)別和定位受損區(qū)域的智能視覺(jué)系統(tǒng)。該定位過(guò)程是使用固定的相機(jī)方向執(zhí)行的，這意味著相機(jī)的視圖在整個(gè)過(guò)程中以及在不同部分之間保持不變。因此，更重要的是要有一個(gè)專(zhuān)門(mén)的模型，以更高的精度定位“墊”表面，而不是一個(gè)精度低得多的魯棒模型。

第一個(gè)案例研究是在一個(gè)相對(duì)較小的數(shù)據(jù)集上進(jìn)行的，該數(shù)據(jù)集包含八個(gè)固定彎道的72張?jiān)紙D像，而第二個(gè)案例研究則包含四個(gè)固定彎道437張?jiān)紙D像。

第二個(gè)案例研究的結(jié)果更為有利，因?yàn)槟繕?biāo)是獲得一個(gè)訓(xùn)練有素、更專(zhuān)業(yè)的模型來(lái)檢測(cè)特定環(huán)境中的損傷。一個(gè)更大的數(shù)據(jù)集將使R-CNN能夠更準(zhǔn)確地了解損傷和襯墊的特征，并生成更穩(wěn)健、性能更高的模型。

4.結(jié)論和未來(lái)工作
再制造中的損傷識(shí)別和定位是一項(xiàng)人工視覺(jué)任務(wù)。它可能耗時(shí)、乏味且容易出錯(cuò)。隨著計(jì)算機(jī)視覺(jué)、計(jì)算能力和對(duì)大量數(shù)據(jù)的訪問(wèn)的最新進(jìn)展，現(xiàn)在值得探索在再制造中使用該技術(shù)。本文提出了一種基于機(jī)器學(xué)習(xí)的機(jī)器人激光熔覆修復(fù)單元過(guò)程中損傷的自動(dòng)視覺(jué)檢測(cè)和定位方法。為了實(shí)現(xiàn)這一點(diǎn)，采用了兩種結(jié)合轉(zhuǎn)移學(xué)習(xí)的Faster R-CNN配置。兩個(gè)案例研究在不同的數(shù)據(jù)集上進(jìn)行，案例研究1具有更多樣的圖像集，案例研究2具有更相似的圖像集。還對(duì)它們的性能進(jìn)行了比較分析。這項(xiàng)研究的有希望的結(jié)果證明了基于視覺(jué)的R-CNN技術(shù)在維修和再制造領(lǐng)域的潛力。

需要注意的是，本文的范圍是找到固定彎管損傷檢測(cè)的最佳模型。本文提出的方法將擴(kuò)展到與深度傳感器一起工作，并在未來(lái)獲得修復(fù)零件所需的體積信息。

來(lái)源：Peer-review under responsibility of the scientific committee of the 54th CIRP Conference on Manufacturing System, 10.1016/j.procir.2021.11.139