深度網(wǎng)絡(luò)推斷視覺運(yùn)動(dòng)雅可比場(chǎng)的 3D 打印異構(gòu)機(jī)器人通用控制方法

來源：EFL生物3D打印與生物制造

在機(jī)器人領(lǐng)域，模仿自然生物復(fù)雜結(jié)構(gòu)與功能面臨長(zhǎng)期挑戰(zhàn)，現(xiàn)代制造技術(shù)雖拓展了硬件可行性，但生物啟發(fā)的機(jī)器人多為軟體或多材料、缺乏傳感且材料特性隨使用改變，傳統(tǒng)建模與控制方法難以適用。麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的Sizhe Lester Li教授與Vincent Sitzmann教授團(tuán)隊(duì)合作，提出利用深度神經(jīng)網(wǎng)絡(luò)將機(jī)器人視頻流映射至視覺運(yùn)動(dòng)雅可比場(chǎng)的方法，僅通過單攝像頭即可實(shí)現(xiàn)對(duì)機(jī)器人的控制，且不依賴其材料、驅(qū)動(dòng)或傳感特性，通過觀察隨機(jī)命令執(zhí)行自監(jiān)督訓(xùn)練。該工作成功控制了多種驅(qū)動(dòng)、材料與造價(jià)的機(jī)器人，實(shí)現(xiàn)精確閉環(huán)控制并恢復(fù)其因果動(dòng)態(tài)結(jié)構(gòu)，相關(guān)成果以“Controlling diverse robots by inferring Jacobian fields with deep networks”為題發(fā)表在《Nature》上。

1. 利用視覺運(yùn)動(dòng)雅可比場(chǎng)的視覺控制機(jī)器人，通過深度學(xué)習(xí)模型從單張圖像推斷機(jī)器人的三維表示（視覺運(yùn)動(dòng)雅可比場(chǎng)），該場(chǎng)編碼機(jī)器人幾何形狀與微分運(yùn)動(dòng)學(xué)特性（任意三維點(diǎn)對(duì)驅(qū)動(dòng)命令的敏感度）。研究了機(jī)器人運(yùn)動(dòng)預(yù)測(cè)與閉環(huán)控制過程，結(jié)果表明該方法可通過梯度優(yōu)化以約12赫茲的交互速度求解機(jī)器人命令，實(shí)現(xiàn)像素空間或三維空間的期望運(yùn)動(dòng)軌跡跟蹤，如通過δx=Jθ(x|I)δu預(yù)測(cè)運(yùn)動(dòng)并優(yōu)化機(jī)器人命令δu，使誤差最小化。

圖1. 利用視覺運(yùn)動(dòng)雅可比場(chǎng)的視覺控制機(jī)器人。  

2. 單圖像重建機(jī)器人幾何與運(yùn)動(dòng)學(xué)，通過神經(jīng)網(wǎng)絡(luò)同時(shí)重建神經(jīng)輻射場(chǎng)（編碼三維形狀與外觀）和視覺運(yùn)動(dòng)雅可比場(chǎng)，利用12個(gè)消費(fèi)級(jí)RGB-D相機(jī)采集的多視圖視頻流進(jìn)行自監(jiān)督訓(xùn)練。研究了3D打印軟-硬氣動(dòng)手、Allegro手等多種異構(gòu)機(jī)器人平臺(tái)的三維重建，結(jié)果表明深度預(yù)測(cè)誤差最低達(dá)1.109毫米（HSA平臺(tái)），預(yù)測(cè)的3D運(yùn)動(dòng)與點(diǎn)跟蹤參考運(yùn)動(dòng)高度一致，且系統(tǒng)自監(jiān)督學(xué)習(xí)可識(shí)別命令通道與機(jī)器人3D部件的因果關(guān)系。

圖2. 單圖像重建機(jī)器人幾何與運(yùn)動(dòng)學(xué)。  

3. 視覺驅(qū)動(dòng)的異構(gòu)機(jī)器人閉環(huán)控制，將視覺運(yùn)動(dòng)雅可比場(chǎng)應(yīng)用于不同材料、驅(qū)動(dòng)方式及造價(jià)的機(jī)器人（如3D打印軟-硬氣動(dòng)手、16自由度Allegro手、低-cost Poppy機(jī)械臂），通過模型預(yù)測(cè)控制（MPC）算法實(shí)現(xiàn)2D/3D軌跡跟蹤。研究了抓取工具、繪制字母MIT等任務(wù)的執(zhí)行效果，結(jié)果表明在外部負(fù)載（如350克配重）或機(jī)械 backlash 情況下，仍能實(shí)現(xiàn)高精度控制，如Allegro手關(guān)節(jié)誤差小于3°，Poppy機(jī)械臂繪圖平均誤差小于6毫米。

圖3. 視覺驅(qū)動(dòng)的異構(gòu)機(jī)器人閉環(huán)控制。  

4. 定量分析與魯棒性測(cè)試，通過OptiTrack運(yùn)動(dòng)捕捉系統(tǒng)（誤差<0.2毫米）和機(jī)器人內(nèi)置高精度傳感器，對(duì)控制精度和動(dòng)態(tài)擾動(dòng)下的穩(wěn)定性進(jìn)行評(píng)估。研究了HSA平臺(tái)在附加配重、Allegro手在復(fù)雜動(dòng)作下的表現(xiàn)，結(jié)果顯示HSA平臺(tái)在負(fù)載下目標(biāo)跟蹤誤差為7.303毫米，雅可比預(yù)測(cè)與Drake物理模擬的平均角度誤差低于11°，驗(yàn)證了方法對(duì)未見機(jī)器人配置和命令的泛化性及抗視覺遮擋能力。

圖4. 定量分析與魯棒性測(cè)試。

研究結(jié)論
本研究提出基于視覺的深度學(xué)習(xí)方法，通過單攝像頭視頻流推斷視覺運(yùn)動(dòng)雅可比場(chǎng)，實(shí)現(xiàn)對(duì)異構(gòu)機(jī)器人的通用控制。該方法無需假設(shè)機(jī)器人材料、驅(qū)動(dòng)或傳感特性，通過自監(jiān)督學(xué)習(xí)觀察隨機(jī)命令執(zhí)行過程完成訓(xùn)練。實(shí)驗(yàn)驗(yàn)證表明，本研究成功控制3D打印軟-硬氣動(dòng)手、16自由度Allegro手、低造價(jià)Poppy機(jī)械臂等系統(tǒng)，實(shí)現(xiàn)高精度閉環(huán)軌跡跟蹤，如Allegro手關(guān)節(jié)誤差小于3°、HSA平臺(tái)負(fù)載下目標(biāo)跟蹤誤差7.303毫米。本研究突破傳統(tǒng)建模限制，拓寬機(jī)器人設(shè)計(jì)空間，為降低自動(dòng)化門檻提供可行路徑，其視覺驅(qū)動(dòng)控制框架對(duì)生物啟發(fā)機(jī)器人與低成本系統(tǒng)具有重要應(yīng)用價(jià)值。

文章來源：
https://doi.org/10.1038/s41586-025-09170-0