機(jī)器人遙操作(Teleoperation)，也可以稱為Telerobotics，是指在相關(guān)機(jī)器人控制中把人類操作包含在控制回路中，任何的上層規(guī)劃和認(rèn)知決定都是由人類用戶下達(dá)，而機(jī)器人本體只是負(fù)責(zé)相應(yīng)的實(shí)體應(yīng)用。當(dāng)機(jī)器人處理復(fù)雜的感知和大量任務(wù)時(shí)，在快速做出決策和處理極端情況時(shí)，遙距操作遠(yuǎn)遠(yuǎn)優(yōu)于智能編程。

目前遙操作已廣泛應(yīng)用在醫(yī)療領(lǐng)域、極端環(huán)境探索如太空與深海場景、防恐防爆應(yīng)用場景，及基于工業(yè)機(jī)械臂的自動(dòng)化生產(chǎn)中。機(jī)器人遙操作可以大致分為基于設(shè)備的接觸式遙操作和基于無標(biāo)記的視覺遙操作兩大類。2009年以前的工作可以參考[1]，下面就近幾年的遙操作發(fā)展進(jìn)行介紹。本文主要關(guān)注服務(wù)機(jī)器人和工業(yè)機(jī)器人，不涉及醫(yī)療機(jī)器人，如對(duì)醫(yī)療機(jī)器人感興趣可參考[2]。

一、接觸式遙操作

接觸式遙操作通常通過遙操作者穿戴或操作不同類型的設(shè)備來實(shí)現(xiàn)。這些設(shè)備有操作桿、類如Apriltag的標(biāo)記物，慣性測量單元IMU，肌電圖（EMG）信號(hào)傳感器，虛擬現(xiàn)實(shí)VR/增強(qiáng)現(xiàn)實(shí)AR設(shè)備以及前景廣闊的觸覺設(shè)備等。

1. 基于IMU和EMG的遙操作

基于IMU和EMG的遙操作方法成本低且高效易操作。2017年，清華大學(xué)孫富春教授課題組設(shè)計(jì)了一個(gè)集成18個(gè)IMU的穿戴手套，并開發(fā)了基于擴(kuò)展卡爾曼濾波器的多模態(tài)融合算法用于推算人手臂和手的方向與位置[3]。這種新穎的遙控方案穩(wěn)定地應(yīng)用于由SCHUNK手臂和Barrett三指手構(gòu)成的11DOF機(jī)械臂-手系統(tǒng)，以及由UR5和Barrett三指手構(gòu)成的10DOF機(jī)械臂-手系統(tǒng)，其中操作員的手指用于機(jī)械手遙控，而手掌的手臂用于機(jī)械臂遙控。

2019年，哥倫比亞團(tuán)隊(duì)提出了一種由EMG驅(qū)動(dòng)的非擬人化機(jī)器人手遙操作方法，這種方法將人前臂的EMG信號(hào)連續(xù)映射與遠(yuǎn)程操作相關(guān)的三個(gè)子空間中，然后再從這個(gè)子空間映射到機(jī)器人手的關(guān)節(jié)空間[4]。這個(gè)方法有效且直觀，使新手操作者更快熟悉操作方案，可以魯棒地完成遠(yuǎn)程操作拾取和放置任務(wù)。

2. 基于VR/AR的遙操作

基于虛擬現(xiàn)實(shí)的機(jī)器人遙操作是克服時(shí)延的有效方法,具有透明性強(qiáng)、穩(wěn)定性高的優(yōu)點(diǎn),成為當(dāng)前機(jī)器人遙操作的主要方式。漢堡大學(xué)團(tuán)隊(duì)使用微軟hololens穿戴式眼鏡，基于混合現(xiàn)實(shí)（MR）技術(shù)為人機(jī)交互（HRI）場景開辟了遙操作的新前景[5]。在MR人機(jī)協(xié)作系統(tǒng)中，操作員不僅可以看到機(jī)器人的真實(shí)工作場景，并且其他虛擬信息可以疊加在真實(shí)場景的視圖上，實(shí)現(xiàn)直觀自然地控制用于抓取和放置任務(wù)的機(jī)器人。特別是在機(jī)器人執(zhí)行動(dòng)作之前，操作員可預(yù)覽機(jī)器人的潛在規(guī)劃動(dòng)作，可以減少損壞系統(tǒng)或傷害操作人員的風(fēng)險(xiǎn)。此外，作者也在多機(jī)器人系統(tǒng)的交付服務(wù)任務(wù)中驗(yàn)證了這個(gè)系統(tǒng)。這些研究為未來VR、AR及MR裝備的設(shè)計(jì)及虛擬現(xiàn)實(shí)在機(jī)器人方向上的應(yīng)用提供了重要的啟示。

3. 融合觸覺反饋的遙操作

觸覺反饋對(duì)于接觸豐富的外部操作任務(wù)至關(guān)重要，觸覺設(shè)備已在外科手術(shù)機(jī)器人中得到廣泛研究，并用于在虛擬現(xiàn)實(shí)應(yīng)用程序中收集訓(xùn)練數(shù)據(jù)，如HaptX development kit。一些商業(yè)產(chǎn)品CyberGlove、HaptX以物理阻力和空間接觸的形式提供了觸覺反饋，但是這種好處伴隨著成本的增加。HaptX與Converge Robotics Group（由國際公司組成的財(cái)團(tuán)）共同開發(fā)了TactileTelerobot遠(yuǎn)程機(jī)器人，以推動(dòng)觸覺和機(jī)器人技術(shù)的發(fā)展 [6]。TactileTelerobot是世界上第一個(gè)能夠?qū)⒈普娴挠|摸反饋傳輸給位于世界各地的操作員的機(jī)器人系統(tǒng)，該系統(tǒng)集成了三個(gè)主要產(chǎn)品，每個(gè)主要產(chǎn)品都在其類別中處于領(lǐng)先地位：Shadow Robot Hands，SynTouch BioTac傳感器和HaptX Gloves。Tactile Telerobot通過真實(shí)無延遲的觸覺反饋實(shí)現(xiàn)了多種機(jī)械手靈巧操作，如倒水、擰瓶蓋、轉(zhuǎn)魔方、寫字、開紙盒、幫人帶耳機(jī)，甚至人體按摩等。

當(dāng)然這種昂貴的觸覺設(shè)備并不是每個(gè)組都可以擁有，因此還有一些雙向遙操作控制設(shè)備在[7]中，通過定義一個(gè)虛擬的操作對(duì)象來捕獲在master側(cè)人手的運(yùn)動(dòng)及slace側(cè)相關(guān)的力反饋。

除了使用遙操作技術(shù)對(duì)機(jī)械臂或者機(jī)器手的控制，2020年西英格蘭大學(xué)的楊辰光團(tuán)隊(duì)提出了一種用于全向移動(dòng)機(jī)器人的EMG與觸覺設(shè)備混合控制方法[8]。這種混合共享控制方法基于肌電圖和人工勢場，用以根據(jù)排斥力和吸引力避開障礙物，并基于移動(dòng)平臺(tái)的力反饋增強(qiáng)人類對(duì)遠(yuǎn)程環(huán)境的感知。這種共享控制方法使遙操作者遠(yuǎn)程控制移動(dòng)機(jī)器人的運(yùn)動(dòng)并同步實(shí)現(xiàn)避障。與傳統(tǒng)的共享控制方法相比，該提議的方法提供了基于肌肉激活的力反饋，并驅(qū)動(dòng)操作者以可預(yù)測的方式更新其控制意圖。最終通過各種避障實(shí)驗(yàn)表明這種遙控方法對(duì)移動(dòng)機(jī)器人控制的有效性。

二、基于無標(biāo)記的視覺遙操作

與基于接觸式或可穿戴設(shè)備的遠(yuǎn)程操作不同，基于無標(biāo)記的視覺遠(yuǎn)程操作具有還原人體四肢自然運(yùn)動(dòng)且侵入性較小的優(yōu)點(diǎn)。特別是針對(duì)高自由度的機(jī)器手的遙操作，使用穿戴手套的方法必須根據(jù)操作者進(jìn)行定制手套大小，并且手套容易影響的關(guān)節(jié)自然運(yùn)動(dòng)，而基于IMU或EMG的方法通用性和靈活性較低。因此無標(biāo)記的視覺方法尤其適用于靈巧手的遠(yuǎn)程操作，這樣有利于捕獲手指的所有運(yùn)動(dòng)。

基于分析視覺的遠(yuǎn)程操作分為兩類：基于模型的（model-）方法和基于外觀的（appearance-）方法。基于模型的方法提供連續(xù)的解決方案，但計(jì)算量大，通常取決于多相機(jī)系統(tǒng)的可用性。相反，基于外觀的方法可以識(shí)別離散數(shù)量的手勢，這些手勢通常對(duì)應(yīng)于該方法的訓(xùn)練集，而無需高昂的計(jì)算成本和硬件復(fù)雜性。最近，越來越多的研究人員致力于基于數(shù)據(jù)驅(qū)動(dòng)的基于視覺的遙操作方法，這些方法首先使用深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）獲得3D手勢或識(shí)別手勢類別，然后再映射人的相應(yīng)位置到機(jī)器人上。比如，希臘克里特大學(xué)Antonis Argyros團(tuán)隊(duì)提供了三種基于深度相機(jī)的人體位姿估計(jì)和跟蹤方法，然后通過逆運(yùn)動(dòng)學(xué)過程將人體運(yùn)動(dòng)映射到NAO人形機(jī)器人，從而實(shí)現(xiàn)對(duì)人性機(jī)器人的操作[9]。然而，這類解決方案不僅依賴于手勢估計(jì)或分類的準(zhǔn)確性，而且增加后處理的時(shí)間成本。

2019年，德國漢堡大學(xué)張建偉課題組和清華大學(xué)孫富春課題組共同提出TeachNet，一個(gè)直接從人類手指深度圖獲取機(jī)器人關(guān)節(jié)角度的深度學(xué)習(xí)網(wǎng)絡(luò)[10]。這種方法只需使用一個(gè)深度相機(jī)，并實(shí)現(xiàn)端到端地控制機(jī)器人，是非常直觀和用戶友好的遙操作方法。TeachNet結(jié)合了一個(gè)一致性損失函數(shù)consistency loss，可以處理人手和機(jī)器手的外觀和內(nèi)在結(jié)構(gòu)差異。這個(gè)網(wǎng)絡(luò)的訓(xùn)練依賴于一個(gè)合成的400K人手-機(jī)器手?jǐn)?shù)據(jù)集，其中人手?jǐn)?shù)據(jù)來自于人手位姿深度圖像數(shù)據(jù)集BigHand2.0，然后在Gazebo中采集對(duì)應(yīng)每個(gè)人手的的機(jī)器手深度圖像。最后，作者在5個(gè)不同操作者的抓取實(shí)驗(yàn)中證明了TeachNet的穩(wěn)定性和高效率。但是這種方法僅限于機(jī)器手的控制，無法移動(dòng)機(jī)械手使之在可達(dá)工作空間內(nèi)進(jìn)行抓取。

進(jìn)一步，2019年，美國NVIDIA研究所和卡梅隆大學(xué)共同開發(fā)了一種低成本的基于視覺的遠(yuǎn)程操作系統(tǒng)DexPilot，該系統(tǒng)允許僅觀察裸手就能完全控制整個(gè)23 DOF的機(jī)械臂-手系統(tǒng)[11]。DexPilot使操作員能夠執(zhí)行各種復(fù)雜的操作任務(wù)如擰瓶蓋、轉(zhuǎn)方塊、從錢夾取紙幣等，而不僅僅是簡單的抓取和放置操作。作者首先使用一個(gè)彩色的織物手套采集了一個(gè)人手姿勢先驗(yàn)數(shù)據(jù)集，然后使用點(diǎn)云作為輸入，結(jié)合PointNet++獲得人手位姿和關(guān)節(jié)先驗(yàn)，然后使用DART和動(dòng)力學(xué)重定向?qū)⑷耸株P(guān)節(jié)角映射到allegro手的關(guān)節(jié)上。最終通過兩個(gè)演示者完成各種任務(wù)的速度和可靠性指標(biāo)，驗(yàn)證了即使沒有觸覺反饋該系統(tǒng)仍具有高可靠性和高度靈敏性。

然而基于視覺的遙操作方法明顯不能適應(yīng)于黑暗或者物體被遮擋的情況，因此將視覺與觸覺/力反饋融合，將更好地實(shí)現(xiàn)魯棒的遙操作算法。比如，增加機(jī)器人抓取時(shí)的滑動(dòng)檢測和力估計(jì)，或者操作者非示教部位如胳膊或左手用于感受觸覺反饋，從而減輕用戶的控制負(fù)擔(dān)并避免機(jī)器人的意外碰撞。另一方面，當(dāng)人手被遮擋或者抓握其他物體時(shí)，如何解決人手角估計(jì)是3D人手姿態(tài)估計(jì)需要解決的一個(gè)方向。再者，基于視覺的遙操作使操作者總是限定于固定的相機(jī)系統(tǒng)區(qū)域，不能實(shí)現(xiàn)移動(dòng)式遙操作。如何將人手跟蹤和人手關(guān)節(jié)角估計(jì)共同應(yīng)用到機(jī)器人的遙操作中也是非常有趣。