機(jī)器人遙操作(Teleoperation)，也可以稱為Telerobotics，是指在相關(guān)機(jī)器人控制中把人類操作包含在控制回路中，任何的上層規(guī)劃和認(rèn)知決定都是由人類用戶下達(dá)，而機(jī)器人本體只是負(fù)責(zé)相應(yīng)的實體應(yīng)用。當(dāng)機(jī)器人處理復(fù)雜的感知和大量任務(wù)時，在快速做出決策和處理極端情況時，遙距操作遠(yuǎn)遠(yuǎn)優(yōu)于智能編程。

目前遙操作已廣泛應(yīng)用在醫(yī)療領(lǐng)域、極端環(huán)境探索如太空與深海場景、防恐防爆應(yīng)用場景，及基于工業(yè)機(jī)械臂的自動化生產(chǎn)中。機(jī)器人遙操作可以大致分為基于設(shè)備的接觸式遙操作和基于無標(biāo)記的視覺遙操作兩大類。2009年以前的工作可以參考[1]，下面就近幾年的遙操作發(fā)展進(jìn)行介紹。本文主要關(guān)注服務(wù)機(jī)器人和工業(yè)機(jī)器人，不涉及醫(yī)療機(jī)器人，如對醫(yī)療機(jī)器人感興趣可參考[2]。

一、接觸式遙操作

接觸式遙操作通常通過遙操作者穿戴或操作不同類型的設(shè)備來實現(xiàn)。這些設(shè)備有操作桿、類如Apriltag的標(biāo)記物，慣性測量單元IMU，肌電圖（EMG）信號傳感器，虛擬現(xiàn)實VR/增強現(xiàn)實AR設(shè)備以及前景廣闊的觸覺設(shè)備等。

1. 基于IMU和EMG的遙操作

基于IMU和EMG的遙操作方法成本低且高效易操作。2017年，清華大學(xué)孫富春教授課題組設(shè)計了一個集成18個IMU的穿戴手套，并開發(fā)了基于擴(kuò)展卡爾曼濾波器的多模態(tài)融合算法用于推算人手臂和手的方向與位置[3]。這種新穎的遙控方案穩(wěn)定地應(yīng)用于由SCHUNK手臂和Barrett三指手構(gòu)成的11DOF機(jī)械臂-手系統(tǒng)，以及由UR5和Barrett三指手構(gòu)成的10DOF機(jī)械臂-手系統(tǒng)，其中操作員的手指用于機(jī)械手遙控，而手掌的手臂用于機(jī)械臂遙控。

2019年，哥倫比亞團(tuán)隊提出了一種由EMG驅(qū)動的非擬人化機(jī)器人手遙操作方法，這種方法將人前臂的EMG信號連續(xù)映射與遠(yuǎn)程操作相關(guān)的三個子空間中，然后再從這個子空間映射到機(jī)器人手的關(guān)節(jié)空間[4]。這個方法有效且直觀，使新手操作者更快熟悉操作方案，可以魯棒地完成遠(yuǎn)程操作拾取和放置任務(wù)。

2. 基于VR/AR的遙操作

基于虛擬現(xiàn)實的機(jī)器人遙操作是克服時延的有效方法,具有透明性強、穩(wěn)定性高的優(yōu)點,成為當(dāng)前機(jī)器人遙操作的主要方式。漢堡大學(xué)團(tuán)隊使用微軟hololens穿戴式眼鏡，基于混合現(xiàn)實（MR）技術(shù)為人機(jī)交互（HRI）場景開辟了遙操作的新前景[5]。在MR人機(jī)協(xié)作系統(tǒng)中，操作員不僅可以看到機(jī)器人的真實工作場景，并且其他虛擬信息可以疊加在真實場景的視圖上，實現(xiàn)直觀自然地控制用于抓取和放置任務(wù)的機(jī)器人。特別是在機(jī)器人執(zhí)行動作之前，操作員可預(yù)覽機(jī)器人的潛在規(guī)劃動作，可以減少損壞系統(tǒng)或傷害操作人員的風(fēng)險。此外，作者也在多機(jī)器人系統(tǒng)的交付服務(wù)任務(wù)中驗證了這個系統(tǒng)。這些研究為未來VR、AR及MR裝備的設(shè)計及虛擬現(xiàn)實在機(jī)器人方向上的應(yīng)用提供了重要的啟示。

3. 融合觸覺反饋的遙操作

觸覺反饋對于接觸豐富的外部操作任務(wù)至關(guān)重要，觸覺設(shè)備已在外科手術(shù)機(jī)器人中得到廣泛研究，并用于在虛擬現(xiàn)實應(yīng)用程序中收集訓(xùn)練數(shù)據(jù)，如HaptX development kit。一些商業(yè)產(chǎn)品CyberGlove、HaptX以物理阻力和空間接觸的形式提供了觸覺反饋，但是這種好處伴隨著成本的增加。HaptX與Converge Robotics Group（由國際公司組成的財團(tuán)）共同開發(fā)了TactileTelerobot遠(yuǎn)程機(jī)器人，以推動觸覺和機(jī)器人技術(shù)的發(fā)展 [6]。TactileTelerobot是世界上第一個能夠?qū)⒈普娴挠|摸反饋傳輸給位于世界各地的操作員的機(jī)器人系統(tǒng)，該系統(tǒng)集成了三個主要產(chǎn)品，每個主要產(chǎn)品都在其類別中處于領(lǐng)先地位：Shadow Robot Hands，SynTouch BioTac傳感器和HaptX Gloves。Tactile Telerobot通過真實無延遲的觸覺反饋實現(xiàn)了多種機(jī)械手靈巧操作，如倒水、擰瓶蓋、轉(zhuǎn)魔方、寫字、開紙盒、幫人帶耳機(jī)，甚至人體按摩等。

當(dāng)然這種昂貴的觸覺設(shè)備并不是每個組都可以擁有，因此還有一些雙向遙操作控制設(shè)備在[7]中，通過定義一個虛擬的操作對象來捕獲在master側(cè)人手的運動及slace側(cè)相關(guān)的力反饋。

除了使用遙操作技術(shù)對機(jī)械臂或者機(jī)器手的控制，2020年西英格蘭大學(xué)的楊辰光團(tuán)隊提出了一種用于全向移動機(jī)器人的EMG與觸覺設(shè)備混合控制方法[8]。這種混合共享控制方法基于肌電圖和人工勢場，用以根據(jù)排斥力和吸引力避開障礙物，并基于移動平臺的力反饋增強人類對遠(yuǎn)程環(huán)境的感知。這種共享控制方法使遙操作者遠(yuǎn)程控制移動機(jī)器人的運動并同步實現(xiàn)避障。與傳統(tǒng)的共享控制方法相比，該提議的方法提供了基于肌肉激活的力反饋，并驅(qū)動操作者以可預(yù)測的方式更新其控制意圖。最終通過各種避障實驗表明這種遙控方法對移動機(jī)器人控制的有效性。

二、基于無標(biāo)記的視覺遙操作

與基于接觸式或可穿戴設(shè)備的遠(yuǎn)程操作不同，基于無標(biāo)記的視覺遠(yuǎn)程操作具有還原人體四肢自然運動且侵入性較小的優(yōu)點。特別是針對高自由度的機(jī)器手的遙操作，使用穿戴手套的方法必須根據(jù)操作者進(jìn)行定制手套大小，并且手套容易影響的關(guān)節(jié)自然運動，而基于IMU或EMG的方法通用性和靈活性較低。因此無標(biāo)記的視覺方法尤其適用于靈巧手的遠(yuǎn)程操作，這樣有利于捕獲手指的所有運動。

基于分析視覺的遠(yuǎn)程操作分為兩類：基于模型的（model-）方法和基于外觀的（appearance-）方法�；�于模型的方法提供連續(xù)的解決方案，但計算量大，通常取決于多相機(jī)系統(tǒng)的可用性。相反，基于外觀的方法可以識別離散數(shù)量的手勢，這些手勢通常對應(yīng)于該方法的訓(xùn)練集，而無需高昂的計算成本和硬件復(fù)雜性。最近，越來越多的研究人員致力于基于數(shù)據(jù)驅(qū)動的基于視覺的遙操作方法，這些方法首先使用深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）獲得3D手勢或識別手勢類別，然后再映射人的相應(yīng)位置到機(jī)器人上。比如，希臘克里特大學(xué)Antonis Argyros團(tuán)隊提供了三種基于深度相機(jī)的人體位姿估計和跟蹤方法，然后通過逆運動學(xué)過程將人體運動映射到NAO人形機(jī)器人，從而實現(xiàn)對人性機(jī)器人的操作[9]。然而，這類解決方案不僅依賴于手勢估計或分類的準(zhǔn)確性，而且增加后處理的時間成本。

2019年，德國漢堡大學(xué)張建偉課題組和清華大學(xué)孫富春課題組共同提出TeachNet，一個直接從人類手指深度圖獲取機(jī)器人關(guān)節(jié)角度的深度學(xué)習(xí)網(wǎng)絡(luò)[10]。這種方法只需使用一個深度相機(jī)，并實現(xiàn)端到端地控制機(jī)器人，是非常直觀和用戶友好的遙操作方法。TeachNet結(jié)合了一個一致性損失函數(shù)consistency loss，可以處理人手和機(jī)器手的外觀和內(nèi)在結(jié)構(gòu)差異。這個網(wǎng)絡(luò)的訓(xùn)練依賴于一個合成的400K人手-機(jī)器手?jǐn)?shù)據(jù)集，其中人手?jǐn)?shù)據(jù)來自于人手位姿深度圖像數(shù)據(jù)集BigHand2.0，然后在Gazebo中采集對應(yīng)每個人手的的機(jī)器手深度圖像。最后，作者在5個不同操作者的抓取實驗中證明了TeachNet的穩(wěn)定性和高效率。但是這種方法僅限于機(jī)器手的控制，無法移動機(jī)械手使之在可達(dá)工作空間內(nèi)進(jìn)行抓取。

進(jìn)一步，2019年，美國NVIDIA研究所和卡梅隆大學(xué)共同開發(fā)了一種低成本的基于視覺的遠(yuǎn)程操作系統(tǒng)DexPilot，該系統(tǒng)允許僅觀察裸手就能完全控制整個23 DOF的機(jī)械臂-手系統(tǒng)[11]。DexPilot使操作員能夠執(zhí)行各種復(fù)雜的操作任務(wù)如擰瓶蓋、轉(zhuǎn)方塊、從錢夾取紙幣等，而不僅僅是簡單的抓取和放置操作。作者首先使用一個彩色的織物手套采集了一個人手姿勢先驗數(shù)據(jù)集，然后使用點云作為輸入，結(jié)合PointNet++獲得人手位姿和關(guān)節(jié)先驗，然后使用DART和動力學(xué)重定向?qū)⑷耸株P(guān)節(jié)角映射到allegro手的關(guān)節(jié)上。最終通過兩個演示者完成各種任務(wù)的速度和可靠性指標(biāo)，驗證了即使沒有觸覺反饋該系統(tǒng)仍具有高可靠性和高度靈敏性。

然而基于視覺的遙操作方法明顯不能適應(yīng)于黑暗或者物體被遮擋的情況，因此將視覺與觸覺/力反饋融合，將更好地實現(xiàn)魯棒的遙操作算法。比如，增加機(jī)器人抓取時的滑動檢測和力估計，或者操作者非示教部位如胳膊或左手用于感受觸覺反饋，從而減輕用戶的控制負(fù)擔(dān)并避免機(jī)器人的意外碰撞。另一方面，當(dāng)人手被遮擋或者抓握其他物體時，如何解決人手角估計是3D人手姿態(tài)估計需要解決的一個方向。再者，基于視覺的遙操作使操作者總是限定于固定的相機(jī)系統(tǒng)區(qū)域，不能實現(xiàn)移動式遙操作。如何將人手跟蹤和人手關(guān)節(jié)角估計共同應(yīng)用到機(jī)器人的遙操作中也是非常有趣。