首頁
產(chǎn)品系列
行業(yè)應用
渠道合作
新聞中心
研究院
投資者關(guān)系
技術(shù)支持
關(guān)于創(chuàng)澤
| En
 
  當前位置:首頁 > 新聞資訊 > 機器人應用 > 機器人遙操作  
 

機器人遙操作

來源:--      編輯:創(chuàng)澤      時間:2020/5/6      主題:其他   [加盟]

機器人遙操作(Teleoperation),也可以稱為Telerobotics,是指在相關(guān)機器人控制中把人類操作包含在控制回路中,任何的上層規(guī)劃和認知決定都是由人類用戶下達,而機器人本體只是負責相應的實體應用。當機器人處理復雜的感知和大量任務時,在快速做出決策和處理極端情況時,遙距操作遠遠優(yōu)于智能編程。

目前遙操作已廣泛應用在醫(yī)療領(lǐng)域、極端環(huán)境探索如太空與深海場景、防恐防爆應用場景,及基于工業(yè)機械臂的自動化生產(chǎn)中。機器人遙操作可以大致分為基于設備的接觸式遙操作和基于無標記的視覺遙操作兩大類。2009年以前的工作可以參考[1],下面就近幾年的遙操作發(fā)展進行介紹。本文主要關(guān)注服務機器人和工業(yè)機器人,不涉及醫(yī)療機器人,如對醫(yī)療機器人感興趣可參考[2]。

一、接觸式遙操作

接觸式遙操作通常通過遙操作者穿戴或操作不同類型的設備來實現(xiàn)。這些設備有操作桿、類如Apriltag的標記物,慣性測量單元IMU,肌電圖(EMG)信號傳感器,虛擬現(xiàn)實VR/增強現(xiàn)實AR設備以及前景廣闊的觸覺設備等。

1. 基于IMU和EMG的遙操作

基于IMU和EMG的遙操作方法成本低且高效易操作。2017年,清華大學孫富春教授課題組設計了一個集成18個IMU的穿戴手套,并開發(fā)了基于擴展卡爾曼濾波器的多模態(tài)融合算法用于推算人手臂和手的方向與位置[3]。這種新穎的遙控方案穩(wěn)定地應用于由SCHUNK手臂和Barrett三指手構(gòu)成的11DOF機械臂-手系統(tǒng),以及由UR5和Barrett三指手構(gòu)成的10DOF機械臂-手系統(tǒng),其中操作員的手指用于機械手遙控,而手掌的手臂用于機械臂遙控。

2019年,哥倫比亞團隊提出了一種由EMG驅(qū)動的非擬人化機器人手遙操作方法,這種方法將人前臂的EMG信號連續(xù)映射與遠程操作相關(guān)的三個子空間中,然后再從這個子空間映射到機器人手的關(guān)節(jié)空間[4]。這個方法有效且直觀,使新手操作者更快熟悉操作方案,可以魯棒地完成遠程操作拾取和放置任務。


2. 基于VR/AR的遙操作

基于虛擬現(xiàn)實的機器人遙操作是克服時延的有效方法,具有透明性強、穩(wěn)定性高的優(yōu)點,成為當前機器人遙操作的主要方式。漢堡大學團隊使用微軟hololens穿戴式眼鏡,基于混合現(xiàn)實(MR)技術(shù)為人機交互(HRI)場景開辟了遙操作的新前景[5]。在MR人機協(xié)作系統(tǒng)中,操作員不僅可以看到機器人的真實工作場景,并且其他虛擬信息可以疊加在真實場景的視圖上,實現(xiàn)直觀自然地控制用于抓取和放置任務的機器人。特別是在機器人執(zhí)行動作之前,操作員可預覽機器人的潛在規(guī)劃動作,可以減少損壞系統(tǒng)或傷害操作人員的風險。此外,作者也在多機器人系統(tǒng)的交付服務任務中驗證了這個系統(tǒng)。這些研究為未來VR、AR及MR裝備的設計及虛擬現(xiàn)實在機器人方向上的應用提供了重要的啟示。

3. 融合觸覺反饋的遙操作

觸覺反饋對于接觸豐富的外部操作任務至關(guān)重要,觸覺設備已在外科手術(shù)機器人中得到廣泛研究,并用于在虛擬現(xiàn)實應用程序中收集訓練數(shù)據(jù),如HaptX development kit。一些商業(yè)產(chǎn)品CyberGlove、HaptX以物理阻力和空間接觸的形式提供了觸覺反饋,但是這種好處伴隨著成本的增加。HaptX與Converge Robotics Group(由國際公司組成的財團)共同開發(fā)了TactileTelerobot遠程機器人,以推動觸覺和機器人技術(shù)的發(fā)展 [6]。TactileTelerobot是世界上第一個能夠?qū)⒈普娴挠|摸反饋傳輸給位于世界各地的操作員的機器人系統(tǒng),該系統(tǒng)集成了三個主要產(chǎn)品,每個主要產(chǎn)品都在其類別中處于領(lǐng)先地位:Shadow Robot Hands,SynTouch BioTac傳感器和HaptX Gloves。Tactile Telerobot通過真實無延遲的觸覺反饋實現(xiàn)了多種機械手靈巧操作,如倒水、擰瓶蓋、轉(zhuǎn)魔方、寫字、開紙盒、幫人帶耳機,甚至人體按摩等。

當然這種昂貴的觸覺設備并不是每個組都可以擁有,因此還有一些雙向遙操作控制設備在[7]中,通過定義一個虛擬的操作對象來捕獲在master側(cè)人手的運動及slace側(cè)相關(guān)的力反饋。

除了使用遙操作技術(shù)對機械臂或者機器手的控制,2020年西英格蘭大學的楊辰光團隊提出了一種用于全向移動機器人的EMG與觸覺設備混合控制方法[8]。這種混合共享控制方法基于肌電圖和人工勢場,用以根據(jù)排斥力和吸引力避開障礙物,并基于移動平臺的力反饋增強人類對遠程環(huán)境的感知。這種共享控制方法使遙操作者遠程控制移動機器人的運動并同步實現(xiàn)避障。與傳統(tǒng)的共享控制方法相比,該提議的方法提供了基于肌肉激活的力反饋,并驅(qū)動操作者以可預測的方式更新其控制意圖。最終通過各種避障實驗表明這種遙控方法對移動機器人控制的有效性。


二、基于無標記的視覺遙操作

與基于接觸式或可穿戴設備的遠程操作不同,基于無標記的視覺遠程操作具有還原人體四肢自然運動且侵入性較小的優(yōu)點。特別是針對高自由度的機器手的遙操作,使用穿戴手套的方法必須根據(jù)操作者進行定制手套大小,并且手套容易影響的關(guān)節(jié)自然運動,而基于IMU或EMG的方法通用性和靈活性較低。因此無標記的視覺方法尤其適用于靈巧手的遠程操作,這樣有利于捕獲手指的所有運動。

基于分析視覺的遠程操作分為兩類:基于模型的(model-)方法和基于外觀的(appearance-)方法;谀P偷姆椒ㄌ峁┻B續(xù)的解決方案,但計算量大,通常取決于多相機系統(tǒng)的可用性。相反,基于外觀的方法可以識別離散數(shù)量的手勢,這些手勢通常對應于該方法的訓練集,而無需高昂的計算成本和硬件復雜性。最近,越來越多的研究人員致力于基于數(shù)據(jù)驅(qū)動的基于視覺的遙操作方法,這些方法首先使用深度卷積神經(jīng)網(wǎng)絡(CNN)獲得3D手勢或識別手勢類別,然后再映射人的相應位置到機器人上。比如,希臘克里特大學Antonis Argyros團隊提供了三種基于深度相機的人體位姿估計和跟蹤方法,然后通過逆運動學過程將人體運動映射到NAO人形機器人,從而實現(xiàn)對人性機器人的操作[9]。然而,這類解決方案不僅依賴于手勢估計或分類的準確性,而且增加后處理的時間成本。

2019年,德國漢堡大學張建偉課題組和清華大學孫富春課題組共同提出TeachNet,一個直接從人類手指深度圖獲取機器人關(guān)節(jié)角度的深度學習網(wǎng)絡[10]。這種方法只需使用一個深度相機,并實現(xiàn)端到端地控制機器人,是非常直觀和用戶友好的遙操作方法。TeachNet結(jié)合了一個一致性損失函數(shù)consistency loss,可以處理人手和機器手的外觀和內(nèi)在結(jié)構(gòu)差異。這個網(wǎng)絡的訓練依賴于一個合成的400K人手-機器手數(shù)據(jù)集,其中人手數(shù)據(jù)來自于人手位姿深度圖像數(shù)據(jù)集BigHand2.0,然后在Gazebo中采集對應每個人手的的機器手深度圖像。最后,作者在5個不同操作者的抓取實驗中證明了TeachNet的穩(wěn)定性和高效率。但是這種方法僅限于機器手的控制,無法移動機械手使之在可達工作空間內(nèi)進行抓取。


進一步,2019年,美國NVIDIA研究所和卡梅隆大學共同開發(fā)了一種低成本的基于視覺的遠程操作系統(tǒng)DexPilot,該系統(tǒng)允許僅觀察裸手就能完全控制整個23 DOF的機械臂-手系統(tǒng)[11]。DexPilot使操作員能夠執(zhí)行各種復雜的操作任務如擰瓶蓋、轉(zhuǎn)方塊、從錢夾取紙幣等,而不僅僅是簡單的抓取和放置操作。作者首先使用一個彩色的織物手套采集了一個人手姿勢先驗數(shù)據(jù)集,然后使用點云作為輸入,結(jié)合PointNet++獲得人手位姿和關(guān)節(jié)先驗,然后使用DART和動力學重定向?qū)⑷耸株P(guān)節(jié)角映射到allegro手的關(guān)節(jié)上。最終通過兩個演示者完成各種任務的速度和可靠性指標,驗證了即使沒有觸覺反饋該系統(tǒng)仍具有高可靠性和高度靈敏性。

然而基于視覺的遙操作方法明顯不能適應于黑暗或者物體被遮擋的情況,因此將視覺與觸覺/力反饋融合,將更好地實現(xiàn)魯棒的遙操作算法。比如,增加機器人抓取時的滑動檢測和力估計,或者操作者非示教部位如胳膊或左手用于感受觸覺反饋,從而減輕用戶的控制負擔并避免機器人的意外碰撞。另一方面,當人手被遮擋或者抓握其他物體時,如何解決人手角估計是3D人手姿態(tài)估計需要解決的一個方向。再者,基于視覺的遙操作使操作者總是限定于固定的相機系統(tǒng)區(qū)域,不能實現(xiàn)移動式遙操作。如何將人手跟蹤和人手關(guān)節(jié)角估計共同應用到機器人的遙操作中也是非常有趣。


  



機器人抗擊傳染病

新冠病毒凸顯了機器人在與傳染病對抗中的重要作用,機器人不會感染傳染病

基于深度學習框架的機器人觸覺感知研究

一種基于卷積神經(jīng)網(wǎng)絡的綜合觸覺識別框架,可以利用對象的語義屬性描述和觸覺數(shù)據(jù)的融合來實現(xiàn)對新對象的識別

機器人觸覺交互研究

觸覺實現(xiàn)的各個環(huán)節(jié)中:觸覺機理復雜、觸覺數(shù)據(jù)難以獲取、觸覺系統(tǒng)真再現(xiàn)實度低、觸覺應用數(shù)量少

腕力和觸覺對機器人操作任務的影響

觸覺感知在提高自主機器人的操作能力方面是至關(guān)重要,一般包括力-力矩和觸覺兩種方式

喂食機器人--技術(shù)分享

機器人在自動喂食操作中需要適應各種不同材料、大小和形狀的食品,通過分析機器人固定位置控制策略的性能,強調(diào)了柔順性控制策略的重要性。

激光SLAM室內(nèi)移動機器人中的應用

Gmapping和KartoSLAM的表現(xiàn)最好,可以應用到移動機器人平臺實踐中

手術(shù)機器人智能技術(shù)的進展與挑戰(zhàn)

手術(shù)機器人另一個新興方向是微納機器人,是一個新興領(lǐng)域,也是目前手術(shù)機器人領(lǐng)域面臨的又一重大挑戰(zhàn)

機器人運動路徑規(guī)劃方法

機器人運動路徑規(guī)劃的性能指標包括:實時性、安全性和可達性等,主要包括模糊控制、神經(jīng)網(wǎng)絡、遺傳算法以及它們的相互結(jié)合等方法。
 
資料獲取
新聞資訊
== 資訊 ==
» 人形機器人未來3-5年能夠?qū)崿F(xiàn)產(chǎn)業(yè)化的方
» 導診服務機器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關(guān)于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達傳感技術(shù)室內(nèi)照明應用規(guī)范
» 人工智能研發(fā)運營體系(ML0ps)實踐指
» 四驅(qū)四轉(zhuǎn)移動機器人運動模型及應用分析
» 國內(nèi)細分賽道企業(yè)在 AIGC 各應用場景
» 國內(nèi)科技大廠布局生成式 AI,未來有望借
» AIGC領(lǐng)域相關(guān)初創(chuàng)公司及業(yè)務場景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應用場景豐富
» AI 內(nèi)容創(chuàng)作成本大幅降低且耗時更短 優(yōu)
 
== 機器人推薦 ==
 
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人底盤

機器人底盤

 

商用機器人  Disinfection Robot   展廳機器人  智能垃圾站  輪式機器人底盤  迎賓機器人  移動機器人底盤  講解機器人  紫外線消毒機器人  大屏機器人  霧化消毒機器人  服務機器人底盤  智能送餐機器人  霧化消毒機  機器人OEM代工廠  消毒機器人排名  智能配送機器人  圖書館機器人  導引機器人  移動消毒機器人  導診機器人  迎賓接待機器人  前臺機器人  導覽機器人  酒店送物機器人  云跡科技潤機器人  云跡酒店機器人  智能導診機器人 
版權(quán)所有 © 創(chuàng)澤智能機器人集團股份有限公司     中國運營中心:北京·清華科技園九號樓5層     中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728