1、論文背景
機(jī)器人可以為殘疾人或老年人的日常生活提供極大幫助,比如說(shuō)機(jī)器人輔助穿衣。然而穿衣過(guò)程中,用戶上肢的突然動(dòng)作可能導(dǎo)致穿衣任務(wù)的失敗,甚至為用戶帶來(lái)危險(xiǎn)。使用視覺(jué)傳感器實(shí)時(shí)追蹤用戶上肢運(yùn)動(dòng)(user posture tracking)非常困難,因?yàn)橐路蜋C(jī)器人都對(duì)用戶造成了遮擋。例如,使用開(kāi)源骨骼追蹤框架(OpenNI Skeleton Tracker [1])和深度學(xué)習(xí)方法OpenPose [2],均無(wú)法實(shí)施準(zhǔn)確的追蹤用戶上肢運(yùn)動(dòng)。
為了解決上述問(wèn)題,我們提出了一種多傳感器信息融合的人體骨骼實(shí)時(shí)追蹤方法。本文研究主要包括以下三點(diǎn):第一,我們通過(guò)高斯隱變量模型(Gaussian Process Latent VariableModel,GP-LVM),將運(yùn)動(dòng)上肢的高維運(yùn)動(dòng)映射至低維度的隱變量空間中(latent space)。該空間可以針對(duì)不同用戶的不同上肢殘疾特點(diǎn),建立個(gè)性化用戶輔助模型(personalized user model)。第二,我們?cè)陔[變量空間中使用貝葉斯網(wǎng)絡(luò)(Bayesian networks),該網(wǎng)絡(luò)融合了機(jī)器人和用戶之間力的信息,以及機(jī)器人末端位置信息,進(jìn)而實(shí)時(shí)追蹤人體上肢運(yùn)動(dòng)。第三,我們使用層級(jí)多任務(wù)控制(hierarchical multi-task control),使機(jī)器人既可以基于力的信息自動(dòng)改變運(yùn)動(dòng)軌跡從而保證用戶安全,又可以完成穿衣任務(wù)。
圖1 Baxter機(jī)器人輔助殘疾人穿衣
2、系統(tǒng)概述
如圖2所示,我們要求健康用戶穿著繃帶來(lái)模擬上肢殘疾情況。我們將采集用戶上肢隨機(jī)運(yùn)動(dòng)的數(shù)據(jù),將其映射至二維隱變量空間中建立個(gè)性化用戶模型。在該二維空間中,我們采用基于概率的粒子濾波方法(particle filter),完成多傳感器信息融合(機(jī)器人與用戶間力的信息,機(jī)器人末端執(zhí)行器位置信息),從而實(shí)現(xiàn)用戶上肢運(yùn)動(dòng)的實(shí)時(shí)準(zhǔn)確追蹤。在我們之前的研究中 [3], 我們將機(jī)器人穿衣動(dòng)作描述為兩個(gè)層級(jí)任務(wù):高層級(jí)任務(wù)即機(jī)器人根據(jù)力的信息調(diào)整運(yùn)動(dòng)軌跡,從而實(shí)時(shí)減小用戶的受力情況,確保用戶的舒適與安全;低層級(jí)任務(wù)即通過(guò)PD控制完成從瘦-肘-肩關(guān)鍵的穿衣軌跡,該軌跡由本文的用戶上肢追蹤方法實(shí)時(shí)更新。
圖2 系統(tǒng)概括圖
圖3展示了完整的穿衣過(guò)程。當(dāng)用戶在穿衣過(guò)程抬起胳膊時(shí),機(jī)器人也相應(yīng)改變軌跡來(lái)減少受力情況,并實(shí)時(shí)運(yùn)行至新的肘關(guān)節(jié)和肩關(guān)節(jié)位置。
圖3 機(jī)器人穿衣過(guò)程
圖4 展示了在低維隱變量空間內(nèi)粒子濾波的過(guò)程。我們根據(jù)力和位置的信息為每個(gè)粒子賦予新權(quán)重,從而循環(huán)更新。圖中顏色越淺代表權(quán)重越高。
圖4 低維隱變量空間內(nèi)粒子濾波
3、實(shí)驗(yàn)分析
本文首先對(duì)隱變量空間個(gè)性化用戶模型進(jìn)行分析,如圖5所示。該模型有一下3個(gè)特點(diǎn):第一,該模型可以描述不同用戶的不同上肢殘疾特點(diǎn)。圖5里面不同顏色即代表不同殘疾情況的運(yùn)動(dòng)空間;第二點(diǎn),低維空間極大減小了粒子濾波的計(jì)算量;第三點(diǎn),該個(gè)性化模型權(quán)衡了用戶殘疾上肢運(yùn)動(dòng)的可達(dá)性 (reachability) 和用戶偏好(preference)。
本文還進(jìn)行了一些列對(duì)比試驗(yàn),其中包括了與只用視覺(jué)方法追蹤的誤差比較,如圖6所示。本文所提出的方法產(chǎn)生了3.3cm的誤差,是視覺(jué)追蹤誤差的六分之一。
本文在20名用戶上完成了相關(guān)實(shí)驗(yàn)測(cè)試。每個(gè)用戶進(jìn)行50次試驗(yàn)并模擬不同的殘疾類(lèi)型,如圖7所示。
4、分析與結(jié)論
本文提出了一種利用多傳感器信息在低維隱變量空間中實(shí)時(shí)追蹤用戶運(yùn)動(dòng)的方法。該方法為在物理人機(jī)交互(physical human-robot interaction)中,當(dāng)人體運(yùn)動(dòng)被嚴(yán)重遮擋而無(wú)法用單一視覺(jué)信息完成追蹤的問(wèn)題,提供了一種解決方案。
參考文獻(xiàn):
[1] http://wiki.ros.org/openni_tracker
[2] Cao, Zhe, et al. "Realtimemulti-person 2d pose estimation using part affinity fields." Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. 2017
[3] Zhang, Fan, Antoine Cully, andYiannis Demiris. "Personalized robot-assisted dressing using user modelingin latent spaces." 2017 IEEE/RSJ International Conference on IntelligentRobots and Systems (IROS). IEEE, 2017.
在下肢外骨骼機(jī)器人的穩(wěn)定性評(píng)估、步態(tài)規(guī)劃和平衡控制中,人機(jī)系統(tǒng)質(zhì)心是重要的參數(shù)之一
多臺(tái)貨箱到人機(jī)器人正在運(yùn)行,攜帶著貨箱輕巧敏捷地來(lái)回穿梭于存儲(chǔ)區(qū)和工位之間,高速完成美妝產(chǎn)品的存揀作業(yè)。這是業(yè)內(nèi)首個(gè)多層貨箱到人機(jī)器人解決方案的落地應(yīng)用,相較同等面積的人工倉(cāng),效率提升2.5倍。
基于計(jì)算機(jī)視覺(jué)的智能識(shí)別技術(shù) 和SLAM定位技術(shù)的引入,則實(shí)現(xiàn)了目標(biāo)與用戶的動(dòng)態(tài)精準(zhǔn)識(shí)別和交互。能夠輔助課堂教學(xué),提升遠(yuǎn)程教學(xué)和溝通效率,營(yíng)造場(chǎng)景化教學(xué)新體驗(yàn)
配送機(jī)器人綜合了SLAM、智能導(dǎo)航避障、多機(jī)調(diào)度、人機(jī)交互等人工智能技術(shù),為餐廳、酒店、樓宇等廣泛場(chǎng)景提供配送機(jī)器人解決方案,在高動(dòng)態(tài)的商業(yè)環(huán)境下精確建圖和定位,實(shí)現(xiàn)高效運(yùn)行,降低企業(yè)成本
高精度機(jī)器人操控的五類(lèi)方法:(1)基于傳感信息的方法(2)基于柔順機(jī)構(gòu)的方法(3)基于環(huán)境約束的方法(4)基于感知約束集成的方法(5)仿生的方法
機(jī)器人商業(yè)落地案例YOGO ROBOT,YOGO與寶山區(qū)政府合作,打造機(jī)器人智慧樓宇集群。
新一代下肢康復(fù)外骨骼機(jī)器人自主研發(fā),可以實(shí)現(xiàn)無(wú)拐杖輔助下平地行走、跨越障礙、轉(zhuǎn)彎以及上下樓梯等場(chǎng)景,幫助穿戴者釋放上肢負(fù)擔(dān),擴(kuò)大運(yùn)動(dòng)范圍、增加平衡性和安全性
國(guó)外外骨骼機(jī)器人的研究早于國(guó)內(nèi),商業(yè)化水平也高,我國(guó)是繼美國(guó)、以色列和日本之后,第四個(gè)成功研發(fā)外骨骼機(jī)器人的國(guó)家
機(jī)器人遙操作已廣泛應(yīng)用在醫(yī)療領(lǐng)域、極端環(huán)境探索如太空與深海場(chǎng)景、防恐防爆應(yīng)用場(chǎng)景,及基于工業(yè)機(jī)械臂的自動(dòng)化生產(chǎn)中
新冠病毒凸顯了機(jī)器人在與傳染病對(duì)抗中的重要作用,機(jī)器人不會(huì)感染傳染病
一種基于卷積神經(jīng)網(wǎng)絡(luò)的綜合觸覺(jué)識(shí)別框架,可以利用對(duì)象的語(yǔ)義屬性描述和觸覺(jué)數(shù)據(jù)的融合來(lái)實(shí)現(xiàn)對(duì)新對(duì)象的識(shí)別
觸覺(jué)實(shí)現(xiàn)的各個(gè)環(huán)節(jié)中:觸覺(jué)機(jī)理復(fù)雜、觸覺(jué)數(shù)據(jù)難以獲取、觸覺(jué)系統(tǒng)真再現(xiàn)實(shí)度低、觸覺(jué)應(yīng)用數(shù)量少