創(chuàng)澤機器人 |
CHUANGZE ROBOT |
隨著自然語言處理技術(shù)的發(fā)展以及客戶需求的提高,當(dāng)機器人進入以人為主的環(huán)境時,必須學(xué)會理解人類語言,完成指定任務(wù)。相較于傳統(tǒng)只對場景做出反應(yīng)的機器人操作方法,結(jié)合語義輸入,讓機器人理解人類語言,根據(jù)場景和自然語言指令完成相應(yīng)任務(wù),能為人機協(xié)作帶來更大的便利性。然而,目前該方法具有如下限制:
(1)依賴手工編碼任務(wù)符號來實現(xiàn)語義表達(dá),限制了語義層面的泛化性。
(2)從指令中推斷動作序列時,需要密集的子目標(biāo)監(jiān)督。
(3)缺乏更深層次的以目標(biāo)為中心的推理方法,在解釋復(fù)雜指令時不連貫。
針對上述問題,該文章提出了一種可感知視覺場景,同時處理語言輸入的端到端可訓(xùn)練的模型。該模型使用視覺輸入得到當(dāng)前場景中物體在初始狀態(tài)下的位置關(guān)系,以語義文字推理目標(biāo)狀態(tài)下對應(yīng)的位置關(guān)系,實現(xiàn)由自然語言引導(dǎo)機器人進行技能操作。 相關(guān)成果以“Learning Neuro-symbolic Programs for Language Guided Robot Manipulation”為題發(fā)表于International Conference on Robotic and Automation (ICRA)會議中。
該文章提出了一種新型神經(jīng)符號模型,使用自然語言推理目標(biāo)場景,實現(xiàn)在給定初始場景和目標(biāo)場景的情況下即可學(xué)習(xí)執(zhí)行復(fù)雜的操作任務(wù),并展示了如何在不需要任何中間監(jiān)督的情況下,僅使用初始與目標(biāo)兩個場景作為監(jiān)督來獲取機器人操作動作的密集表示。 實驗表明,該文章的方法可通過端到端的訓(xùn)練而不需進行任何子目標(biāo)監(jiān)督,即可展現(xiàn)出強大的指令理解能力,并對新場景和指令展現(xiàn)出強大的泛化能力,為將來基于自然語言的人機協(xié)作,機器人的語義指令集的拓展提供了新的參考思路。
1、模型結(jié)構(gòu)設(shè)計
該端到端模型的結(jié)構(gòu)如圖1所示,由視覺提取器、語言解釋器、視覺解釋器、動作模擬器組成。輸入初始場景和基于自然語言的任務(wù)指令,模型輸出完成該指令所需的動作參數(shù),以及預(yù)測完成任務(wù)后的最終場景。
視覺提取器相當(dāng)于一個目標(biāo)檢測模型,用于識別初始場景下的物體信息。以圖11為例,輸入桌面初始狀態(tài)的圖像,視覺提取器輸出各個物體的外接框、顏色信息及物體名稱,并由外接框在桌面上的相對位置推斷物體的位置信息。
語言解釋器用于處理自然語言指令推理任務(wù)中隱含的操作動作。例如圖中“移動綠色骰子后面的紅色骰子至紅色方塊的右邊”這句指令,語言解釋器經(jīng)過推理會得到完成該任務(wù)需要進行“移動”動作,移動的物體是“位于綠色骰子后面的紅色骰子”,目標(biāo)是“紅色方塊右邊”,并可屏蔽“綠色方塊”和“藍(lán)色骰子”這些與完成任務(wù)無關(guān)的信息。推理完畢后,以專用指令集組合出推理結(jié)果。
專用指令集的結(jié)構(gòu)如圖2所示,分為“關(guān)鍵詞”和“操作詞”,前者用于描述物體信息,后者用于表示操作信息。
視覺解釋器結(jié)合前二者輸出的場景信息和任務(wù)指令集,輸出完成該任務(wù)所需的參數(shù)化表示,交由任務(wù)模擬器生成機器人所能執(zhí)行的動作參數(shù),并預(yù)測完成任務(wù)后的場景情況。
以預(yù)測場景和數(shù)據(jù)集中提前設(shè)定好的目標(biāo)場景做差,設(shè)置損失函數(shù),即可實現(xiàn)端到端的訓(xùn)練過程。
機器人底盤 Disinfection Robot 消毒機器人 講解機器人 迎賓機器人 移動機器人底盤 商用機器人 智能垃圾站 智能服務(wù)機器人 大屏機器人 霧化消毒機器人 紫外線消毒機器人 消毒機器人價格 展廳機器人 服務(wù)機器人底盤 核酸采樣機器人 機器人代工廠 智能配送機器人 噴霧消毒機器人 圖書館機器人 導(dǎo)引機器人 移動消毒機器人 導(dǎo)診機器人 迎賓接待機器人 前臺機器人 消殺機器人 導(dǎo)覽機器人 |