出發(fā)點(diǎn)&動(dòng)機(jī)

從人類(lèi)視頻中學(xué)習(xí)執(zhí)行操作任務(wù)是一種很有前景的機(jī)器人教學(xué)方法。然而，許多操作任務(wù)需要在任務(wù)執(zhí)行過(guò)程中改變控制參數(shù)（如力），而僅靠視覺(jué)數(shù)據(jù)無(wú)法捕捉這些信息。這里利用臂帶（測(cè)量人體肌肉活動(dòng)）和麥克風(fēng)（記錄聲音）等傳感設(shè)備，捕捉人類(lèi)操作過(guò)程中的細(xì)節(jié)，使機(jī)器人能夠提取任務(wù)計(jì)劃和控制參數(shù)以執(zhí)行相同任務(wù)。為此，引入了模態(tài)鏈（CoM），這是一種提示策略，使視覺(jué)語(yǔ)言模型（VLM）能夠?qū)Χ嗄B(tài)人類(lèi)演示數(shù)據(jù)（視頻結(jié)合肌肉或音頻信號(hào)）進(jìn)行推理。通過(guò)逐步整合來(lái)自每個(gè)模態(tài)的信息，CoM優(yōu)化任務(wù)計(jì)劃并生成詳細(xì)的控制參數(shù)，使機(jī)器人能夠基于單個(gè)多模態(tài)人類(lèi)視頻提示執(zhí)行操作任務(wù)。我們的實(shí)驗(yàn)表明，與基線方法相比，CoM在提取任務(wù)計(jì)劃和控制參數(shù)的準(zhǔn)確性上提高了三倍，并且在真實(shí)機(jī)器人實(shí)驗(yàn)中對(duì)新任務(wù)設(shè)置和物體具有很強(qiáng)的泛化能力。

背景介紹

機(jī)器人能否僅通過(guò)觀看一個(gè)人類(lèi)手部視頻演示，就能學(xué)會(huì)執(zhí)行物理挑戰(zhàn)性操作任務(wù)（如擰開(kāi)礦泉水瓶或打鼓）？實(shí)現(xiàn)這一能力的一種方法是從視頻中識(shí)別人類(lèi)任務(wù)計(jì)劃，然后將其轉(zhuǎn)化為可執(zhí)行的機(jī)器人技能。盡管視頻理解領(lǐng)域的最新進(jìn)展在動(dòng)作識(shí)別方面取得了有希望的結(jié)果，但許多操作技能需要精確指定控制參數(shù)，而這些參數(shù)僅從純視覺(jué)信息中難以推斷，例如：輕輕握住鑰匙進(jìn)行旋轉(zhuǎn)、用力插入插頭、輕敲鼓面以產(chǎn)生柔和的聲音。這一限制制約了機(jī)器人僅通過(guò)觀看人類(lèi)視頻執(zhí)行多樣化操作任務(wù)的能力。

這里的核心挑戰(zhàn)是，僅從人類(lèi)視頻數(shù)據(jù)中提取任務(wù)計(jì)劃非常困難，因?yàn)榧円曈X(jué)數(shù)據(jù)缺乏識(shí)別這些計(jì)劃所需的細(xì)節(jié)。一個(gè)關(guān)鍵觀察是，人類(lèi)任務(wù)計(jì)劃中的許多細(xì)節(jié)（如力和速度等控制參數(shù)）可以通過(guò)肌肉活動(dòng)和物體交互聲音等附加信號(hào)更好地捕捉。例如，插入電源插頭時(shí)，人類(lèi)會(huì)先以較小的力握住插頭調(diào)整方向，然后用力將其插入插座。在這項(xiàng)工作中，我們利用配備肌肉傳感器的現(xiàn)代臂帶和帶麥克風(fēng)的運(yùn)動(dòng)相機(jī)等傳感設(shè)備，收集包含圖像、肌肉活動(dòng)和物體交互聲音的多模態(tài)演示視頻。這些設(shè)備提供了人類(lèi)在操作過(guò)程中何時(shí)以及如何施加物理力的額外信息。然而，有效利用這些信號(hào)需要新的方法來(lái)對(duì)多模態(tài)人類(lèi)演示視頻進(jìn)行推理。

視覺(jué)語(yǔ)言模型（VLM）能夠解決從視覺(jué)推理到信號(hào)處理，甚至生成控制機(jī)器人的代碼等廣泛的實(shí)際問(wèn)題。長(zhǎng)上下文輸入的最新進(jìn)展進(jìn)一步使VLM能夠?qū)⒁曨l和長(zhǎng)序列數(shù)值信號(hào)作為輸入。這讓我們思考：VLM能否作為通用推理模型，從多模態(tài)演示視頻中推斷人類(lèi)任務(wù)計(jì)劃？大多數(shù)VLM應(yīng)用仍只接受單一模態(tài)作為輸入。為應(yīng)對(duì)這一挑戰(zhàn)，引入了模態(tài)鏈（CoM）框架，該框架提示VLM依次分析每個(gè)模態(tài)，通過(guò)整合來(lái)自每個(gè)模態(tài)的新信息逐步優(yōu)化答案。

CoM使VLM能夠通過(guò)分析單個(gè)多模態(tài)人類(lèi)視頻提取任務(wù)計(jì)劃和控制參數(shù)。借助CoM，附加模態(tài)的加入幫助VLM更好地分割子任務(wù)。例如，當(dāng)人類(lèi)打開(kāi)瓶子時(shí)，力數(shù)據(jù)中的三個(gè)峰值信號(hào)表明三次扭轉(zhuǎn)動(dòng)作。CoM使VLM能夠利用這些信息，首先將整個(gè)任務(wù)分割為粗略的任務(wù)框架，然后通過(guò)整合其他模態(tài)逐步填充更多細(xì)節(jié)。此外，從附加模態(tài)獲取的力信息使VLM能夠?yàn)橹T如“抓握”和“擊打”等技能生成更準(zhǔn)確的控制參數(shù)，不同級(jí)別的力。根據(jù)經(jīng)驗(yàn)，發(fā)現(xiàn)CoM從人類(lèi)視頻中提取精確任務(wù)計(jì)劃和控制參數(shù)的準(zhǔn)確率達(dá)到60%。僅依賴(lài)純視覺(jué)數(shù)據(jù)的方法準(zhǔn)確率為零，而直接將所有模態(tài)一次性輸入模型的簡(jiǎn)單方法平均準(zhǔn)確率為17%。

如何將這些任務(wù)計(jì)劃轉(zhuǎn)化為機(jī)器人動(dòng)作？先前的工作表明，基礎(chǔ)模型可以根據(jù)語(yǔ)言指令生成機(jī)器人可執(zhí)行的API調(diào)用。我們的場(chǎng)景不同之處在于，要求基礎(chǔ)模型根據(jù)多模態(tài)演示視頻生成API調(diào)用。這些API調(diào)用具有跨實(shí)體泛化的優(yōu)勢(shì)，因?yàn)榇aAPI可以抽象掉機(jī)器人實(shí)體，允許在不同機(jī)器人之間順利部署。此外，基于高級(jí)視覺(jué)模型的代碼API進(jìn)一步使機(jī)器人能夠泛化到新物體和未見(jiàn)物體配置。

主要貢獻(xiàn)如下：

• 模態(tài)鏈（CoM）：一種提示策略，使VLM能夠通過(guò)逐步整合視覺(jué)和力信息，從多模態(tài)人類(lèi)視頻演示數(shù)據(jù)中進(jìn)行推理。
• 一次性操作程序生成：一種從單個(gè)多模態(tài)人類(lèi)演示視頻生成機(jī)器人控制程序的流程，整合力信息（通過(guò)肌肉或音頻信號(hào)獲得）以生成不同技能的細(xì)粒度控制參數(shù)。
• 通用性：展示了CoM在兩種高級(jí)VLM模型上的一致優(yōu)勢(shì)，并且方法允許VLM從單個(gè)人類(lèi)視頻中學(xué)習(xí)編寫(xiě)機(jī)器人代碼，這些代碼可以在不同的真實(shí)機(jī)器人平臺(tái)上運(yùn)行，具有泛化能力。

相關(guān)工作

從視頻中理解人類(lèi)活動(dòng)

理解視頻中的人類(lèi)活動(dòng)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的長(zhǎng)期研究重點(diǎn)。早期工作主要旨在通過(guò)分類(lèi)捕捉視頻的高級(jí)語(yǔ)義含義。為了提取更詳細(xì)的信息，后來(lái)的研究開(kāi)始專(zhuān)注于從視頻中推導(dǎo)任務(wù)計(jì)劃。然而，這些方法往往受限于對(duì)特定訓(xùn)練數(shù)據(jù)集的依賴(lài)，難以泛化到未見(jiàn)的動(dòng)作類(lèi)別。近年來(lái)，大型視覺(jué)語(yǔ)言模型的發(fā)展使得提示VLM從視頻中理解人類(lèi)活動(dòng)取得了令人印象深刻的結(jié)果。與先前工作不同，本工作側(cè)重于對(duì)包含力或音頻信息的多模態(tài)人類(lèi)視頻進(jìn)行推理，為下游細(xì)粒度機(jī)器人操作任務(wù)提供必要信息。

機(jī)器人與控制的基礎(chǔ)模型

近年來(lái)，基礎(chǔ)模型在機(jī)器人領(lǐng)域取得了顯著進(jìn)展，涵蓋從高級(jí)推理到低級(jí)控制的多個(gè)層面。早期工作主要集中在語(yǔ)言條件下的機(jī)器人推理和規(guī)劃，其中任務(wù)使用自然語(yǔ)言定義。然而，一些操作任務(wù)（尤其是涉及空間歧義或需要細(xì)粒度控制的任務(wù)）僅用語(yǔ)言難以精確描述。視覺(jué)語(yǔ)言模型（VLM）的最新進(jìn)展引入了更具表現(xiàn)力的任務(wù)規(guī)范，如視覺(jué)注釋。我們的工作則使用一次性多模態(tài)視頻作為任務(wù)規(guī)范，使機(jī)器人能夠從人類(lèi)演示中提取任務(wù)計(jì)劃和控制參數(shù)。為了將基礎(chǔ)模型應(yīng)用于機(jī)器人控制，已經(jīng)出現(xiàn)了幾種有前景的方法，包括基于目標(biāo)條件策略的子目標(biāo)選擇、軌跡優(yōu)化的獎(jiǎng)勵(lì)或約束生成，以及基于感知和控制原語(yǔ)的代碼生成。與這些基于語(yǔ)言輸入的方法不同，這里展示了VLM如何直接從一次性人類(lèi)視頻輸入中進(jìn)行推理，生成低級(jí)操作程序，為提示機(jī)器人執(zhí)行具有豐富視覺(jué)提示的新任務(wù)提供了一種替代方法。

從人類(lèi)視頻中學(xué)習(xí)操作

最近大量研究探索了利用人類(lèi)視頻數(shù)據(jù)來(lái)教機(jī)器人操作技能。這些工作側(cè)重于從人類(lèi)視頻中提取不同信息，如物體功能、運(yùn)動(dòng)軌跡、任務(wù)動(dòng)態(tài)和獎(jiǎng)勵(lì)表示。像一些工作訓(xùn)練了基于人類(lèi)或機(jī)器人視頻（而非語(yǔ)言指令）的操作策略。盡管它們有效，但由于這些方法僅從視頻（圖像序列）中學(xué)習(xí)，無(wú)法推斷許多操作任務(wù)所需的重要細(xì)節(jié)，例如施加多大的力。在這項(xiàng)工作中，我們專(zhuān)注于開(kāi)發(fā)能夠利用多種傳感模態(tài)（包括圖像、力和聲音）的方法，以更好地理解人類(lèi)演示中不易察覺(jué)的微妙細(xì)節(jié)，并使機(jī)器人能夠更好地執(zhí)行此類(lèi)任務(wù)。

從多模態(tài)人類(lèi)視頻中學(xué)習(xí)

這里介紹提出的系統(tǒng)設(shè)計(jì)，該系統(tǒng)以單個(gè)多模態(tài)人類(lèi)演示視頻為輸入，并生成機(jī)器人可執(zhí)行代碼以執(zhí)行視頻中演示的操作任務(wù)。系統(tǒng)有三個(gè)主要組件：（1）收集多模態(tài)人類(lèi)視頻；（2）用于理解多模態(tài)人類(lèi)視頻的模態(tài)鏈；（3）生成代碼和控制機(jī)器人。對(duì)于每個(gè)組件，首先討論動(dòng)機(jī)，然后給出示例。

多模態(tài)人類(lèi)演示視頻

視頻通常難以捕捉人類(lèi)執(zhí)行操作任務(wù)的細(xì)粒度細(xì)節(jié)，尤其是涉及力施加的細(xì)節(jié)。例如，插入電源插頭時(shí)，首先施加輕力調(diào)整其方向，然后增加力進(jìn)行插入。這些不同的力級(jí)別至關(guān)重要，但僅從視頻中難以觀察到，這凸顯了需要超越視覺(jué)信息的多模態(tài)數(shù)據(jù)。

為解決這些挑戰(zhàn)，我們考慮多模態(tài)人類(lèi)視頻在每個(gè)時(shí)間步包括RGB圖像、人體肌肉信號(hào)或物體交互聲音以及手部姿勢(shì)。它們共同提供了人類(lèi)任務(wù)計(jì)劃的更全面視圖。由帶肌肉傳感器（EMG）的臂帶捕捉的人體肌肉信號(hào)或由麥克風(fēng)捕捉的物體交互聲音可以提供必要的力信息，指示人類(lèi)在整個(gè)任務(wù)中施加力的時(shí)間和大小。此外，為了提供人類(lèi)手部動(dòng)作的更詳細(xì)信息，我們使用基于視覺(jué)的方法來(lái)估計(jì)手部姿勢(shì)，并將指尖的像素位置作為另一個(gè)輸入模態(tài)。

模態(tài)鏈

接下來(lái)，使用視覺(jué)語(yǔ)言模型（VLM）來(lái)分析此類(lèi)多模態(tài)人類(lèi)視頻中提供的豐富信息，以提取任務(wù)計(jì)劃描述。VLM需要處理來(lái)自所有這些模態(tài)的信號(hào)：以正確的時(shí)間順序識(shí)別人類(lèi)動(dòng)作，并確定每個(gè)動(dòng)作的控制參數(shù)（如目標(biāo)物體名稱(chēng)、運(yùn)動(dòng)方向）。使用VLM實(shí)現(xiàn)此目的的一種方法是將所有模態(tài)按順序交織在一起直接查詢(xún)模型。然而，我們發(fā)現(xiàn)最先進(jìn)的VLM（如Gemini 1.5 Pro、GPT-4o）往往難以關(guān)聯(lián)模態(tài)之間的信息，導(dǎo)致忽略某些輸入或嘗試從錯(cuò)誤模態(tài)提取信息等問(wèn)題。為了提高VLM在理解多模態(tài)人類(lèi)視頻方面的性能，提出了模態(tài)鏈（CoM），這是一種提示策略，查詢(xún)VLM按順序分析每個(gè)模態(tài)，提取關(guān)鍵信息并逐步聚合結(jié)果以產(chǎn)生最終答案。

模態(tài)鏈提示：CoM提示由三部分組成：（1）每個(gè)模態(tài)及其輸入數(shù)據(jù)格式的描述；（2）可用動(dòng)作集的描述以及動(dòng)作參數(shù)的解釋?zhuān)唬?）一個(gè)視頻到分析對(duì)的示例，介紹如何分析每個(gè)模態(tài)以生成帶參數(shù)的已識(shí)別動(dòng)作序列。

模態(tài)鏈?zhǔn)纠?/strong>：圖2展示了使用CoM分析多模態(tài)人類(lèi)視頻的示例。在此視頻中，一個(gè)人用左手握住瓶子，用右手?jǐn)Q開(kāi)瓶蓋。CoM依次分析每個(gè)輸入模態(tài)，并基于先前分析優(yōu)化答案。在圖2中，我們用不同顏色突出顯示每個(gè)模態(tài)貢獻(xiàn)的新信息。在第一階段，VLM分析力或聽(tīng)覺(jué)信號(hào)，找出人何時(shí)施加和釋放力，然后推斷出人施加力的次數(shù)。然而，沒(méi)有手部和圖像信息，不清楚人具體在做什么。在第二階段，VLM結(jié)合手部姿勢(shì)信息，現(xiàn)在識(shí)別出人在施加力時(shí)正在抓握和扭轉(zhuǎn)，手指位置還表明在握住瓶子時(shí)逆時(shí)針扭轉(zhuǎn)約180度，釋放時(shí)順時(shí)針旋轉(zhuǎn)手指。仍然，沒(méi)有圖像數(shù)據(jù)，任務(wù)中出現(xiàn)的物體仍然未知。在第三階段，VLM整合圖像數(shù)據(jù)，識(shí)別出左手握住瓶子，右手?jǐn)Q開(kāi)瓶蓋。有了這些信息，VLM生成動(dòng)作函數(shù)，指定每個(gè)時(shí)間步的詳細(xì)動(dòng)作參數(shù)。請(qǐng)注意，示例提示中沒(méi)有出現(xiàn)任何任務(wù)或物體，示例提示僅用于演示分析的輸出格式和可用技能庫(kù)。

Move_to('left', Find('bottle')) Grasp('left') Move_to('right', Find('bottle_cap')) for _ in range(3):     Grasp('right')     Twist('right', 'counterclockwise', 180)     Release('right')     Twist('right', 'clockwise', 180) 

from skills import Grasp, Push_towards, Insert Grasp('right', 'plug', 100)  # 力范圍從[0, 100] Move_to('right', 'box', 20)  # 在手內(nèi)旋轉(zhuǎn)插頭 Insert('right', 'power_strip', 100)