透過 Apple Vision Pro 遠端控制機器人，NVIDIA：『人機整合並不困難』

Jensen Huang 說："下一波 AI 是機器人，而人形機器人是最令人興奮的發展之一。" 今天，Project GR00T 取得了重要的進展。

昨天，NVIDIA 創辦人 Jensen Huang 在 SIGGRAPH 2024 的主題演講中談及他們的通用人形機器人模型 "Project GR00T"，該模型已獲得一系列功能更新。

德州大學奧斯汀分校的助理教授暨 NVIDIA 高級研究科學家 Yuke Zhu 在推特上發佈了一段視頻，展示 NVIDIA 如何將大規模家庭機器人模擬訓練框架 RoboCasa 和 MimicGen 整合到 NVIDIA Omniverse 平台和 Isaac 機器人開發平台中。

該視頻涵蓋了 NVIDIA 的三個計算平台——AI、Omniverse 和 Jetson Thor，利用這些平台簡化和加速開發者的工作流程。通過這些計算平台的結合能力，我們即將進入由實體 AI 驅動的人形機器人時代。

其中一個亮點是，開發者可以使用 Apple Vision Pro 遠端控制人形機器人執行任務。

同時，NVIDIA 的另一位高級研究科學家 Jim Fan 表示，Project GR00T 的更新令人振奮。NVIDIA 使用系統化的方法來擴展機器人數據，解決機器人領域中一些最具挑戰性的問題。

這個想法很簡單：人類在真正的機器人上收集演示數據，而 NVIDIA 將這些數據在模擬中擴展千倍或更多。通過 GPU 加速的模擬，現在人們可以利用計算能力來取代耗時、勞動密集和成本高昂的人類數據收集過程。

他提到不久前，他認為遠端操作在根本上是無法擴展的，因為在原子世界中，我們總是受到每個機器人每天 24 小時的限制。GR00T 中使用的新合成數據管道打破了數位世界中的這一限制。

關於 NVIDIA 在人形機器人方面的最新進展，一位網友評論說 Apple Vision Pro 找到了它最酷的應用案例。

NVIDIA 開始引領下一波：實體 AI。

NVIDIA 還在一篇部落格文章中詳細介紹了加速人形機器人的技術過程。以下是完整內容：

為了加速全球人形機器人的開發，NVIDIA 宣布了一套面向全球領先的機器人製造商、AI 模型開發者和軟體製造商的服務、模型和計算平台，使他們能夠開發、訓練和建造下一代人形機器人。

這套服務包括新推出的 NVIDIA NIM 微服務和機器人模擬與學習框架、NVIDIA OSMO 協調服務，用於運行多階段機器人工作負載，還有支持 AI 和模擬的遠端操作工作流程，使開發者能夠以最少的人類演示數據來訓練機器人。

Jensen Huang 表示："下一波 AI 是機器人，而人形機器人是最令人興奮的發展之一。我們正在推進整個 NVIDIA 機器人堆疊，向全球的人形機器人開發者和公司開放，使他們能夠使用最符合其需求的平台、加速庫和 AI 模型。"

透過 NVIDIA NIM 和 OSMO 加速開發。

NIM 微服務提供由 NVIDIA 推動的推理軟體的預建容器，將部署時間從數週縮短到數分鐘。

兩個新的 AI 微服務將使機器人專家能夠增強 NVIDIA Isaac Sim 中實體 AI 模擬工作流程的生成。

MimicGen NIM 微服務從 Apple Vision Pro 等空間計算設備遠端錄製的數據生成合成運動數據。Robocasa NIM 微服務則在 OpenUSD 中生成機器人任務和模擬環境。

雲原生的管理服務 NVIDIA OSMO 現在可用，允許用戶協調和擴展跨分佈計算資源的複雜機器人開發工作流程，無論是在本地還是在雲端。OSMO 顯著簡化了機器人訓練和模擬工作流程，將部署和開發週期從幾個月縮短到不到一週。

為人形機器人開發者提供先進的數據捕獲工作流程。

訓練人形機器人背後的基礎模型需要大量數據。獲取人類演示數據的一種方法是透過遠端操作，但這種方法變得越來越昂貴且耗時。

通過在 SIGGRAPH 電腦圖形會議上展示 NVIDIA AI 和 Omniverse 遠端操作參考工作流程，研究人員和 AI 開發者可以從最少量的遠端捕獲人類演示中生成大量合成運動和感知數據。

首先，開發者使用 Apple Vision Pro 捕獲少量的遠端演示。然後，他們在 NVIDIA Isaac Sim 中模擬錄製，並使用 MimicGen NIM 微服務從錄製中生成合成數據集。

開發者使用真實數據和合成數據來訓練 Project GR00T 人形機器人的基礎模型，節省大量時間並降低成本。然後，他們在 Isaac Lab——一個機器人學習框架中使用 Robocasa NIM 微服務來生成重新訓練機器人模型的經驗。在整個工作流程中，NVIDIA OSMO 無縫地將計算任務分配給不同的資源，減少開發者的管理工作量數週。

擴大對 NVIDIA 人形機器人開發者技術的訪問。

NVIDIA 提供三個計算平台以簡化人形機器人的開發：NVIDIA AI 超級計算機用於訓練模型；基於 Omniverse 的 NVIDIA Isaac Sim，用於機器人在模擬世界中學習和完善技能；以及 NVIDIA Jetson Thor 人形機器人計算機用於運行模型。開發者可以根據其特定需求訪問和使用這些平台的全部或部分。

通過新的 NVIDIA 人形機器人開發者計畫，開發者可以提前訪問新產品和最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型。

1x、Boston Dynamics、ByteDance、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入早期訪問計畫的公司之一。

開發者現在可以加入 NVIDIA 人形機器人開發者計畫，以訪問 NVIDIA OSMO 和 Isaac Lab，並很快獲得 NVIDIA NIM 微服務的訪問權限。

部落格連結： https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

關注 WriteGo 獲取最新的 AI 資訊