Kontrollera robotar på distans med Apple Vision Pro, NVIDIA: 'Människa-maskin-integration är inte svårt'

Jensen Huang sade, "Den nästa vågen av AI är robotar, och en av de mest spännande utvecklingarna är humanoida robotar." Idag har Projekt GR00T tagit ett viktigt steg framåt.

Igår talade NVIDIA:s grundare Jensen Huang om deras allmänna humanoida robotmodell, "Projekt GR00T," under sitt huvudtal på SIGGRAPH 2024. Modellen har fått en serie funktionella uppdateringar.

Yuke Zhu, en assisterande professor vid University of Texas i Austin och en senior forskningsvetenskapsman vid NVIDIA, tweetade en video som demonstrerade hur NVIDIA integrerade de storskaliga hushållsrobot-simuleringsutbildningsramverken RoboCasa och MimicGen i NVIDIA Omniverse-plattformen och Isaac robotutvecklingsplattform.

Videon täcker NVIDIA:s tre datorkraftplattformar—AI, Omniverse och Jetson Thor—och utnyttjar dem för att förenkla och påskynda utvecklararbetsflöden. Genom de kombinerade kapabiliteterna hos dessa datorkraftplattformar står vi inför en era av humanoida robotar drivet av fysisk AI.

Bland höjdpunkterna är att utvecklare kan använda Apple Vision Pro för att fjärrstyra humanoida robotar för att utföra uppgifter.

Samtidigt uttalade en annan senior forskningsvetenskapsman vid NVIDIA, Jim Fan, att uppdateringarna av Projekt GR00T är spännande. NVIDIA använder en systematisk metod för att skala robotdata, vilket tar itu med några av de mest utmanande problemen inom robotikområdet.

Idén är enkel: människor samlar demonstrationsdata på verkliga robotar, och NVIDIA skalar denna data tusenfalt eller mer i simuleringar. Med GPU-accelererade simuleringar kan människor nu använda datorkraft för att ersätta den tidskrävande, arbetsintensiva och kostsamma processen för insamling av mänsklig data.

Han nämnde att han för inte så länge sedan trodde att fjärrdrift var grundläggande ostrukturerad eftersom vi, i den atomära världen, alltid är begränsade av 24 timmar per robot per dag. Den nya syntetiska datapipelinen som används i GR00T bryter denna begränsning i den digitala världen.

Angående NVIDIA:s senaste framsteg inom humanoid robotik kommenterade en nätanvändare att Apple Vision Pro har hittat sin coolaste användningsområde.

NVIDIA börjar leda nästa våg: fysisk AI.

NVIDIA har också detaljerat den tekniska processen för att påskynda humanoida robotar i ett blogginlägg. Här är hela innehållet:

För att påskynda utvecklingen av humanoida robotar världen över tillkännagav NVIDIA en uppsättning tjänster, modeller och datorkraftplattformar för ledande robottillverkare, AI-modellutvecklare och mjukvarutillverkare globalt, vilket möjliggör för dem att utveckla, träna och bygga nästa generation av humanoida robotar.

Denna svit inkluderar de nya NVIDIA NIM mikrotjänsterna och ramverken för robotsimulering och lärande, NVIDIA OSMO orkestreringstjänsten för att köra flerstegs robotarbetsbelastningar, och arbetsflödet för fjärroperation som stöder AI och simulering, vilket gör det möjligt för utvecklare att träna robotar med minimal mänsklig demonstrationsdata.

Jensen Huang uttalade, "Den nästa vågen av AI är robotar, och en av de mest spännande utvecklingarna är humanoida robotar. Vi avancerar hela NVIDIA robotstacken, öppnar den för utvecklare av humanoida robotar och företag världen över, vilket möjliggör för dem att använda plattformarna, accelererade bibliotek och AI-modeller som bäst möter deras behov."

Påskyndar utvecklingen med NVIDIA NIM och OSMO.

NIM mikrotjänster erbjuder förbyggda containrar drivna av NVIDIA:s inferensprogramvara, vilket minskar distributionstiden från veckor till minuter.

Två nya AI-mikrotjänster kommer att göra det möjligt för robotikexperter att förbättra generationen av fysiska AI-simuleringsarbetsflöden i NVIDIA Isaac Sim.

MimicGen NIM mikrotjänsten genererar syntetisk rörelsedata från fjärrinspelad data från rumsliga datorkraftenheter som Apple Vision Pro. Robocasa NIM mikrotjänsten genererar robotuppgifter och simuleringsmiljöer i OpenUSD.

Den molnbaserade hanterade tjänsten NVIDIA OSMO är nu tillgänglig, vilket gör det möjligt för användare att samordna och skala komplexa robotutvecklingsarbetsflöden över distribuerade datorkraftresurser, oavsett om de är lokala eller i molnet. OSMO förenklar avsevärt robotträning och simuleringsarbetsflöden, vilket minskar distributions- och utvecklingscykler från månader till under en vecka.

Ger avancerade datainsamlingsarbetsflöden för utvecklare av humanoida robotar.

Att träna de grundläggande modellerna bakom humanoida robotar kräver stora mängder data. Ett sätt att få mänsklig demonstrationsdata är genom fjärrdrift, men denna metod blir alltmer kostsam och tidskrävande.

Genom att visa NVIDIA AI och Omniverse fjärroperationsreferensarbetsflödet på SIGGRAPH-datorgrafikkonferensen kan forskare och AI-utvecklare generera stora mängder syntetisk rörelse- och perceptionsdata från en minimal mängd fjärrinspelade mänskliga demonstrationer.

Först fångar utvecklarna en liten mängd fjärrdemonstration med Apple Vision Pro. Sedan simulerar de inspelningar i NVIDIA Isaac Sim och använder MimicGen NIM mikrotjänsten för att generera syntetiska dataset från inspelningarna.

Utvecklarna använder både verkliga och syntetiska data för att träna den grundläggande modellen för humanoida robotar i Projekt GR00T, vilket sparar betydande tid och minskar kostnader. De använder sedan Robocasa NIM mikrotjänsten i Isaac Lab, en robotlärande ram, för att generera erfarenheter för omträning av robotmodellen. Under hela arbetsflödet tilldelar NVIDIA OSMO sömlöst datorkraftuppgifter till olika resurser, vilket minskar utvecklarnas arbetsbörda med veckor.

Utökar tillgången till NVIDIA:s teknologier för utvecklare av humanoida robotar.

NVIDIA erbjuder tre datorkraftplattformar för att förenkla utvecklingen av humanoida robotar: NVIDIA AI-superdatorn för att träna modeller; NVIDIA Isaac Sim, byggd på Omniverse, för robotar att lära och förfina färdigheter i en simulerad värld; och NVIDIA Jetson Thor humanoid robotdator för att köra modeller. Utvecklare kan få tillgång till och använda hela eller delar av dessa plattformar enligt sina specifika behov.

Genom det nya NVIDIA Humanoid Robot Developer Programmet kan utvecklare få tidig tillgång till nya produkter och de senaste versionerna av NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor och den grundläggande modellen för humanoida robotar i Projekt GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra och Skild AI är bland de första företagen som går med i tidigt tillgångsprogram.

Utvecklare kan nu gå med i NVIDIA Humanoid Robot Developer Programmet för att få tillgång till NVIDIA OSMO och Isaac Lab och snart få tillgång till NVIDIA NIM mikrotjänster.

Blogglänk: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Följ WriteGo för att få den senaste AI-informationen