Controleer Robots Op Afstand met Apple Vision Pro, NVIDIA: 'Mens-Machine Integratie is Niet Moeilijk'

Jensen Huang zei: "De volgende golf van AI zijn robots, en een van de meest opwindende ontwikkelingen zijn humanoïde robots." Vandaag heeft Project GR00T een belangrijke stap voorwaarts gezet.

Gisteren sprak NVIDIA-oprichter Jensen Huang over hun algemene humanoïde robotmodel, "Project GR00T," tijdens zijn keynote-toespraak op SIGGRAPH 2024. Het model heeft een reeks functionele updates ontvangen.

Yuke Zhu, assistent professor aan de Universiteit van Texas in Austin en senior onderzoeker bij NVIDIA, tweetede een video waarin werd gedemonstreerd hoe NVIDIA de grootschalige huishoudrobot-simulatie trainingsframeworks RoboCasa en MimicGen integreerde in het NVIDIA Omniverse-platform en het Isaac robotontwikkelingsplatform.

De video behandelt NVIDIA's drie rekenplatforms—AI, Omniverse en Jetson Thor—en benut deze om ontwikkelaarswerkstromen te vereenvoudigen en te versnellen. Door de gecombineerde mogelijkheden van deze rekenplatforms staan we op het punt om een tijdperk van humanoïde robots aangedreven door fysieke AI binnen te gaan.

Een van de hoogtepunten is dat ontwikkelaars Apple Vision Pro kunnen gebruiken om humanoïde robots op afstand te bedienen om taken uit te voeren.

Ondertussen verklaarde een andere senior onderzoeker bij NVIDIA, Jim Fan, dat de updates van Project GR00T opwindend zijn. NVIDIA gebruikt een systematische aanpak om robotdata op te schalen, waarmee enkele van de meest uitdagende problemen in het robotica-veld worden aangepakt.

Het idee is eenvoudig: mensen verzamelen demonstratiedata op echte robots, en NVIDIA schaalt deze data duizendvoudig of meer in simulaties. Met GPU-versnelde simulaties kunnen mensen nu rekencapaciteit gebruiken om het tijdrovende, arbeidsintensie en kostbare proces van menselijke dataverzameling te vervangen.

Hij merkte op dat hij niet zo lang geleden geloofde dat afstandsbediening fundamenteel niet schaalbaar was, omdat we in de atomische wereld altijd worden beperkt door de grens van 24 uur per robot per dag. De nieuwe synthetische dataleiding die in GR00T wordt gebruikt, doorbreekt deze beperking in de digitale wereld.

Met betrekking tot de laatste vooruitgangen van NVIDIA in humanoïde robotica, merkte een internetgebruiker op dat Apple Vision Pro zijn coolste gebruiksdoel heeft gevonden.

NVIDIA begint de volgende golf te leiden: fysieke AI.

NVIDIA gaf ook een gedetailleerd overzicht van het technische proces om humanoïde robots te versnellen in een blogpost. Hier is de volledige inhoud:

Om de ontwikkeling van humanoïde robots wereldwijd te versnellen, heeft NVIDIA een reeks diensten, modellen en rekenplatformen aangekondigd voor toonaangevende robotfabrikanten, AI-modelontwikkelaars en softwaremakers wereldwijd, waarmee zij de volgende generatie humanoïde robots kunnen ontwikkelen, trainen en bouwen.

Deze suite omvat de nieuwe NVIDIA NIM-microservices en frameworks voor robotsimulatie en leren, de NVIDIA OSMO-orchestratieservice voor het uitvoeren van multi-stage robotwerkbelastingen, en de workflow voor afstandsbediening die AI en simulatie ondersteunt, waardoor ontwikkelaars robots kunnen trainen met minimale menselijke demonstratiedata.

Jensen Huang verklaarde: "De volgende golf van AI zijn robots, en een van de meest opwindende ontwikkelingen zijn humanoïde robots. We verbeteren de hele NVIDIA-robotstack, openen deze voor ontwikkelaars en bedrijven van humanoïde robots wereldwijd, waardoor ze de platforms, versnelde bibliotheken en AI-modellen kunnen gebruiken die het beste aan hun behoeften voldoen."

Versnelling van de ontwikkeling met NVIDIA NIM en OSMO.

NIM-microservices bieden vooraf gebouwde containers die worden aangedreven door NVIDIA-inferentiesoftware, waardoor de implementatietijd van weken tot minuten wordt verkort.

Twee nieuwe AI-microservices zullen robotica-experts in staat stellen om de generatie van fysieke AI-simulatie werkstromen in NVIDIA Isaac Sim te verbeteren.

De MimicGen NIM-microservice genereert synthetische bewegingsdata uit op afstand opgenomen gegevens van ruimtelijke computerapparaten zoals Apple Vision Pro. De Robocasa NIM-microservice genereert robottaken en simulatieomgevingen in OpenUSD.

De cloud-native beheerde service NVIDIA OSMO is nu beschikbaar, waardoor gebruikers complexe robotontwikkelingswerkstromen kunnen coördineren en schalen over gedistribueerde rekenbronnen, of deze nu lokaal of in de cloud zijn. OSMO vereenvoudigt robottraining en simulatie werkstromen aanzienlijk, waardoor de implementatie- en ontwikkelingscycli van maanden tot onder een week worden verkort.

Geavanceerde dataverzamelingswerkstromen bieden voor ontwikkelaars van humanoïde robots.

Het trainen van de fundamentele modellen achter humanoïde robots vereist enorme hoeveelheden data. Een manier om menselijke demonstratiedata te verkrijgen is via afstandsbediening, maar deze methode wordt steeds duurder en tijdrovender.

Door de NVIDIA AI en Omniverse afstandsbediening referentiewerkstroom te demonstreren op de SIGGRAPH computer graphics conferentie, kunnen onderzoekers en AI-ontwikkelaars grote hoeveelheden synthetische bewegings- en perceptiedata genereren vanuit een minimale hoeveelheid op afstand vastgelegde menselijke demonstraties.

Eerst leggen ontwikkelaars een kleine hoeveelheid op afstand demonstratie vast met Apple Vision Pro. Vervolgens simuleren ze opnames in NVIDIA Isaac Sim en gebruiken ze de MimicGen NIM-microservice om synthetische datasets uit de opnames te genereren.

Ontwikkelaars gebruiken zowel echte als synthetische data om het fundamentele model van de humanoïde robot van Project GR00T te trainen, wat aanzienlijke tijd bespaart en kosten verlaagt. Vervolgens gebruiken ze de Robocasa NIM-microservice in Isaac Lab, een robot leerframework, om ervaringen te genereren voor het hertrainen van het robotmodel. Gedurende de workflow wijst NVIDIA OSMO naadloos rekentaken toe aan verschillende bronnen, waardoor de beheerswerkbelasting van ontwikkelaars met weken wordt verminderd.

Toegang vergroten tot NVIDIA-technologieën voor ontwikkelaars van humanoïde robots.

NVIDIA biedt drie rekenplatforms om de ontwikkeling van humanoïde robots te vereenvoudigen: de NVIDIA AI supercomputer voor het trainen van modellen; NVIDIA Isaac Sim, gebouwd op Omniverse, zodat robots vaardigheden kunnen leren en verfijnen in een gesimuleerde wereld; en de NVIDIA Jetson Thor humanoïde robotcomputer voor het uitvoeren van modellen. Ontwikkelaars kunnen toegang krijgen tot en gebruik maken van geheel of gedeeltelijk van deze platforms, afhankelijk van hun specifieke behoeften.

Via het nieuwe NVIDIA Humanoid Robot Developer Program kunnen ontwikkelaars vroegtijdig toegang krijgen tot nieuwe producten en de laatste versies van NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor en het fundamentele model van de algemene humanoïde robot van Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra en Skild AI behoren tot de eerste bedrijven die zich bij het vroege toegang programma hebben aangesloten.

Ontwikkelaars kunnen zich nu aanmelden voor het NVIDIA Humanoid Robot Developer Program om toegang te krijgen tot NVIDIA OSMO en Isaac Lab en binnenkort toegang krijgen tot NVIDIA NIM-microservices.

Bloglink: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Volg WriteGo voor het laatste AI-nieuws