Kontroller Roboter Fjernt med Apple Vision Pro, NVIDIA: 'Menneske-Maskin Integrasjon Er Ikke Vanskelig'

Jensen Huang sa: "Den neste bølgen av AI er roboter, og en av de mest spennende utviklingene er humanoide roboter." I dag har Project GR00T tatt et viktig skritt fremover.

I går snakket NVIDIA-grunnlegger Jensen Huang om deres generelle humanoide robotmodell, "Project GR00T," under sin keynote-tale på SIGGRAPH 2024. Modellen har fått en rekke funksjonelle oppdateringer.

Yuke Zhu, assisterende professor ved University of Texas i Austin og senior forsker hos NVIDIA, twittet en video som demonstrerer hvordan NVIDIA integrerte de storskala husholdningsrobot-simuleringsopplæringsrammene RoboCasa og MimicGen i NVIDIA Omniverse-plattformen og Isaac robotutviklingsplattform.

Videoen dekker NVIDIA sine tre databehandlingsplattformer—AI, Omniverse og Jetson Thor—og utnytter dem for å forenkle og akselerere utviklerarbeidsflyter. Gjennom de kombinerte egenskapene til disse databehandlingsplattformene er vi klare til å gå inn i en æra av humanoide roboter drevet av fysisk AI.

Blant høydepunktene er at utviklere kan bruke Apple Vision Pro til å fjernstyre humanoide roboter til å utføre oppgaver.

I mellomtiden uttalte en annen senior forsker hos NVIDIA, Jim Fan, at oppdateringene til Project GR00T er spennende. NVIDIA bruker en systematisk tilnærming for å skalere robotdata, og adresserer noen av de mest utfordrende problemene innen robotikkfeltet.

Ideen er enkel: mennesker samler demonstrasjonsdata på ekte roboter, og NVIDIA skalerer disse dataene tusenfold eller mer i simuleringer. Med GPU-akselererte simuleringer kan folk nå bruke datakraft for å erstatte den tidkrevende, arbeidsintensive og kostbare prosessen med menneskelig datainnsamling.

Han nevnte at for ikke så lenge siden trodde han at fjernoperasjon var fundamentalt uskalérbar fordi vi i den atomiske verden alltid er begrenset av grensen på 24 timer per robot per dag. Den nye syntetiske datapipeline som brukes i GR00T bryter denne begrensningen i den digitale verden.

Når det gjelder NVIDIA sine siste fremskritt innen humanoid robotikk, kommenterte en nettbruker at Apple Vision Pro har funnet sin kuleste brukstilfelle.

NVIDIA begynner å lede den neste bølgen: fysisk AI.

NVIDIA detaljert også den tekniske prosessen for å akselerere humanoide roboter i et blogginnlegg. Her er hele innholdet:

For å akselerere utviklingen av humanoide roboter over hele verden, kunngjorde NVIDIA et sett med tjenester, modeller og databehandlingsplattformer for ledende robotprodusenter, AI-modellutviklere og programvareprodusenter globalt, og gjør det mulig for dem å utvikle, trene og bygge neste generasjon av humanoide roboter.

Denne pakken inkluderer de nye NVIDIA NIM mikrotjenestene og rammene for robotsimulering og læring, NVIDIA OSMO orkestreringstjenesten for å kjøre flertrinns robotarbeidsbelastninger, og arbeidsflyten for fjernoperasjon som støtter AI og simulering, noe som gjør det mulig for utviklere å trene roboter med minimal menneskelig demonstrasjonsdata.

Jensen Huang uttalte: "Den neste bølgen av AI er roboter, og en av de mest spennende utviklingene er humanoide roboter. Vi fremmer hele NVIDIA robotstakken, og åpner den opp for utviklere av humanoide roboter og selskaper over hele verden, slik at de kan bruke plattformene, akselererte biblioteker og AI-modeller som best møter deres behov."

Akselererer utviklingen med NVIDIA NIM og OSMO.

NIM mikrotjenester tilbyr forhåndsbygde containere drevet av NVIDIA inferensprogramvare, og reduserer distribusjonstiden fra uker til minutter.

To nye AI-mikrotjenester vil tillate robotikkeksperter å forbedre genereringen av fysiske AI-simuleringsarbeidsflyter i NVIDIA Isaac Sim.

MimicGen NIM mikrotjenesten genererer syntetiske bevegelsesdata fra eksternt innspilt data fra romlige databehandlingsenheter som Apple Vision Pro. Robocasa NIM mikrotjenesten genererer robotoppgaver og simuleringsmiljøer i OpenUSD.

Den skybaserte administrerte tjenesten NVIDIA OSMO er nå tilgjengelig, noe som gjør det mulig for brukere å koordinere og skalere komplekse robotutviklingsarbeidsflyter på tvers av distribuerte databehandlingsressurser, enten lokalt eller i skyen. OSMO forenkler betydelig robottrening og simuleringsarbeidsflyter, og reduserer distribusjons- og utviklingssykluser fra måneder til under en uke.

Gir avanserte datainnsamlingsarbeidsflyter for utviklere av humanoide roboter.

Å trene de grunnleggende modellene bak humanoide roboter krever enorme mengder data. En måte å skaffe menneskelige demonstrasjonsdata på er gjennom fjernoperasjon, men denne metoden blir stadig mer kostbar og tidkrevende.

Ved å vise NVIDIA AI og Omniverse fjernoperasjonsreferansearbeidsflyten på SIGGRAPH datagrafikkonferansen, kan forskere og AI-utviklere generere store mengder syntetiske bevegelses- og persepsjonsdata fra en minimal mengde eksternt fangede menneskelige demonstrasjoner.

Først fanger utviklere en liten mengde fjern-demonstrasjon ved hjelp av Apple Vision Pro. Deretter simulerer de opptakene i NVIDIA Isaac Sim og bruker MimicGen NIM mikrotjenesten for å generere syntetiske datasett fra opptakene.

Utviklere bruker både ekte og syntetiske data for å trene Project GR00T humanoide robot grunnleggende modell, og sparer betydelig tid og reduserer kostnader. De bruker deretter Robocasa NIM mikrotjenesten i Isaac Lab, et robotlæringsrammeverk, for å generere opplevelser for å omtrene robotmodellen. Gjennom hele arbeidsflyten tildeler NVIDIA OSMO sømløst databehandlingsoppgaver til forskjellige ressurser, noe som reduserer forvaltningen av utviklerne med uker.

Utvider tilgangen til NVIDIA humanoid robotutviklerteknologier.

NVIDIA tilbyr tre databehandlingsplattformer for å forenkle utviklingen av humanoide roboter: NVIDIA AI superdatamaskinen for å trene modeller; NVIDIA Isaac Sim, bygget på Omniverse, for roboter å lære og forbedre ferdigheter i en simulert verden; og NVIDIA Jetson Thor humanoide robotdatamaskinen for å kjøre modeller. Utviklere kan få tilgang til og bruke alle eller deler av disse plattformene i henhold til deres spesifikke behov.

Gjennom det nye NVIDIA Humanoid Robot Developer Program kan utviklere få tidlig tilgang til nye produkter og de nyeste versjonene av NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor, og Project GR00T generelle humanoide robot grunnleggende modell.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra, og Skild AI er blant de første selskapene som har blitt med i tidlig tilgangsprogrammet.

Utviklere kan nå bli med i NVIDIA Humanoid Robot Developer Program for å få tilgang til NVIDIA OSMO og Isaac Lab, og snart få tilgang til NVIDIA NIM mikrotjenester.

Blogglenke: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Følg WriteGo for å få den nyeste AI-informasjonen