Kontroller Robotter Fjernt med Apple Vision Pro, NVIDIA: 'Menneske-Maskine Integration er Ikke Svært'

Jensen Huang sagde: "Den næste bølge af AI er robotter, og en af de mest spændende udviklinger er humanoide robotter." I dag har Projekt GR00T taget et vigtigt skridt fremad.

I går talte NVIDIA's grundlægger Jensen Huang om deres generelle humanoide robotmodel, "Projekt GR00T," under sin SIGGRAPH 2024 hovedtale. Modellen har modtaget en række funktionelle opdateringer.

Yuke Zhu, en assisterende professor ved University of Texas i Austin og senior forskningsforsker hos NVIDIA, tweetede en video, der demonstrerer hvordan NVIDIA integrerede de store husholdningsrobot simulations træningsrammer RoboCasa og MimicGen i NVIDIA Omniverse platformen og Isaac robot udviklingsplatformen.

Videoen dækker NVIDIA's tre beregningsplatforme—AI, Omniverse, og Jetson Thor—og udnytter dem til at forenkle og accelerere udviklerarbejdsgange. Gennem de kombinerede kapaciteter af disse beregningsplatforme er vi klar til at træde ind i en æra af humanoide robotter drevet af fysisk AI.

Blandt højdepunkterne er, at udviklere kan bruge Apple Vision Pro til at fjernstyre humanoide robotter til at udføre opgaver.

Samtidig sagde en anden senior forskningsforsker hos NVIDIA, Jim Fan, at opdateringerne til Projekt GR00T er spændende. NVIDIA bruger en systematisk tilgang til at skalere robotdata og løse nogle af de mest udfordrende problemer inden for robotteknologi.

Idéen er enkel: mennesker indsamler demonstrationsdata på rigtige robotter, og NVIDIA skalerer disse data tusindfold eller mere i simulationer. Med GPU-accelererede simulationer kan folk nu bruge computerkraft til at erstatte den tidskrævende, arbejdskrævende og kostbare proces med menneskelig dataindsamling.

Han nævnte, at han for ikke så længe siden troede, at fjernbetjening grundlæggende var uskalérbar, fordi vi i den atomare verden altid er begrænset af grænsen på 24 timer pr. robot pr. dag. Den nye syntetiske datapipeline, der bruges i GR00T, bryder denne begrænsning i den digitale verden.

Om NVIDIA's seneste fremskridt inden for humanoid robotteknologi kommenterede en netbruger, at Apple Vision Pro har fundet sin sejeste anvendelse.

NVIDIA begynder at lede den næste bølge: fysisk AI.

NVIDIA detaljerede også den tekniske proces til at accelerere humanoide robotter i et blogindlæg. Her er det fulde indhold:

For at accelerere udviklingen af humanoide robotter verden over annoncerede NVIDIA et sæt tjenester, modeller og beregningsplatforme for førende robotproducenter, AI modeludviklere og softwareproducenter globalt, hvilket gør det muligt for dem at udvikle, træne og bygge den næste generation af humanoide robotter.

Denne suite inkluderer de nye NVIDIA NIM mikrotjenester og rammer for robot simulation og læring, NVIDIA OSMO orkestreringstjeneste til kørsel af multi-stage robot arbejdsbelastninger, og fjernbetjeningsarbejdsgangen, der understøtter AI og simulation, hvilket gør det muligt for udviklere at træne robotter med minimal menneskelig demonstrationsdata.

Jensen Huang sagde: "Den næste bølge af AI er robotter, og en af de mest spændende udviklinger er humanoide robotter. Vi fremmer hele NVIDIA robotstakken, åbner den op for udviklere af humanoide robotter og virksomheder verden over, hvilket gør det muligt for dem at bruge de platforme, accelererede biblioteker og AI modeller, der bedst opfylder deres behov."

Accelererer udviklingen med NVIDIA NIM og OSMO.

NIM mikrotjenester tilbyder forudbyggede containere drevet af NVIDIA inferenssoftware, hvilket reducerer implementeringstiden fra uger til minutter.

To nye AI mikrotjenester vil gøre det muligt for robotikeksperter at forbedre generationen af fysiske AI simulationsarbejdsgange i NVIDIA Isaac Sim.

MimicGen NIM mikrotjenesten genererer syntetiske bevægelsesdata fra fjernoptagede data fra rumlige computerenheder som Apple Vision Pro. Robocasa NIM mikrotjenesten genererer robotopgaver og simuleringsmiljøer i OpenUSD.

Den cloud-native administrerede tjeneste NVIDIA OSMO er nu tilgængelig, hvilket gør det muligt for brugere at koordinere og skalere komplekse robot udviklingsarbejdsgange på tværs af distribuerede beregningsressourcer, enten lokalt eller i skyen. OSMO forenkler betydeligt robottrænings- og simuleringsarbejdsgange, hvilket reducerer implementerings- og udviklingscykler fra måneder til under en uge.

Tilbyder avancerede datafangstarbejdsgange for udviklere af humanoide robotter.

Træning af de grundlæggende modeller bag humanoide robotter kræver store mængder data. En måde at opnå menneskelig demonstrationsdata på er gennem fjernbetjening, men denne metode bliver stadig dyrere og mere tidskrævende.

Ved at fremvise NVIDIA AI og Omniverse fjernbetjeningsreferencerarbejdsgangen ved SIGGRAPH computergrafikkonferencen kan forskere og AI udviklere generere store mængder syntetiske bevægelses- og perceptionsdata fra et minimalt antal fjernoptagede menneskelige demonstrationer.

Først indsamler udviklerne en lille mængde fjern demonstration ved hjælp af Apple Vision Pro. Derefter simulerer de optagelser i NVIDIA Isaac Sim og bruger MimicGen NIM mikrotjenesten til at generere syntetiske datasæt fra optagelserne.

Udviklerne bruger både virkelige og syntetiske data til at træne Projekt GR00T humanoide robot grundlæggende model, hvilket sparer betydelig tid og reducerer omkostningerne. De bruger derefter Robocasa NIM mikrotjenesten i Isaac Lab, en robot læringsramme, til at generere erfaringer til genuddannelse af robotmodellen. I hele arbejdsgangen tildeler NVIDIA OSMO problemfrit beregningsopgaver til forskellige ressourcer, hvilket reducerer udviklernes ledelsesarbejdslast med uger.

Udvider adgangen til NVIDIA humanoide robot udviklerteknologier.

NVIDIA tilbyder tre beregningsplatforme for at forenkle udviklingen af humanoide robotter: NVIDIA AI supercomputer til træning af modeller; NVIDIA Isaac Sim, bygget på Omniverse, til robotter til at lære og forfine færdigheder i en simuleret verden; og NVIDIA Jetson Thor humanoide robotcomputer til at køre modeller. Udviklere kan få adgang til og bruge alle eller dele af disse platforme i henhold til deres specifikke behov.

Gennem det nye NVIDIA Humanoid Robot Developer Program kan udviklere få tidlig adgang til nye produkter og de nyeste versioner af NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor, og Projekt GR00T generelle humanoide robot grundlæggende model.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra, og Skild AI er blandt de første virksomheder, der deltager i det tidlige adgangsprogram.

Udviklere kan nu tilmelde sig NVIDIA Humanoid Robot Developer Program for at få adgang til NVIDIA OSMO og Isaac Lab og snart få adgang til NVIDIA NIM mikrotjenester.

Blog link: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Følg WriteGo for at få de seneste AI-informationer