Daljinsko upravljanje robotov s pomočjo Apple Vision Pro, NVIDIA: 'Integracija človek-stroj ni težka'

Jensen Huang je dejal: "Naslednji val AI so roboti, eden najbolj razburljivih razvojnih korakov pa so humanoidni roboti." Danes je Projekt GR00T naredil pomemben korak naprej.

Včeraj je ustanovitelj NVIDIE Jensen Huang govoril o njihovem splošnem modelu humanoidnega robota, "Projekt GR00T," med svojim ključnim govorom na SIGGRAPH 2024. Model je prejel vrsto funkcionalnih posodobitev.

Yuke Zhu, pomočnik profesorja na Univerzi Texas v Austinu in višji raziskovalni znanstvenik pri NVIDII, je tvitnil video, ki prikazuje, kako je NVIDIA integrirala obsežne okvirje simulacij za usposabljanje gospodinjskih robotov RoboCasa in MimicGen v platformo NVIDIA Omniverse in platformo za razvoj robotov Isaac.

Video pokriva tri računalniške platforme NVIDIE—AI, Omniverse in Jetson Thor—ki jih izkoriščajo za poenostavitev in pospešitev delovnih procesov razvijalcev. S kombiniranimi zmožnostmi teh računalniških platform smo pripravljeni vstopiti v dobo humanoidnih robotov, ki jih poganja fizična AI.

Med poudarki je, da lahko razvijalci uporabljajo Apple Vision Pro za daljinsko upravljanje humanoidnih robotov pri opravljanju nalog.

Medtem je drugi višji raziskovalni znanstvenik pri NVIDII, Jim Fan, izjavil, da so posodobitve za Projekt GR00T razburljive. NVIDIA uporablja sistematičen pristop za obsežno robotiko, kar rešuje nekatere najbolj zahtevne probleme na področju robotike.

Ideja je preprosta: ljudje zbirajo podatke o demonstracijah na pravih robotih, NVIDIA pa te podatke poveča tisočkrat ali več v simulacijah. S simulacijami, pospešenimi s GPU, lahko ljudje zdaj uporabijo računalniško moč za zamenjavo dolgotrajnega, delovno intenzivnega in dragocenega procesa zbiranja človeških podatkov.

Povedal je, da je pred kratkim verjel, da je daljinsko delovanje temeljno neobvladljivo, saj smo v atomski svet vedno omejeni z 24 urami na robota na dan. Nova sintetična podatkovna cev, uporabljena v GR00T, prekine to omejitev v digitalnem svetu.

Glede na najnovejše dosežke NVIDIE na področju humanoidne robotike je eden od uporabnikov na spletu komentiral, da je Apple Vision Pro našel svojo najbolj kul uporabo.

NVIDIA začne voditi naslednji val: fizična AI.

NVIDIA je tudi podrobno opisala tehnični postopek pospeševanja humanoidnih robotov v blogu. Tukaj je celotna vsebina:

Za pospešitev razvoja humanoidnih robotov po vsem svetu je NVIDIA napovedala niz storitev, modelov in računalniških platform za vodilne proizvajalce robotov, razvijalce AI modelov in proizvajalce programske opreme po vsem svetu, kar jim omogoča, da razvijajo, usposabljajo in gradijo naslednjo generacijo humanoidnih robotov.

Ta paket vključuje nove mikroservise in okvire NVIDIA NIM za simulacijo in učenje robotov, storitev orkestracije NVIDIA OSMO za izvajanje večstopenjskih delovnih obremenitev robotov ter delovni tok daljinskega upravljanja, ki podpira AI in simulacijo, kar omogoča razvijalcem, da trenirajo robote z minimalnimi podatki o človeških demonstracijah.

Jensen Huang je izjavil: "Naslednji val AI so roboti, eden najbolj razburljivih razvojnih korakov pa so humanoidni roboti. Napredujemo celotnemu robotskemu skladu NVIDIA, ga odpiramo razvijalcem humanoidnih robotov in podjetjem po vsem svetu, kar jim omogoča, da uporabljajo platforme, pospešene knjižnice in AI modele, ki najbolje ustrezajo njihovim potrebam."

Pospeševanje razvoja z NVIDIA NIM in OSMO.

Mikroservisi NIM ponujajo vnaprej pripravljene kontejnerje, podprte s programsko opremo za inference NVIDIA, kar zmanjša čas uvedbe s tednov na minute.

Dva nova mikroservisa AI bosta omogočila strokovnjakom za robotiko, da izboljšajo generacijo delovnih tokov fizične AI simulacije v NVIDIA Isaac Sim.

Mikroservis MimicGen NIM generira sintetične podatke o gibanju iz daljinsko posnetih podatkov iz prostornih računalniških naprav, kot je Apple Vision Pro. Mikroservis Robocasa NIM generira naloge za robote in simulacijska okolja v OpenUSD.

Storitve v oblaku NVIDIA OSMO so zdaj na voljo, kar uporabnikom omogoča usklajevanje in obsežno obvladovanje kompleksnih delovnih tokov razvoja robotov preko razpršenih računalniških virov, bodisi na kraju samem bodisi v oblaku. OSMO znatno poenostavi delovne tokove usposabljanja in simulacije robotov, zmanjšuje čas uvedbe in razvojne cikle iz mesecev na manj kot en teden.

Zagotavljanje naprednih delovnih tokov zajemanja podatkov za razvijalce humanoidnih robotov.

Usposabljanje temeljnih modelov za humanoidne robote zahteva ogromne količine podatkov. Eden od načinov za pridobitev podatkov o človeških demonstracijah je daljinsko delovanje, vendar ta metoda postaja vse dražja in časovno potratna.

Z prikazovanjem referenčnega delovnega toka za daljinsko upravljanje AI in Omniverse NVIDIE na konferenci računalniške grafike SIGGRAPH lahko raziskovalci in razvijalci AI generirajo velike količine sintetičnih podatkov o gibanju in zaznavanju iz minimalne količine daljinsko zajetih človeških demonstracij.

Najprej razvijalci zajamejo majhno količino daljinskih demonstracij z uporabo Apple Vision Pro. Nato simulirajo posnetke v NVIDIA Isaac Sim in uporabijo mikroservis MimicGen NIM za generiranje sintetičnih podatkovnih nizov iz posnetkov.

Razvijalci uporabljajo tako realne kot sintetične podatke za usposabljanje temeljnega modela humanoidnega robota Projekt GR00T, pri čemer prihranijo znatno količino časa in zmanjšajo stroške. Nato uporabijo mikroservis Robocasa NIM v Isaac Lab, okviru za učenje robotov, za generiranje izkušenj za ponovno usposabljanje modela robota. V celotnem delovnem toku NVIDIA OSMO brezhibno dodeljuje računalniške naloge različnim virom, kar razvijalcem zmanjšuje obremenitev upravljanja za tedne.

Širitev dostopa do tehnologij za razvijalce humanoidnih robotov NVIDIE.

NVIDIA ponuja tri računalniške platforme za poenostavitev razvoja humanoidnih robotov: superračunalnik NVIDIA AI za usposabljanje modelov; NVIDIA Isaac Sim, zgrajen na Omniverse, za robote, da se učijo in izpopolnjujejo veščine v simuliranem svetu; in računalnik humanoidnega robota NVIDIA Jetson Thor za izvajanje modelov. Razvijalci lahko dostopajo do vseh ali dela teh platform v skladu s svojimi specifičnimi potrebami.

S pomočjo novega Programa za razvijalce humanoidnih robotov NVIDIE lahko razvijalci pridobijo zgodnji dostop do novih izdelkov in najnovejših različic NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor in temeljnega modela humanoidnega robota Projekt GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra in Skild AI so med prvimi podjetji, ki so se pridružila programu zgodnjega dostopa.

Razvijalci se zdaj lahko pridružijo Programu za razvijalce humanoidnih robotov NVIDIE, da dostopajo do NVIDIE OSMO in Isaac Lab ter kmalu pridobijo dostop do mikroservisov NIM NVIDIE.

Povezava do bloga: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Sledite WriteGo, da dobite najnovejše informacije o AI