Controlați roboții de la distanță cu Apple Vision Pro, NVIDIA: 'Integrarea om-mașină nu este dificilă'

Jensen Huang a spus: "Următoarea etapă a IA-ului sunt roboții, iar una dintre cele mai interesante dezvoltări sunt roboții umanoid." Astăzi, Project GR00T a făcut un pas important înainte.

Ieri, fondatorul NVIDIA, Jensen Huang, a vorbit despre modelul lor de robot umanoid de utilizare generală, "Project GR00T," în timpul discursului său principal la SIGGRAPH 2024. Modelul a primit o serie de actualizări funcționale.

Yuke Zhu, profesor asistent la Universitatea Texas din Austin și cercetător senior la NVIDIA, a postat un videoclip demonstrând cum NVIDIA a integrat cadrele de simulare a roboților de uz casnic de mari dimensiuni RoboCasa și MimicGen în platforma NVIDIA Omniverse și platforma de dezvoltare a roboților Isaac.

Videoclipul acoperă cele trei platforme de calcul NVIDIA—IA, Omniverse și Jetson Thor—profitând de ele pentru a simplifica și accelera fluxurile de lucru ale dezvoltatorilor. Prin capabilitățile combinate ale acestor platforme de calcul, suntem pregătiți să intrăm într-o eră a roboților umanoid conduși de IA fizică.

Printre cele mai importante aspecte se numără faptul că dezvoltatorii pot folosi Apple Vision Pro pentru a controla de la distanță roboți umanoid pentru a efectua sarcini.

Între timp, alt cercetător senior la NVIDIA, Jim Fan, a afirmat că actualizările aduse Project GR00T sunt electrizante. NVIDIA folosește o abordare sistematică pentru a scala datele despre roboți, abordând unele dintre cele mai provocatoare probleme din domeniul roboticii.

Ideea este simplă: oamenii colectează date de demonstrație pe roboți reali, iar NVIDIA scalează aceste date de o mie de ori sau mai mult în simulări. Cu simulări accelerate de GPU, oamenii pot acum folosi puterea de calcul pentru a înlocui procesul consumator de timp, intensiv în muncă și costisitor de colectare a datelor umane.

El a menționat că nu cu mult timp în urmă, credea că operațiunile de la distanță sunt fundamental nescalabile, deoarece, în lumea atomică, suntem întotdeauna constrânși de limita de 24 de ore pe robot pe zi. Noua conductă de date sintetice utilizată în GR00T sparge această limitare în lumea digitală.

Referitor la cele mai recente progrese ale NVIDIA în robotică umanoidă, un utilizator de internet a comentat că Apple Vision Pro a găsit cea mai tare aplicație.

NVIDIA începe să conducă următoarea etapă: IA fizică.

NVIDIA a detaliat, de asemenea, procesul tehnic de accelerare a roboților umanoid într-o postare pe blog. Iată conținutul complet:

Pentru a accelera dezvoltarea roboților umanoid la nivel mondial, NVIDIA a anunțat un set de servicii, modele și platforme de calcul pentru principalii producători de roboți, dezvoltatori de modele IA și creatori de software la nivel global, permițându-le să dezvolte, să antreneze și să construiască următoarea generație de roboți umanoid.

Această suită include noile microservicii și cadre NVIDIA NIM pentru simularea și învățarea roboților, serviciul de orchestrare NVIDIA OSMO pentru rularea sarcinilor de lucru ale roboților în mai multe etape și fluxul de lucru de operare la distanță care susține IA și simularea, permițând dezvoltatorilor să antreneze roboții cu date minime de demonstrație umană.

Jensen Huang a declarat: "Următoarea etapă a IA-ului sunt roboții, iar una dintre cele mai interesante dezvoltări sunt roboții umanoid. Avansăm întreaga stivă de roboți NVIDIA, deschizând-o pentru dezvoltatorii de roboți umanoid și companii din întreaga lume, permițându-le să folosească platformele, bibliotecile accelerate și modelele IA care se potrivesc cel mai bine nevoilor lor."

Accelerarea dezvoltării cu NVIDIA NIM și OSMO.

Microserviciile NIM oferă containere pre-construite alimentate de software-ul de inferență NVIDIA, reducând timpul de desfășurare de la săptămâni la minute.

Două noi microservicii IA vor permite experților în robotică să îmbunătățească generarea fluxurilor de lucru de simulare a IA fizice în NVIDIA Isaac Sim.

Microserviciul MimicGen NIM generează date de mișcare sintetice din datele înregistrate de la distanță de la dispozitive de calcul spațial precum Apple Vision Pro. Microserviciul Robocasa NIM generează sarcini pentru roboți și medii de simulare în OpenUSD.

Serviciul gestionat nativ în cloud NVIDIA OSMO este acum disponibil, permițând utilizatorilor să coordoneze și să scaleze fluxurile de lucru complexe de dezvoltare a roboților pe resurse de calcul distribuite, fie la sediu, fie în cloud. OSMO simplifică semnificativ fluxurile de lucru de antrenare și simulare a roboților, reducând ciclurile de desfășurare și dezvoltare de la luni la mai puțin de o săptămână.

Oferind fluxuri de lucru avansate de captare a datelor pentru dezvoltatorii de roboți umanoid.

Antrenarea modelelor fundamentale din spatele roboților umanoid necesită cantități uriașe de date. O modalitate de a obține date de demonstrație umană este prin operațiuni de la distanță, dar această metodă devine din ce în ce mai costisitoare și consumatoare de timp.

Prin prezentarea fluxului de lucru de referință pentru operațiuni la distanță NVIDIA IA și Omniverse la conferința de grafică computerizată SIGGRAPH, cercetătorii și dezvoltatorii IA pot genera cantități mari de date sintetice de mișcare și percepție dintr-o cantitate minimă de demonstrații umane capturate de la distanță.

În primul rând, dezvoltatorii captează o mică cantitate de demonstrație de la distanță folosind Apple Vision Pro. Apoi, ei simulează înregistrările în NVIDIA Isaac Sim și folosesc microserviciul MimicGen NIM pentru a genera seturi de date sintetice din înregistrări.

Dezvoltatorii folosesc atât date reale, cât și sintetice pentru a antrena modelul fundamental al robotului umanoid Project GR00T, economisind timp semnificativ și reducând costurile. Apoi, ei folosesc microserviciul Robocasa NIM în Isaac Lab, un cadru de învățare pentru roboți, pentru a genera experiențe pentru recalibrarea modelului robotului. Pe parcursul fluxului de lucru, NVIDIA OSMO alocă fără probleme sarcinile de calcul diferitelor resurse, reducând sarcina de gestionare a dezvoltatorilor cu săptămâni.

Extinderea accesului la tehnologiile pentru dezvoltatorii de roboți umanoid NVIDIA.

NVIDIA oferă trei platforme de calcul pentru a simplifica dezvoltarea roboților umanoid: supercomputerul AI NVIDIA pentru antrenarea modelelor; NVIDIA Isaac Sim, construit pe Omniverse, pentru ca roboții să învețe și să îmbunătățească abilitățile într-o lume simulată; și computerul pentru roboți umanoid NVIDIA Jetson Thor pentru rularea modelelor. Dezvoltatorii pot accesa și utiliza toate sau o parte din aceste platforme în funcție de nevoile lor specifice.

Prin noul Program pentru Dezvoltatori de Roboți Umanoid NVIDIA, dezvoltatorii pot obține acces timpuriu la noi produse și cele mai recente versiuni ale NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor și modelul fundamental de robot umanoid Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra, și Skild AI sunt printre primele companii care s-au alăturat programului de acces timpuriu.

Dezvoltatorii pot acum să se alăture Programului pentru Dezvoltatori de Roboți Umanoid NVIDIA pentru a accesa NVIDIA OSMO și Isaac Lab și în curând vor obține acces la microserviciile NVIDIA NIM.

Link blog: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Urmăriți WriteGo pentru a obține cele mai recente informații despre IA