Ovládajte roboty na diaľku pomocou Apple Vision Pro, NVIDIA: 'Integrácia človeka a stroja nie je ťažká'

Jensen Huang povedal: "Ďalšia vlna AI sú roboty a jedným z najvzrušujúcejších vývojov sú humanoidné roboty." Dnes Projekt GR00T urobil dôležitý krok vpred.

Včera zakladateľ NVIDIA Jensen Huang hovoril o ich univerzálnom humanoidnom robotickom modeli, "Projekt GR00T," počas svojho kľúčového prejavu na SIGGRAPH 2024. Model dostal sériu funkčných aktualizácií.

Yuke Zhu, asistent profesor na University of Texas v Austine a senior výskumný vedec v NVIDIA, tweetoval video demonštrujúce, ako NVIDIA integrovala rámce simulácie domácich robotov RoboCasa a MimicGen do platformy NVIDIA Omniverse a platformy pre vývoj robotov Isaac.

Video pokrýva tri výpočtové platformy NVIDIA—AI, Omniverse a Jetson Thor—využívajúc ich na zjednodušenie a urýchlenie pracovných tokov vývojárov. Kombinované schopnosti týchto výpočtových platforiem nás pripravujú na vstup do éry humanoidných robotov poháňaných fyzickou AI.

Medzi najdôležitejšie body patrí, že vývojári môžu používať Apple Vision Pro na diaľkové ovládanie humanoidných robotov na vykonávanie úloh.

Medzitým iný senior výskumný vedec v NVIDIA, Jim Fan, uviedol, že aktualizácie projektu GR00T sú vzrušujúce. NVIDIA používa systematický prístup na škálovanie údajov z robotov, čím sa zaoberá niektorými z najnáročnejších problémov v oblasti robotiky.

Myšlienka je jednoduchá: ľudia zbierajú demonstračné údaje na skutočných robotov a NVIDIA tieto údaje škáluje tisíckrát alebo viac v simuláciách. S GPU-urýchlenými simuláciami môžu ľudia teraz využiť výpočtovú silu na nahradenie časovo náročného, prácneho a nákladného procesu zbierania údajov od ľudí.

Uvedomil si, že pred niekoľkými dňami veril, že diaľkové ovládanie je v zásade neškálovateľné, pretože v atómovom svete sme vždy obmedzení hranicou 24 hodín na robota za deň. Nový syntetický dátový potrubie používané v GR00T prekonáva toto obmedzenie v digitálnom svete.

Pokiaľ ide o najnovšie pokroky NVIDIA v humanoidnej robotike, jeden internetový užívateľ komentoval, že Apple Vision Pro našiel svoje najcoolovejšie využitie.

NVIDIA začína viesť ďalšiu vlnu: fyzická AI.

NVIDIA tiež podrobne popísala technický proces urýchlenia humanoidných robotov v blogovom príspevku. Tu je celý obsah:

Na urýchlenie vývoja humanoidných robotov po celom svete NVIDIA oznámila súbor služieb, modelov a výpočtových platforiem pre vedúce výrobcu robotov, vývojárov AI modelov a výrobcov softvéru na celom svete, čo im umožňuje vyvíjať, trénovať a budovať ďalšiu generáciu humanoidných robotov.

Tento balík zahŕňa nové mikroslužby NVIDIA NIM a rámce pre simuláciu a učenie robotov, orchestráciu službu NVIDIA OSMO pre spustenie multi-stage robotických pracovných záťaží a pracovný tok diaľkového ovládania podporujúci AI a simuláciu, čo umožňuje vývojárom trénovať roboty s minimálnymi údajmi o demonstrácii od ľudí.

Jensen Huang uviedol: "Ďalšia vlna AI sú roboty a jedným z najvzrušujúcejších vývojov sú humanoidné roboty. Posúvame celý robotický balík NVIDIA a otvárame ho vývojárom humanoidných robotov a spoločnostiam po celom svete, čo im umožňuje používať platformy, urýchlené knižnice a AI modely, ktoré najlepšie vyhovujú ich potrebám."

Urýchlenie vývoja s NVIDIA NIM a OSMO.

Mikroslužby NIM ponúkajú predpripravené kontajnery poháňané softvérom NVIDIA pre inferenciu, čo skracuje čas nasadenia z týždňov na minúty.

Dve nové AI mikroslužby umožnia odborníkom na robotiku zlepšiť generáciu fyzických AI simulačných pracovných tokov v NVIDIA Isaac Sim.

Mikroslužba MimicGen NIM generuje syntetické pohybové údaje z diaľkovo zaznamenaných údajov zo zariadení na priestorové počítanie, ako je Apple Vision Pro. Mikroslužba Robocasa NIM generuje úlohy robotov a simulačné prostredia v OpenUSD.

Cloud-native spravovaná služba NVIDIA OSMO je teraz k dispozícii, čo umožňuje používateľom koordinovať a škálovať komplexné pracovné toky vývoja robotov naprieč distribuovanými výpočtovými zdrojmi, či už na mieste alebo v cloude. OSMO výrazne zjednodušuje školenie a simulačné pracovné toky robotov, skracujúc cykly nasadenia a vývoja z mesiacov na menej ako týždeň.

Poskytovanie pokročilých pracovných tokov zberu údajov pre vývojárov humanoidných robotov.

Tréning základných modelov za humanoidné roboty si vyžaduje obrovské množstvo údajov. Jedným zo spôsobov, ako získať údaje o demonstrácii ľudí, je prostredníctvom diaľkového ovládania, ale táto metóda sa stáva čoraz nákladnejšou a časovo náročnejšou.

Predvedením referenčného pracovného toku na diaľkové ovládanie NVIDIA AI a Omniverse na konferencii SIGGRAPH môžu vedci a vývojári AI generovať veľké množstvá syntetických pohybových a percepčných údajov z minimálneho množstva diaľkovo zachytených demonstrácií ľudí.

Najprv vývojári zachytia malé množstvo diaľkovej demonstrácie pomocou Apple Vision Pro. Potom simulujú záznamy v NVIDIA Isaac Sim a používajú mikroslužbu MimicGen NIM na generovanie syntetických datasetov z týchto záznamov.

Vývojári používajú skutočné aj syntetické údaje na tréning základného modelu humanoidného robota Projektu GR00T, čím šetria značný čas a znižujú náklady. Potom používajú mikroslužbu Robocasa NIM v Isaac Lab, rámce pre učenie robotov, na generovanie skúseností pre opätovný tréning modelu robota. Počas celého pracovného toku NVIDIA OSMO bezproblémovo prideľuje výpočtové úlohy rôznym zdrojom, čím znižuje pracovnú záťaž správy vývojárov o týždne.

Rozširovanie prístupu k technológiam vývojárov humanoidných robotov NVIDIA.

NVIDIA ponúka tri výpočtové platformy na zjednodušenie vývoja humanoidných robotov: superpočítač NVIDIA AI na tréning modelov; NVIDIA Isaac Sim, postavený na Omniverse, pre roboty na učenie a zdokonaľovanie zručností v simulovanom svete; a počítač humanoidného robota NVIDIA Jetson Thor na spúšťanie modelov. Vývojári môžu pristupovať a používať všetky alebo časť týchto platforiem podľa svojich špecifických potrieb.

Prostredníctvom nového programu pre vývojárov humanoidných robotov NVIDIA môžu vývojári získať predbežný prístup k novým produktom a najnovším verziám NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor a základnému modelu humanoidného robota Projektu GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra a Skild AI sú medzi prvými spoločnosťami, ktoré sa pripojili k programu predbežného prístupu.

Vývojári sa teraz môžu pripojiť k programu pre vývojárov humanoidných robotov NVIDIA, aby získali prístup k NVIDIA OSMO a Isaac Lab a čoskoro získali prístup k mikroslužbám NVIDIA NIM.

Odkaz na blog: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Sledujte WriteGo, aby ste získali najnovšie informácie o AI