Ohjaa robotteja etänä Apple Vision Pro: n avulla, NVIDIA: 'Ihmis-kone-integraatio ei ole vaikeaa'

Jensen Huang sanoi: "Seuraava tekoälyn aalto ovat robotit, ja yksi jännittävimmistä kehityksistä ovat humanoidirobotit." Tänään Project GR00T on ottanut tärkeän askeleen eteenpäin.

Eilen NVIDIA:n perustaja Jensen Huang puhui heidän yleiskäyttöisestä humanoidirobottimallista, "Project GR00T", SIGGRAPH 2024 avainpuheessaan. Malli on saanut joukon toiminnallisia päivityksiä.

Yuke Zhu, Texasin yliopiston apulaisprofessori ja NVIDIA:n vanhempi tutkimustieteilijä, twittasi videon, joka osoittaa, kuinka NVIDIA on integroinut laajamittaiset kotitalousrobottisimulaatiokoulutuskehykset RoboCasa ja MimicGen NVIDIA Omniverse -alustaan ja Isaac-robottikehitysalustaan.

Video kattaa NVIDIA:n kolme laskentapohjaa—tekoäly, Omniverse ja Jetson Thor—hyödyntäen niitä kehittäjien työnkulkujen yksinkertaistamiseksi ja nopeuttamiseksi. Näiden laskentapohjien yhdistettyjen kykyjen avulla olemme siirtymässä aikakauteen, jossa humanoidirobotteja ohjaa fyysinen tekoäly.

Yksi kohokohdista on, että kehittäjät voivat käyttää Apple Vision Pro: ta etäohjatakseen humanoidirobotteja suorittamaan tehtäviä.

Samaan aikaan toinen NVIDIA:n vanhempi tutkimustieteilijä, Jim Fan, totesi, että Project GR00T:n päivitykset ovat jännittäviä. NVIDIA käyttää systemaattista lähestymistapaa robottidatan skaalaamiseen, käsitellen joitakin robotiikan kentän haastavimmista ongelmista.

Ajatus on yksinkertainen: ihmiset keräävät demonstraatiodataa oikeista roboteista, ja NVIDIA skaalaa tämän datan tuhansia kertoja simulaatioissa. GPU-kiihdytettyjen simulaatioiden avulla ihmiset voivat nyt hyödyntää laskentatehoa korvatakseen aikaa vievän, työvoimavaltaisen ja kalliin prosessin ihmisten datan keruussa.

Hän mainitsi, että ei niin kauan sitten hän uskoi, että etätoiminta oli periaatteessa skaalaamatonta, koska atomimaailmassa olemme aina rajoitettuina 24 tunnin päivittäisiin rajoihin jokaiselle robotille. GR00T:ssa käytetty uusi synteettisen datan putki rikkoo tämän rajoituksen digitaalisessa maailmassa.

NVIDIA:n viimeisistä edistysaskelista humanoidirobotiikassa yksi nettikansalainen kommentoi, että Apple Vision Pro on löytänyt hienoimman käyttötarkoituksensa.

NVIDIA alkaa johtaa seuraavaa aaltoa: fyysistä tekoälyä.

NVIDIA myös yksityiskohtaisesti kertoi teknisestä prosessista humanoidirobottien kiihdyttämiseksi blogikirjoituksessa. Tässä on koko sisältö:

Kiihdyttääkseen humanoidirobottien kehitystä maailmanlaajuisesti, NVIDIA ilmoitti joukosta palveluja, malleja ja laskentapohjia johtaville robottivalmistajille, tekoälymallien kehittäjille ja ohjelmistovalmistajille maailmanlaajuisesti, mahdollistaen heitä kehittämään, kouluttamaan ja rakentamaan seuraavan sukupolven humanoidirobotteja.

Tämä ohjelma sisältää uudet NVIDIA NIM -mikropalvelut ja kehykset robottisimulaatioon ja oppimiseen, NVIDIA OSMO -orchestration-palvelun monivaiheisten robottityökuormien ajamiseen, ja etätoimintatyönkulun, joka tukee tekoälyä ja simulaatiota, mahdollistaen kehittäjien kouluttaa robotteja vähäisellä ihmisen demonstraatiodatalla.

Jensen Huang totesi: "Seuraava tekoälyn aalto ovat robotit, ja yksi jännittävimmistä kehityksistä ovat humanoidirobotit. Kehitämme koko NVIDIA:n robottikokonaisuutta, avaten sen humanoidirobottikehittäjille ja yrityksille ympäri maailmaa, mahdollistaen heitä käyttämään alustoja, kiihdytettyjä kirjastoja ja tekoälymalleja, jotka parhaiten vastaavat heidän tarpeitaan."

Kehityksen kiihdyttäminen NVIDIA NIM: n ja OSMO: n avulla.

NIM-mikropalvelut tarjoavat esirakennettuja kontteja, joita ohjaa NVIDIA:n päätöksentekosoftware, vähentäen käyttöönottoaikaa viikoista minuutteihin.

Kaksi uutta tekoälymikropalvelua mahdollistavat robotiikan asiantuntijoille parantaa fyysisen tekoälyn simulaatiotyönkulkujen generointia NVIDIA Isaac Sim:ssä.

MimicGen NIM -mikropalvelu generoi synteettistä liiketietoa etäisesti tallennetuista tiedoista, joita kerätään tilatietokoneen laitteista, kuten Apple Vision Pro. Robocasa NIM -mikropalvelu generoi robottitehtäviä ja simulaatioympäristöjä OpenUSD: ssä.

Pilvipohjainen hallinnoitu palvelu NVIDIA OSMO on nyt saatavilla, mahdollistaen käyttäjien koordinoida ja skaalata monimutkaisia robottikehitystyönkulkuja hajautetuissa laskentaresursseissa, joko paikallisesti tai pilvessä. OSMO yksinkertaistaa merkittävästi robottien koulutus- ja simulaatiotyönkulkuja, vähentäen käyttöönotto- ja kehityssyklejä kuukausista alle viikkoon.

Tarjoamalla edistyneitä datan keruutyönkulkuja humanoidirobottikehittäjille.

Humanoidirobottien taustalla olevien perustavanlaatuisten mallien kouluttaminen vaatii valtavia määriä dataa. Yksi tapa saada ihmisen demonstraatiodata on etätoiminta, mutta tämä menetelmä tulee yhä kalliimmaksi ja aikaa vievämmäksi.

Esittelemällä NVIDIA AI ja Omniverse etätoimintaviiteprosessin SIGGRAPH-tietokonesovelluksissa, tutkijat ja tekoälykehittäjät voivat tuottaa suuria määriä synteettistä liikettä ja havaintodataa vähäisestä määrästä etäisesti tallennettuja ihmisen demonstraatioita.

Ensinnäkin kehittäjät tallentavat pienen määrän etäistä demonstraatiota käyttäen Apple Vision Pro: ta. Sitten he simuloivat tallenteita NVIDIA Isaac Sim: ssä ja käyttävät MimicGen NIM -mikropalvelua synteettisten tietosarjojen luomiseksi tallenteista.

Kehittäjät käyttävät sekä todellista että synteettistä dataa Project GR00T:n humanoidirobottien perustavanlaatuisten mallien kouluttamiseen, säästäen merkittävästi aikaa ja vähentäen kustannuksia. He käyttävät sitten Robocasa NIM -mikropalvelua Isaac Labissa, robottien oppimisympäristössä, luodakseen kokemuksia robotin mallin uudelleenkouluttamiseksi. Koko työprosessin aikana NVIDIA OSMO jakaa laskentatehtävät saumattomasti eri resursseille, vähentäen kehittäjien hallintatyötä viikoilla.

Laajentamalla pääsyä NVIDIA:n humanoidirobottikehittäjäteknologioihin.

NVIDIA tarjoaa kolme laskentapohjaa humanoidirobottien kehityksen yksinkertaistamiseksi: NVIDIA AI -supertietokone mallien kouluttamiseen; NVIDIA Isaac Sim, joka on rakennettu Omniverseen, roboteille oppimiseen ja taitojen hiomiseen simuloidussa maailmassa; ja NVIDIA Jetson Thor humanoidirobottitietokone mallien ajamiseen. Kehittäjät voivat käyttää näitä alustoja kokonaan tai osittain omien tarpeidensa mukaan.

Uuden NVIDIA Humanoid Robot Developer Programin kautta kehittäjät voivat saada ennakkopääsyn uusiin tuotteisiin ja uusimpiin versioihin NVIDIA Isaac Simistä, NVIDIA Isaac Labista, Jetson Thorista ja Project GR00T:n yleisestä humanoidirobottien perustavanlaisesta mallista.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra ja Skild AI ovat ensimmäisten yritysten joukossa, jotka liittyvät ennakkopääsyohjelmaan.

Kehittäjät voivat nyt liittyä NVIDIA Humanoid Robot Developer Programiin päästäkseen NVIDIA OSMO: hon ja Isaac Labiin ja pian saada pääsyn NVIDIA NIM -mikropalveluihin.

Blogilinkki: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Seuraa WriteGo saadaksesi viimeisimmät tekoälytiedot