Kontrol Robot Jarak Jauh dengan Apple Vision Pro, NVIDIA: 'Integrasi Manusia-Mesin Tidak Sulit'

Jensen Huang mengatakan, "Gelombang AI berikutnya adalah robot, dan salah satu perkembangan yang paling menarik adalah robot humanoid." Hari ini, Project GR00T telah mengambil langkah penting ke depan.

Kemarin, pendiri NVIDIA Jensen Huang berbicara tentang model robot humanoid serbaguna mereka, "Project GR00T," selama pidato kuncinya di SIGGRAPH 2024. Model ini telah menerima serangkaian pembaruan fungsional.

Yuke Zhu, seorang profesor asisten di Universitas Texas di Austin dan ilmuwan riset senior di NVIDIA, mengunggah video yang menunjukkan bagaimana NVIDIA mengintegrasikan kerangka pelatihan simulasi robot rumah tangga berskala besar RoboCasa dan MimicGen ke dalam platform NVIDIA Omniverse dan platform pengembangan robot Isaac.

Video tersebut mencakup tiga platform komputasi NVIDIA—AI, Omniverse, dan Jetson Thor—memanfaatkan mereka untuk menyederhanakan dan mempercepat alur kerja pengembang. Melalui kemampuan gabungan dari platform komputasi ini, kita siap memasuki era robot humanoid yang didorong oleh AI fisik.

Salah satu sorotan adalah bahwa pengembang dapat menggunakan Apple Vision Pro untuk mengontrol robot humanoid dari jarak jauh untuk melakukan tugas.

Sementara itu, ilmuwan riset senior lainnya di NVIDIA, Jim Fan, menyatakan bahwa pembaruan pada Project GR00T sangat menggembirakan. NVIDIA menggunakan pendekatan sistematis untuk menskalakan data robot, mengatasi beberapa masalah paling menantang di bidang robotika.

Gagasan ini sederhana: manusia mengumpulkan data demonstrasi pada robot nyata, dan NVIDIA menskalakan data ini seribu kali lipat atau lebih dalam simulasi. Dengan simulasi yang dipercepat GPU, orang sekarang dapat menggunakan kekuatan komputasi untuk menggantikan proses pengumpulan data manusia yang memakan waktu, intensif, dan mahal.

Dia menyebutkan bahwa tidak lama yang lalu, dia percaya bahwa operasi jarak jauh secara fundamental tidak dapat diskalakan karena, di dunia atom, kita selalu terbatasi oleh batas 24 jam per robot per hari. Jalur data sintetis baru yang digunakan dalam GR00T memecahkan batasan ini di dunia digital.

Mengenai kemajuan terbaru NVIDIA dalam robotika humanoid, seorang netizen berkomentar bahwa Apple Vision Pro telah menemukan penggunaan terhebatnya.

NVIDIA mulai memimpin gelombang berikutnya: AI fisik.

NVIDIA juga merinci proses teknis untuk mempercepat robot humanoid dalam sebuah posting blog. Berikut adalah konten lengkapnya:

Untuk mempercepat pengembangan robot humanoid di seluruh dunia, NVIDIA mengumumkan serangkaian layanan, model, dan platform komputasi untuk produsen robot terkemuka, pengembang model AI, dan pembuat perangkat lunak secara global, memungkinkan mereka untuk mengembangkan, melatih, dan membangun generasi berikutnya dari robot humanoid.

Kumpulan ini mencakup layanan mikro NVIDIA NIM yang baru dan kerangka kerja untuk simulasi dan pembelajaran robot, layanan orkestrasi NVIDIA OSMO untuk menjalankan beban kerja robot multi-tahap, dan alur kerja operasi jarak jauh yang mendukung AI dan simulasi, memungkinkan pengembang untuk melatih robot dengan data demonstrasi manusia yang minimal.

Jensen Huang menyatakan, "Gelombang berikutnya dari AI adalah robot, dan salah satu perkembangan yang paling menarik adalah robot humanoid. Kami memajukan seluruh tumpukan robot NVIDIA, membukanya untuk pengembang robot humanoid dan perusahaan di seluruh dunia, memungkinkan mereka untuk menggunakan platform, pustaka yang dipercepat, dan model AI yang paling sesuai dengan kebutuhan mereka."

Mempercepat pengembangan dengan NVIDIA NIM dan OSMO.

Mikroservis NIM menawarkan wadah pra-bangun yang didukung oleh perangkat lunak inferensi NVIDIA, mengurangi waktu penerapan dari minggu menjadi menit.

Dua mikroservis AI baru akan memungkinkan para ahli robotika untuk meningkatkan pembuatan alur kerja simulasi AI fisik di NVIDIA Isaac Sim.

Mikroservis MimicGen NIM menghasilkan data gerakan sintetis dari data yang direkam secara jarak jauh dari perangkat komputasi spasial seperti Apple Vision Pro. Mikroservis Robocasa NIM menghasilkan tugas robot dan lingkungan simulasi dalam OpenUSD.

Layanan terkelola berbasis cloud NVIDIA OSMO sekarang tersedia, memungkinkan pengguna untuk mengoordinasikan dan menskalakan alur kerja pengembangan robot yang kompleks di berbagai sumber daya komputasi, baik di tempat maupun di cloud. OSMO secara signifikan menyederhanakan pelatihan dan alur kerja simulasi robot, mengurangi siklus penerapan dan pengembangan dari bulan menjadi kurang dari seminggu.

Menyediakan alur kerja pengambilan data canggih untuk pengembang robot humanoid.

Melatih model dasar di balik robot humanoid memerlukan sejumlah besar data. Salah satu cara untuk mendapatkan data demonstrasi manusia adalah melalui operasi jarak jauh, tetapi metode ini semakin mahal dan memakan waktu.

Dengan memamerkan alur kerja referensi operasi jarak jauh NVIDIA AI dan Omniverse di konferensi grafika komputer SIGGRAPH, para peneliti dan pengembang AI dapat menghasilkan sejumlah besar data gerakan dan persepsi sintetis dari sejumlah kecil demonstrasi manusia yang ditangkap dari jarak jauh.

Pertama, para pengembang menangkap sejumlah kecil demonstrasi jarak jauh menggunakan Apple Vision Pro. Kemudian, mereka mensimulasikan rekaman di NVIDIA Isaac Sim dan menggunakan mikroservis MimicGen NIM untuk menghasilkan dataset sintetis dari rekaman tersebut.

Para pengembang menggunakan data nyata dan sintetis untuk melatih model dasar robot humanoid Project GR00T, menghemat waktu dan mengurangi biaya secara signifikan. Mereka kemudian menggunakan mikroservis Robocasa NIM di Isaac Lab, sebuah kerangka pembelajaran robot, untuk menghasilkan pengalaman untuk melatih ulang model robot. Sepanjang alur kerja, NVIDIA OSMO secara mulus mengalokasikan tugas komputasi ke berbagai sumber daya, mengurangi beban kerja manajemen pengembang selama berminggu-minggu.

Memperluas akses ke teknologi pengembang robot humanoid NVIDIA.

NVIDIA menawarkan tiga platform komputasi untuk menyederhanakan pengembangan robot humanoid: superkomputer NVIDIA AI untuk melatih model; NVIDIA Isaac Sim, yang dibangun di atas Omniverse, untuk robot belajar dan menyempurnakan keterampilan di dunia simulasi; dan komputer robot humanoid NVIDIA Jetson Thor untuk menjalankan model. Para pengembang dapat mengakses dan menggunakan semua atau sebagian dari platform ini sesuai dengan kebutuhan spesifik mereka.

Melalui Program Pengembang Robot Humanoid NVIDIA yang baru, para pengembang dapat mendapatkan akses awal ke produk baru dan versi terbaru dari NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor, dan model dasar robot humanoid umum Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra, dan Skild AI adalah beberapa perusahaan pertama yang bergabung dengan program akses awal.

Para pengembang sekarang dapat bergabung dengan Program Pengembang Robot Humanoid NVIDIA untuk mengakses NVIDIA OSMO dan Isaac Lab dan segera mendapatkan akses ke mikroservis NVIDIA NIM.

Tautan blog: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Ikuti WriteGo untuk mendapatkan informasi AI terbaru