Управляйте роботами удаленно с помощью Apple Vision Pro, NVIDIA: 'Интеграция человека и машины не сложна'

Дженсен Хуанг сказал: "Следующая волна ИИ - это роботы, и одним из самых захватывающих разработок являются гуманоидные роботы." Сегодня Project GR00T сделал важный шаг вперед.

Вчера основатель NVIDIA Дженсен Хуанг говорил о своей универсальной модели гуманоидного робота "Project GR00T" на своей ключевой речи на SIGGRAPH 2024. Модель получила ряд функциональных обновлений.

Юке Чжу, ассистент-профессор в Университете Техаса в Остине и старший научный сотрудник NVIDIA, опубликовал видео, демонстрирующее, как NVIDIA интегрировала крупномасштабные тренировочные фреймворки для домашних роботов RoboCasa и MimicGen в платформу NVIDIA Omniverse и платформу разработки роботов Isaac.

Видео охватывает три вычислительные платформы NVIDIA - ИИ, Omniverse и Jetson Thor - используя их для упрощения и ускорения рабочих процессов разработчиков. Благодаря объединенным возможностям этих вычислительных платформ, мы готовы вступить в эру гуманоидных роботов, управляемых физическим ИИ.

Среди основных моментов - разработчики могут использовать Apple Vision Pro для удаленного управления гуманоидными роботами для выполнения задач.

Тем временем, другой старший научный сотрудник NVIDIA, Джим Фан, заявил, что обновления Project GR00T захватывающи. NVIDIA использует систематический подход для масштабирования данных о роботах, решая некоторые из самых сложных задач в области робототехники.

Идея проста: люди собирают демонстрационные данные на реальных роботах, а NVIDIA масштабирует эти данные в тысячу раз или больше в симуляциях. Благодаря ускоренным симуляциям на GPU, люди теперь могут использовать вычислительную мощность для замены трудоемкого и дорогостоящего процесса сбора данных человеком.

Он упомянул, что не так давно он считал, что удаленное управление в принципе несопоставимо, потому что в атомном мире мы всегда ограничены лимитом в 24 часа на робота в день. Новый синтетический поток данных, используемый в GR00T, разрушает это ограничение в цифровом мире.

Что касается последних достижений NVIDIA в области гуманоидной робототехники, один интернет-пользователь прокомментировал, что Apple Vision Pro нашел свое самое крутое применение.

NVIDIA начинает вести следующую волну: физический ИИ.

NVIDIA также подробно описала технический процесс ускорения гуманоидных роботов в блоге. Вот полный текст:

Чтобы ускорить разработку гуманоидных роботов по всему миру, NVIDIA объявила о наборе услуг, моделей и вычислительных платформ для ведущих производителей роботов, разработчиков ИИ-моделей и производителей программного обеспечения по всему миру, позволяя им разрабатывать, обучать и создавать следующее поколение гуманоидных роботов.

Этот набор включает новые микросервисы и фреймворки NVIDIA NIM для симуляции и обучения роботов, сервис оркестрации NVIDIA OSMO для запуска многослойных рабочих нагрузок роботов и рабочий процесс удаленной операции, поддерживающий ИИ и симуляцию, позволяя разработчикам обучать роботов с минимальным количеством демонстрационных данных от человека.

Дженсен Хуанг заявил: "Следующая волна ИИ - это роботы, и одним из самых захватывающих разработок являются гуманоидные роботы. Мы продвигаем всю стек NVIDIA для роботов, открывая его для разработчиков гуманоидных роботов и компаний по всему миру, позволяя им использовать платформы, ускоренные библиотеки и ИИ-модели, которые лучше всего соответствуют их потребностям."

Ускорение разработки с NVIDIA NIM и OSMO.

Микросервисы NIM предлагают готовые контейнеры, поддерживаемые программным обеспечением NVIDIA для вывода, сокращая время развертывания с недель до минут.

Два новых микросервиса ИИ позволят экспертам в области робототехники улучшить генерацию рабочих процессов симуляции физического ИИ в NVIDIA Isaac Sim.

Микросервис MimicGen NIM генерирует синтетические данные о движении из удаленно записанных данных с пространственных вычислительных устройств, таких как Apple Vision Pro. Микросервис Robocasa NIM генерирует задачи роботов и симуляционные среды в OpenUSD.

Управляемый облачный сервис NVIDIA OSMO теперь доступен, позволяя пользователям координировать и масштабировать сложные рабочие процессы разработки роботов по распределенным вычислительным ресурсам, как на месте, так и в облаке. OSMO значительно упрощает рабочие процессы обучения и симуляции роботов, сокращая циклы развертывания и разработки с месяцев до менее чем недели.

Обеспечение продвинутых рабочих процессов захвата данных для разработчиков гуманоидных роботов.

Обучение базовым моделям гуманоидных роботов требует огромного количества данных. Один из способов получения данных о демонстрации человека - это удаленное управление, но этот метод становится все более дорогим и трудоемким.

Показав рабочий процесс удаленной операции NVIDIA AI и Omniverse на конференции по компьютерной графике SIGGRAPH, исследователи и разработчики ИИ могут генерировать большие объемы синтетических данных о движении и восприятии из минимального количества удаленно захваченных демонстраций человека.

Во-первых, разработчики захватывают небольшое количество удаленной демонстрации с помощью Apple Vision Pro. Затем они симулируют записи в NVIDIA Isaac Sim и используют микросервис MimicGen NIM для генерации синтетических наборов данных из записей.

Разработчики используют как реальные, так и синтетические данные для обучения базовой модели гуманоидного робота Project GR00T, экономя значительное время и снижая затраты. Затем они используют микросервис Robocasa NIM в Isaac Lab, фреймворке обучения роботов, чтобы генерировать опыт для повторного обучения модели робота. На протяжении всего рабочего процесса NVIDIA OSMO безупречно распределяет вычислительные задачи между различными ресурсами, снижая нагрузку на управление разработчиков на недели.

Расширение доступа к технологиям разработчиков гуманоидных роботов NVIDIA.

NVIDIA предлагает три вычислительные платформы для упрощения разработки гуманоидных роботов: суперкомпьютер NVIDIA AI для обучения моделей; NVIDIA Isaac Sim, построенный на Omniverse, для обучения и оттачивания навыков роботов в симулированном мире; и компьютер гуманоидного робота NVIDIA Jetson Thor для запуска моделей. Разработчики могут получить доступ и использовать все или часть этих платформ в зависимости от своих конкретных потребностей.

Через новую Программу разработчиков гуманоидных роботов NVIDIA разработчики могут получить ранний доступ к новым продуктам и последним версиям NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor и базовой модели гуманоидного робота Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra и Skild AI - среди первых компаний, присоединившихся к программе раннего доступа.

Разработчики теперь могут присоединиться к Программе разработчиков гуманоидных роботов NVIDIA, чтобы получить доступ к NVIDIA OSMO и Isaac Lab, а вскоре получить доступ к микросервисам NVIDIA NIM.

Ссылка на блог: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Следите за WriteGo, чтобы получать последние новости об ИИ