Điều Khiển Robot Từ Xa Bằng Apple Vision Pro, NVIDIA: 'Tích Hợp Con Người - Máy Móc Không Khó Khăn'

Jensen Huang đã nói, "Làn sóng AI tiếp theo là robot, và một trong những phát triển thú vị nhất là robot hình người." Hôm nay, Dự Án GR00T đã tiến thêm một bước quan trọng.

Hôm qua, nhà sáng lập NVIDIA, Jensen Huang đã nói về mô hình robot hình người đa năng của họ, "Dự Án GR00T," trong bài phát biểu chính của ông tại SIGGRAPH 2024. Mô hình này đã nhận được một loạt các bản cập nhật chức năng.

Yuke Zhu, một trợ lý giáo sư tại Đại học Texas tại Austin và một nhà khoa học nghiên cứu cao cấp tại NVIDIA, đã tweet một video minh họa cách mà NVIDIA tích hợp các khung đào tạo mô phỏng robot hộ gia đình quy mô lớn RoboCasa và MimicGen vào nền tảng NVIDIA Omniverse và nền tảng phát triển robot Isaac.

Video này đề cập đến ba nền tảng tính toán của NVIDIA—AI, Omniverse, và Jetson Thor—tận dụng chúng để đơn giản hóa và tăng tốc quy trình làm việc của các nhà phát triển. Thông qua khả năng kết hợp của các nền tảng tính toán này, chúng ta đang chuẩn bị bước vào một kỷ nguyên của robot hình người được điều khiển bởi AI vật lý.

Một trong những điểm nổi bật là các nhà phát triển có thể sử dụng Apple Vision Pro để điều khiển robot hình người từ xa để thực hiện các nhiệm vụ.

Trong khi đó, một nhà khoa học nghiên cứu cao cấp khác tại NVIDIA, Jim Fan, cho biết rằng những cập nhật cho Dự Án GR00T là rất thú vị. NVIDIA sử dụng một phương pháp có hệ thống để mở rộng dữ liệu robot, giải quyết một số vấn đề thách thức nhất trong lĩnh vực robot.

Ý tưởng rất đơn giản: con người thu thập dữ liệu trình diễn trên các robot thực tế, và NVIDIA mở rộng dữ liệu này gấp hàng nghìn lần trong các mô phỏng. Với các mô phỏng được tăng tốc bằng GPU, giờ đây mọi người có thể sử dụng sức mạnh tính toán để thay thế quy trình thu thập dữ liệu của con người tốn thời gian, công sức và chi phí.

Ông đã đề cập rằng không lâu trước đây, ông tin rằng việc vận hành từ xa về cơ bản là không thể mở rộng vì, trong thế giới nguyên tử, chúng ta luôn bị giới hạn bởi thời gian 24 giờ mỗi robot mỗi ngày. Quy trình dữ liệu tổng hợp mới được sử dụng trong GR00T phá vỡ giới hạn này trong thế giới kỹ thuật số.

Về những tiến bộ mới nhất của NVIDIA trong lĩnh vực robot hình người, một cư dân mạng đã bình luận rằng Apple Vision Pro đã tìm thấy trường hợp sử dụng thú vị nhất của nó.

NVIDIA bắt đầu dẫn dắt làn sóng tiếp theo: AI vật lý.

NVIDIA cũng đã chi tiết quy trình kỹ thuật để tăng tốc robot hình người trong một bài viết trên blog. Dưới đây là nội dung đầy đủ:

Để tăng tốc phát triển robot hình người trên toàn cầu, NVIDIA đã công bố một bộ dịch vụ, mô hình và nền tảng tính toán cho các nhà sản xuất robot hàng đầu, các nhà phát triển mô hình AI và các nhà sản xuất phần mềm toàn cầu, cho phép họ phát triển, đào tạo và xây dựng thế hệ robot hình người tiếp theo.

Bộ này bao gồm các dịch vụ và khung vi mô mới NVIDIA NIM cho mô phỏng và học robot, dịch vụ điều phối NVIDIA OSMO cho việc chạy các công việc robot đa giai đoạn, và quy trình làm việc vận hành từ xa hỗ trợ AI và mô phỏng, cho phép các nhà phát triển đào tạo robot với lượng dữ liệu trình diễn của con người tối thiểu.

Jensen Huang đã nói, "Làn sóng AI tiếp theo là robot, và một trong những phát triển thú vị nhất là robot hình người. Chúng tôi đang tiến bộ toàn bộ hệ thống robot của NVIDIA, mở rộng cho các nhà phát triển và công ty robot hình người trên toàn thế giới, cho phép họ sử dụng các nền tảng, thư viện được tăng tốc và các mô hình AI phù hợp nhất với nhu cầu của họ."

Tăng tốc phát triển với NVIDIA NIM và OSMO.

Dịch vụ vi mô NIM cung cấp các container sẵn có được hỗ trợ bởi phần mềm suy diễn của NVIDIA, giảm thời gian triển khai từ tuần xuống phút.

Hai dịch vụ vi mô AI mới sẽ cho phép các chuyên gia robot nâng cao quy trình mô phỏng AI vật lý trong NVIDIA Isaac Sim.

Dịch vụ vi mô MimicGen NIM tạo ra dữ liệu chuyển động tổng hợp từ dữ liệu được ghi nhận từ xa từ các thiết bị tính toán không gian như Apple Vision Pro. Dịch vụ vi mô Robocasa NIM tạo ra các nhiệm vụ robot và môi trường mô phỏng trong OpenUSD.

Dịch vụ quản lý đám mây NVIDIA OSMO hiện đã có sẵn, cho phép người dùng phối hợp và mở rộng quy trình phát triển robot phức tạp trên các tài nguyên tính toán phân tán, bất kể trên thực địa hay trên đám mây. OSMO đơn giản hóa đáng kể quy trình đào tạo và mô phỏng robot, giảm thời gian triển khai và phát triển từ tháng xuống dưới một tuần.

Cung cấp quy trình thu thập dữ liệu tiên tiến cho các nhà phát triển robot hình người.

Đào tạo các mô hình nền tảng đằng sau robot hình người yêu cầu một lượng lớn dữ liệu. Một cách để có được dữ liệu trình diễn của con người là thông qua vận hành từ xa, nhưng phương pháp này ngày càng trở nên tốn kém và tốn thời gian hơn.

Bằng cách giới thiệu quy trình tham khảo vận hành từ xa của NVIDIA AI và Omniverse tại hội nghị đồ họa máy tính SIGGRAPH, các nhà nghiên cứu và nhà phát triển AI có thể tạo ra một lượng lớn dữ liệu chuyển động và cảm nhận tổng hợp từ một lượng nhỏ các trình diễn của con người được ghi lại từ xa.

Đầu tiên, các nhà phát triển ghi lại một lượng nhỏ trình diễn từ xa bằng Apple Vision Pro. Sau đó, họ mô phỏng các bản ghi trong NVIDIA Isaac Sim và sử dụng dịch vụ vi mô MimicGen NIM để tạo ra các bộ dữ liệu tổng hợp từ các bản ghi đó.

Các nhà phát triển sử dụng cả dữ liệu thực và dữ liệu tổng hợp để đào tạo mô hình nền tảng robot hình người Project GR00T, tiết kiệm thời gian đáng kể và giảm chi phí. Họ sau đó sử dụng dịch vụ vi mô Robocasa NIM trong Isaac Lab, một khung học tập robot, để tạo ra các trải nghiệm cho việc đào tạo lại mô hình robot. Trong suốt quy trình, NVIDIA OSMO phân bổ các nhiệm vụ tính toán một cách liền mạch đến các tài nguyên khác nhau, giảm tải công việc quản lý của các nhà phát triển xuống hàng tuần.

Mở rộng truy cập vào công nghệ phát triển robot hình người của NVIDIA.

NVIDIA cung cấp ba nền tảng tính toán để đơn giản hóa phát triển robot hình người: siêu máy tính AI NVIDIA để đào tạo mô hình; NVIDIA Isaac Sim, được xây dựng trên Omniverse, cho robot học và hoàn thiện kỹ năng trong một thế giới mô phỏng; và máy tính robot hình người NVIDIA Jetson Thor để chạy mô hình. Các nhà phát triển có thể truy cập và sử dụng toàn bộ hoặc một phần của các nền tảng này theo nhu cầu cụ thể của họ.

Thông qua Chương trình Phát triển Robot Hình Người NVIDIA mới, các nhà phát triển có thể truy cập sớm các sản phẩm mới và các phiên bản mới nhất của NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor và mô hình nền tảng robot hình người tổng quát Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra và Skild AI là một trong những công ty đầu tiên tham gia chương trình truy cập sớm.

Các nhà phát triển hiện có thể tham gia Chương trình Phát triển Robot Hình Người NVIDIA để truy cập NVIDIA OSMO và Isaac Lab và sớm có được quyền truy cập vào các dịch vụ vi mô NVIDIA NIM.

Liên kết blog: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Theo dõi WriteGo để nhận thông tin mới nhất về AI