ควบคุมหุ่นยนต์จากระยะไกลด้วย Apple Vision Pro, NVIDIA: 'การบูรณาการมนุษย์-เครื่องไม่ใช่เรื่องยาก'

เจนเซน หวง กล่าวไว้ว่า "คลื่นลูกถัดไปของ AI คือหุ่นยนต์ และหนึ่งในความก้าวหน้าที่น่าตื่นเต้นที่สุดคือหุ่นยนต์มนุษย์" วันนี้ Project GR00T ได้ก้าวไปข้างหน้าอย่างสำคัญ

เมื่อวานนี้ ผู้ก่อตั้ง NVIDIA เจนเซน หวง ได้พูดคุยเกี่ยวกับโมเดลหุ่นยนต์มนุษย์ทั่วไปของพวกเขา "Project GR00T" ในระหว่างการบรรยายหลักของเขาที่ SIGGRAPH 2024 โมเดลนี้ได้รับการอัปเดตฟังก์ชันหลายชุด

ยูเก้ จู ผู้ช่วยศาสตราจารย์ที่มหาวิทยาลัยเท็กซัสที่ออสตินและนักวิจัยอาวุโสที่ NVIDIA ได้ทวีตวิดีโอที่แสดงให้เห็นว่า NVIDIA ได้บูรณาการกรอบการฝึกจำลองหุ่นยนต์ในบ้านขนาดใหญ่ RoboCasa และ MimicGen เข้ากับแพลตฟอร์ม NVIDIA Omniverse และแพลตฟอร์มการพัฒนาหุ่นยนต์ Isaac

วิดีโอนี้ครอบคลุมแพลตฟอร์มการคอมพิวเตอร์สามแห่งของ NVIDIA—AI, Omniverse, และ Jetson Thor—ที่ใช้เพื่อทำให้การทำงานของนักพัฒนาง่ายขึ้นและรวดเร็วขึ้น ด้วยความสามารถรวมกันของแพลตฟอร์มการคอมพิวเตอร์เหล่านี้ เราพร้อมที่จะเข้าสู่ยุคของหุ่นยนต์มนุษย์ที่ขับเคลื่อนด้วย AI ทางกายภาพ

หนึ่งในจุดเด่นคือ นักพัฒนาสามารถใช้ Apple Vision Pro เพื่อควบคุมหุ่นยนต์มนุษย์จากระยะไกลเพื่อทำภารกิจต่างๆ

ในขณะเดียวกัน นักวิจัยอาวุโสอีกคนที่ NVIDIA, จิม แฟน กล่าวว่า การอัปเดต Project GR00T นั้นน่าตื่นเต้น NVIDIA ใช้วิธีการเชิงระบบในการขยายข้อมูลหุ่นยนต์ แก้ไขปัญหาที่ท้าทายที่สุดในสาขาหุ่นยนต์

แนวคิดนั้นง่าย: มนุษย์เก็บข้อมูลการสาธิตจากหุ่นยนต์จริง และ NVIDIA ขยายข้อมูลนี้เป็นพันเท่าหรือมากกว่านั้นในการจำลอง ด้วยการจำลองที่เร่งความเร็วโดย GPU ผู้คนสามารถใช้พลังการคอมพิวเตอร์เพื่อแทนที่กระบวนการเก็บข้อมูลจากมนุษย์ที่ใช้เวลานานและมีค่าใช้จ่ายสูง

เขากล่าวว่าเมื่อไม่นานมานี้ เขาเชื่อว่าการดำเนินการจากระยะไกลนั้นไม่สามารถขยายได้โดยพื้นฐาน เนื่องจากในโลกอะตอม เรามักถูกจำกัดด้วยขีดจำกัด 24 ชั่วโมงต่อหุ่นยนต์ต่อวัน ท่อส่งข้อมูลสังเคราะห์ใหม่ที่ใช้ใน GR00T ทำลายขีดจำกัดนี้ในโลกดิจิทัล

เกี่ยวกับความก้าวหน้าล่าสุดของ NVIDIA ในหุ่นยนต์มนุษย์ ชาวเน็ตคนหนึ่งได้แสดงความคิดเห็นว่า Apple Vision Pro ได้ค้นพบกรณีการใช้งานที่เจ๋งที่สุด

NVIDIA เริ่มนำคลื่นลูกถัดไป: AI ทางกายภาพ

NVIDIA ยังได้อธิบายกระบวนการทางเทคนิคในการเร่งหุ่นยนต์มนุษย์ในบล็อกโพสต์ นี่คือเนื้อหาทั้งหมด:

เพื่อเร่งการพัฒนาหุ่นยนต์มนุษย์ทั่วโลก NVIDIA ได้ประกาศชุดบริการ โมเดล และแพลตฟอร์มการคอมพิวเตอร์สำหรับผู้ผลิตหุ่นยนต์ชั้นนำ ผู้พัฒนาโมเดล AI และผู้ผลิตซอฟต์แวร์ทั่วโลก เพื่อให้พวกเขาสามารถพัฒนา ฝึกอบรม และสร้างหุ่นยนต์มนุษย์รุ่นถัดไป

ชุดนี้รวมถึงบริการและกรอบใหม่ NVIDIA NIM สำหรับการจำลองและการเรียนรู้หุ่นยนต์ บริการจัดการ NVIDIA OSMO สำหรับการรันงานหุ่นยนต์หลายขั้นตอน และการทำงานจากระยะไกลที่รองรับ AI และการจำลอง ทำให้นักพัฒนาสามารถฝึกหุ่นยนต์ด้วยข้อมูลการสาธิตจากมนุษย์ที่น้อยที่สุด

เจนเซน หวง กล่าวว่า "คลื่นลูกถัดไปของ AI คือหุ่นยนต์ และหนึ่งในความก้าวหน้าที่น่าตื่นเต้นที่สุดคือหุ่นยนต์มนุษย์ เรากำลังพัฒนาทั้งหมดของ NVIDIA robot stack เปิดให้กับนักพัฒนาหุ่นยนต์มนุษย์และบริษัททั่วโลก ทำให้พวกเขาสามารถใช้แพลตฟอร์ม ไลบรารีที่เร่งความเร็ว และโมเดล AI ที่ตรงกับความต้องการของพวกเขาได้ดีที่สุด"

เร่งการพัฒนาด้วย NVIDIA NIM และ OSMO

บริการ NIM มีคอนเทนเนอร์ที่สร้างไว้ล่วงหน้าที่ขับเคลื่อนด้วยซอฟต์แวร์การอนุมานของ NVIDIA ทำให้เวลาการปรับใช้ลดลงจากหลายสัปดาห์เป็นไม่กี่นาที

ไมโครเซอร์วิส AI สองตัวใหม่จะช่วยให้นักโรบอทเสริมสร้างการผลิตเวิร์กโฟลว์การจำลอง AI ทางกายภาพใน NVIDIA Isaac Sim

บริการ MimicGen NIM สร้างข้อมูลการเคลื่อนไหวสังเคราะห์จากข้อมูลที่บันทึกจากระยะไกลจากอุปกรณ์การคอมพิวเตอร์เชิงพื้นที่ เช่น Apple Vision Pro บริการ Robocasa NIM สร้างงานหุ่นยนต์และสภาพแวดล้อมการจำลองใน OpenUSD

บริการที่จัดการแบบคลาวด์ NVIDIA OSMO พร้อมให้บริการแล้ว ช่วยให้ผู้ใช้สามารถประสานงานและขยายเวิร์กโฟลว์การพัฒนาหุ่นยนต์ที่ซับซ้อนได้ทั่วทรัพยากรการคอมพิวเตอร์ที่กระจาย ไม่ว่าจะเป็นในสถานที่หรือในคลาวด์ OSMO ทำให้การฝึกอบรมและการจำลองหุ่นยนต์ง่ายขึ้นอย่างมาก ลดเวลาในการปรับใช้และการพัฒนาจากหลายเดือนให้เหลือไม่ถึงสัปดาห์

ให้การทำงานจับข้อมูลขั้นสูงสำหรับนักพัฒนาหุ่นยนต์มนุษย์

การฝึกอบรมโมเดลพื้นฐานที่อยู่เบื้องหลังหุ่นยนต์มนุษย์ต้องการข้อมูลจำนวนมาก หนึ่งในวิธีการได้รับข้อมูลการสาธิตจากมนุษย์คือการดำเนินงานจากระยะไกล แต่วิธีนี้กำลังกลายเป็นที่มีค่าใช้จ่ายสูงและใช้เวลานานขึ้น

โดยการแสดงเวิร์กโฟลว์การดำเนินงานจากระยะไกลของ NVIDIA AI และ Omniverse ที่งานประชุมกราฟิก SIGGRAPH นักวิจัยและนักพัฒนา AI สามารถสร้างข้อมูลการเคลื่อนไหวและการรับรู้สังเคราะห์จำนวนมากจากการสาธิตจากมนุษย์ที่บันทึกจากระยะไกลในปริมาณน้อย

ก่อนอื่น นักพัฒนาบันทึกการสาธิตจากระยะไกลจำนวนเล็กน้อยโดยใช้ Apple Vision Pro จากนั้น พวกเขาจำลองการบันทึกใน NVIDIA Isaac Sim และใช้บริการ MimicGen NIM เพื่อสร้างชุดข้อมูลสังเคราะห์จากการบันทึก

นักพัฒนาจะใช้ข้อมูลจริงและข้อมูลสังเคราะห์เพื่อฝึกโมเดลพื้นฐานหุ่นยนต์มนุษย์ Project GR00T ประหยัดเวลาและลดค่าใช้จ่ายอย่างมาก พวกเขาจะใช้บริการ Robocasa NIM ใน Isaac Lab ซึ่งเป็นกรอบการเรียนรู้หุ่นยนต์ เพื่อสร้างประสบการณ์สำหรับการฝึกอบรมโมเดลหุ่นยนต์ใหม่ ตลอดเวิร์กโฟลว์ NVIDIA OSMO จะจัดสรรงานคอมพิวเตอร์ไปยังทรัพยากรที่แตกต่างกันอย่างราบรื่น ลดภาระการจัดการของนักพัฒนาลงหลายสัปดาห์

ขยายการเข้าถึงเทคโนโลยีนักพัฒนาหุ่นยนต์มนุษย์ของ NVIDIA

NVIDIA เสนอสี่แพลตฟอร์มการคอมพิวเตอร์เพื่อทำให้การพัฒนาหุ่นยนต์มนุษย์ง่ายขึ้น: ซูเปอร์คอมพิวเตอร์ AI ของ NVIDIA สำหรับฝึกอบรมโมเดล; NVIDIA Isaac Sim ซึ่งสร้างขึ้นบน Omniverse สำหรับหุ่นยนต์ในการเรียนรู้และปรับปรุงทักษะในโลกจำลอง; และคอมพิวเตอร์หุ่นยนต์มนุษย์ NVIDIA Jetson Thor สำหรับรันโมเดล นักพัฒนาสามารถเข้าถึงและใช้แพลตฟอร์มเหล่านี้ทั้งหมดหรือบางส่วนตามความต้องการเฉพาะของพวกเขา

ผ่านโปรแกรมนักพัฒนาหุ่นยนต์มนุษย์ NVIDIA ใหม่ นักพัฒนาสามารถเข้าถึงผลิตภัณฑ์ใหม่และเวอร์ชันล่าสุดของ NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor และโมเดลพื้นฐานหุ่นยนต์มนุษย์ Project GR00T ได้เป็นครั้งแรก

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra และ Skild AI เป็นหนึ่งในบริษัทแรกๆ ที่เข้าร่วมโปรแกรมการเข้าถึงล่วงหน้า

นักพัฒนาสามารถเข้าร่วมโปรแกรมนักพัฒนาหุ่นยนต์มนุษย์ NVIDIA ได้แล้วเพื่อเข้าถึง NVIDIA OSMO และ Isaac Lab และเร็วๆ นี้จะเข้าถึงบริการไมโครเซอร์วิส NVIDIA NIM

ลิงก์บล็อก: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

ติดตาม WriteGo เพื่อรับข้อมูล AI ล่าสุด