แนวคิดของหยาง ลี่คุนเมื่อ 4 ปีก่อนส่งมอบคำตอบ: อัตราความสำเร็จของเขาวงกต H-JEPA เพิ่มขึ้นจาก 18% เป็น 73%

动察 Beating ข่าวด่วน AI AMI Labs ที่ก่อตั้งโดย Yang Likun ร่วมกับมหาวิทยาลัยหลายแห่งเปิดตัว H-JEPA ซึ่งเป็นโมเดลโลกที่สามารถคาดการณ์อนาคตแบบลำดับชั้นและวางแผนการกระทำได้ ชั้นสูงรับผิดชอบเป้าหมายระยะไกล ชั้นล่างรับผิดชอบการกระทำเฉพาะ เอกสาร コード และน้ำหนักที่ฝึกไว้ล่วงหน้าเปิดเผยต่อสาธารณะแล้ว

H-JEPA สืบสานแนวคิดของ JEPA โดยแปลงภาพเป็นลักษณะสภาพแวดล้อมเชิงนามธรรมก่อน จากนั้นรวมกับการกระทำเพื่อคาดการณ์สถานะในอนาคต ไม่จำเป็นต้องสร้างวิดีโอทีละเฟรม แต่การวางแผนระยะยาวและการควบคุมเฉพาะหน้าต้องการข้อมูลที่แตกต่างกัน ตัวอย่างเช่น หุ่นยนต์สี่ขาเดินเขาวงกต การเลือกเส้นทางดูที่ตำแหน่งและช่องทางเป็นหลัก แต่การก้าวขาขาดท่าทางของร่างกายไม่ได้ โมเดลชั้นเดียวใช้ชุดลักษณะเดียวกันดูแลทั้งสองสิ่ง ยิ่งวางแผนไกลยิ่งยากลำบาก

H-JEPA รวม JEPA หลายตัวเป็นลำดับชั้นการวางแผนที่แตกต่างกัน ชั้นสูงคาดการณ์อนาคตที่ไกลกว่า ส่งเป้าหมายระหว่างทางให้ชั้นล่าง แล้วค่อยๆ ละเอียดเป็น การกระทำเฉพาะ ต่างจาก HWM ก่อนหน้าที่แต่ละชั้นใช้ชุดลักษณะเดียวกัน H-JEPA ให้แต่ละลำดับชั้นเรียนรู้ลักษณะสภาพแวดล้อมของตัวเอง ในการทดลองเขาวงกต ชั้นสูงเก็บข้อมูลตำแหน่งไว้ ค่อยๆ ละเลยรายละเอียดระยะสั้นเช่นท่าทางขา Yang Likun เคยเสนอแนวคิดคล้ายกันตั้งแต่ปี 2022 ตอนนี้ทีมได้ให้วิธีการที่สามารถฝึกแบบ end-to-end ได้

ในเขาวงกตจำลอง Visual AntMaze H-JEPA ที่มีสามลำดับชั้นการวางแผนมีอัตราความสำเร็จ 73.3% ขณะที่ LeWorldModel ชั้นเดียวอยู่ที่ 18.0% และแบบแรกใช้การคำนวณในการวางแผนน้อยกว่า อย่างไรก็ตาม ลำดับชั้นการวางแผนไม่ใช่ยิ่งมากยิ่งดี ในงาน Push-T ที่จำลองการผลักวัตถุ โมเดลสามชั้นกลับไม่ดีเท่าสองชั้น ทีมยังใช้ชุดข้อมูลวิดีโอหุ่นยนต์จริง DROID ในการทดสอบแบบออฟไลน์ การคาดการณ์เส้นทางการกระทำใกล้เคียงกับการสาธิตของผู้เชี่ยวชาญมากกว่าโมเดลชั้นเดียว