Cursor จัดเรียงไปป์ไลน์ GPU ใหม่ เร่งการฝึกโมเดล MoE ขึ้น 41%

据动察 Beating ตรวจสอบพบว่า Cursor เปิดซอร์ส Mixture-of-Kittens (MoK) เพื่อเร่งการฝึกโมเดล MoE ขนาดใหญ่ โดยรวมการส่งข้อมูลและการคำนวณบน GPU ที่เดิมแยกจากกัน เข้าไว้ใน kernel เดียวกัน (โปรแกรมระดับล่างที่ทำงานบน GPU โดยตรง)

MoE จะแบ่งโมเดลออกเป็น "ผู้เชี่ยวชาญ" จำนวนมาก และเรียกใช้เพียงบางส่วนในแต่ละครั้ง ผู้เชี่ยวชาญกระจายอยู่บน GPU ต่างกัน ทำให้ต้องย้ายข้อมูลบ่อยครั้ง ซึ่งบางครั้งกินเวลาการฝึกไปมากกว่าครึ่งหนึ่ง

MoK ช่วยให้ GPU ส่งข้อมูลและคำนวณไปพร้อมกัน ลดการรอคอย ในการฝึกจริงบน GPU GB300 จำนวน 512 ตัว ปริมาณงานโดยรวมเพิ่มขึ้น 41% เมื่อทดสอบเฉพาะเลเยอร์ MoE เร็วที่สุดสูงกว่าวิธีเปิดเผยสาธารณะถึง 2.37 เท่า

MoK ถูกใช้ในการฝึก Composer บน GPU หลายหมื่นตัวของ Cursor แล้ว และเปิดซอร์สภายใต้สัญญา Apache 2.0 ปัจจุบันรองรับเฉพาะ GPU Nvidia Blackwell ซึ่งเน้นสำหรับองค์กรที่มีคลัสเตอร์ GB200 และ GB300 NVL72