ตามการติดตามของ Beating Ryan Lee หัวหน้าฝ่ายความสัมพันธ์นักพัฒนา MiniMax ประกาศว่าไลบรารีความสนใจประสิทธิภาพสูงสำหรับ GPU NVIDIA Blackwell (SM100) ที่ชื่อว่า MiniMax Sparse Attention (MSA) ได้เปิดเป็นโอเพนซอร์สอย่างเป็นทางการแล้ว ภายใต้สัญญาอนุญาต MIT Ryan Lee ยังกล่าวอีกว่าน้ำหนักของ MiniMax-M3 คาดว่าจะเผยแพร่ในวันศุกร์นี้
MSA ถูกนำไปใช้ในการอนุมานบริบทระดับล้านของ MiniMax-M3 โดยการกรอง KV Block ที่เกี่ยวข้องมากที่สุดในแต่ละกลุ่ม GQA และคำนวณความสนใจเฉพาะบล็อกที่เลือกเท่านั้น เอกสารวิจัยระบุว่าในบริบท 1 ล้าน Token เมื่อเทียบกับ Dense GQA ที่มีการกำหนดค่าเดียวกัน MSA สามารถลดปริมาณการคำนวณความสนใจลง 28.4 เท่า และบน GPU H800 สามารถเร่งความเร็วการเติมข้อมูลล่วงหน้าได้ 14.2 เท่า และเร่งความเร็วการถอดรหัสได้ 7.6 เท่า
เวอร์ชันโอเพนซอร์สได้รวมการใช้งานสองแบบคือ C++ JIT และ CuTe-DSL ไว้ในแพ็กเกจ Python เดียวกัน พร้อมทั้งมี Dense FlashAttention และ Sparse Top-k Attention Kernel รองรับรูปแบบความแม่นยำหลายแบบ เช่น BF16, FP8, NVFP4 และ FP4 ปัจจุบันเน้นการปรับใช้กับ GPU NVIDIA Blackwell (SM100) เป็นหลัก
