ตามการติดตามของ Dongcha Beating ผู้ผลิตโมเดลขนาดใหญ่ในประเทศ MiniMax ได้เปิดเผยน้ำหนักของโมเดล MiniMax M3 ซึ่งเป็นโมเดลผสมผู้เชี่ยวชาญ (MoE) แบบมัลติโมดอลดั้งเดิมบน Hugging Face อย่างเป็นทางการ MiniMax M3 มีพารามิเตอร์รวม 428 พันล้านพารามิเตอร์ เปิดใช้งาน 23 พันล้านพารามิเตอร์ต่อ Token และรองรับบริบทที่ยาวเป็นพิเศษถึง 1 ล้าน Token โดยธรรมชาติ เพื่อลดค่าใช้จ่ายหน่วยความจำในการปรับใช้ ทีมพัฒนาได้เผยแพร่เวอร์ชันควอนไทซ์ MXFP8 พร้อมกัน และปรับให้เข้ากับเฟรมเวิร์กการอนุมานหลัก เช่น SGLang, vLLM และ Transformers
ในการออกแบบมัลติโมดอล MiniMax M3 ได้ดำเนินการฝึกอบรมร่วมกันของข้อความ รูปภาพ และวิดีโอในขั้นตอนก่อนการฝึกอบรมเพื่อให้เกิดการผสานความหมายดั้งเดิม แทนที่จะทำการจัดตำแหน่งมัลติโมดอลในขั้นตอนหลังการฝึกอบรม ในกลไกการทำงาน โมเดลมีโหมดการอนุมานคู่ แบ่งเป็นโหมด Thinking (การคิด) สำหรับตรรกะที่ซับซ้อนและการจัดเรียงเครื่องมือ และโหมด Non-thinking (ไม่คิด) สำหรับการสนทนาที่มีความหน่วงต่ำและการสร้างโค้ด
แกนหลักที่รองรับบริบทที่ยาวเป็นพิเศษถึง 1 ล้าน Token คือไลบรารีเคอร์เนลความสนใจแบบเบา MiniMax Sparse Attention (เรียกสั้นๆ ว่า MSA) ที่เปิดเผยซอร์สโค้ดพร้อมกัน ข้อมูลที่เผยแพร่อย่างเป็นทางการแสดงให้เห็นว่า MSA ใช้กลไกการดึงข้อมูลแบบแบ่งกลุ่มของ Grouped Query Attention (GQA) ในการทดสอบจริงที่มีบริบทยาวถึง 1 ล้าน Token ตัวดำเนินการ MSA ที่ปรับให้เหมาะสมกับสถาปัตยกรรม NVIDIA Blackwell (SM100) สามารถเร่งความเร็วการเติมล่วงหน้าได้มากกว่า 9 เท่า และเร่งความเร็วการถอดรหัสได้ 15 เท่า เมื่อเทียบกับกลไกความสนใจแบบเต็มรูปแบบ พร้อมลดค่าใช้จ่ายในการอนุมานอย่างมีนัยสำคัญ
