ไมโครซอฟต์เสร็จสิ้นการฝึกโมเดลพารามิเตอร์ 2.8 ล้านล้าน: แข็งแกร่งกว่า GPT-5.6 base โดยใช้พลังประมวลผลเพียง 1/4

动察 Beating ข่าวด่วน AI ไมโครซอฟต์ประกาศเสร็จสิ้นการฝึกอบรมล่วงหน้าของโมเดลรุ่นใหม่ที่พัฒนาขึ้นเอง MAI-Base-2 โมเดลมีพารามิเตอร์รวม 2.8 ล้านล้าน ใช้สถาปัตยกรรม MoE Mixture of Experts โดยเปิดใช้งานเพียง 8 หมื่นล้านพารามิเตอร์ในแต่ละครั้ง

ในช่วงเดือนสิงหาคมถึงกันยายนปีนี้ ไมโครซอฟต์ใช้ GPU NVIDIA GB200 จำนวน 1.6 หมื่นตัว ฝึกอบรมเป็นเวลา 38 วัน ประมวลผลประมาณ 50 ล้านล้าน Token โมเดลใหม่ยังแนะนำการฝึกอบรมล่วงหน้าด้านภาพแบบเนทีฟเป็นครั้งแรก โดยข้อมูลภาพคิดเป็น 18% ของปริมาณการฝึกอบรม

การทดสอบภายในที่ไมโครซอฟต์เปิดเผยแสดงให้เห็นว่า MAI-Base-2 เหนือกว่าโมเดล DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8 และอื่นๆ ในตัวชี้วัดการทำนายข้อความด้านโค้ด ถาม-ตอบ คณิตศาสตร์ และสาขาวิทยาศาสตร์และวิศวกรรม

ไมโครซอฟต์ยังอ้างว่าหากต้องการฝึกอบรมโมเดลที่มีระดับเทียบเท่า DeepSeek-V4-Pro-Base วิธีการของตนเองใช้พลังประมวลผลเพียงประมาณ 1/4 ถึง 1/12 แต่ไมโครซอฟต์ยังคงลงทุนพลังประมวลผลเพิ่มเติม เพื่อทำให้โมเดลใหญ่ขึ้นและแข็งแกร่งขึ้น พลังประมวลผลการฝึกอบรมที่ MAI-Base-2 ใช้จริงยังสูงกว่า DeepSeek

Mustafa Suleyman หัวหน้าฝ่าย AI ของไมโครซอฟต์กล่าวในการประชุมภายในเมื่อวันที่ 15 ตุลาคมว่า ฐานการฝึกอบรมล่วงหน้าของ MAI-Base-2 แข็งแกร่งกว่าโมเดล OpenAI ที่รองรับ GPT-5.6 Sol แล้ว โดยใช้พลังประมวลผลการฝึกอบรมเพียงหนึ่งในสี่ของฝ่ายหลัง

ไมโครซอฟต์ปรับปรุงการจัดตารางผู้เชี่ยวชาญ MoE, ตัวปรับแต่ง Muon และวิธีการคัดกรองข้อมูล ลดการสิ้นเปลืองหน่วยความจำ GPU เพิ่มเสถียรภาพของการฝึกอบรมขนาดใหญ่ ไมโครซอฟต์ยังเน้นว่าข้อมูลการฝึกอบรมทั้งหมดประมวลผลด้วยตนเอง ไม่ได้ได้รับความสามารถผ่านการกลั่นกรองโมเดลของบริษัทอื่น

MAI-Base-2 ยังอยู่ในขั้นตอนการฝึกอบรมหลัง ไมโครซอฟต์วางแผนที่จะใช้ในผลิตภัณฑ์ของตนเองก่อน จากนั้นจึงอนุญาตน้ำหนักโมเดลให้พันธมิตรองค์กรผ่าน Foundry