lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

MiniMax M3 เปิดตัวเป็นโอเพนซอร์สอย่างเป็นทางการ รองรับมัลติโมดอลแบบเนทีฟและบริบทนับล้าน

ตามการติดตามของ Dongcha Beating ผู้ผลิตโมเดลขนาดใหญ่ในประเทศ MiniMax ได้เปิดเผยน้ำหนักของโมเดล MiniMax M3 ซึ่งเป็นโมเดลผสมผู้เชี่ยวชาญ (MoE) แบบมัลติโมดอลดั้งเดิมบน Hugging Face อย่างเป็นทางการ MiniMax M3 มีพารามิเตอร์รวม 428 พันล้านพารามิเตอร์ เปิดใช้งาน 23 พันล้านพารามิเตอร์ต่อ Token และรองรับบริบทที่ยาวเป็นพิเศษถึง 1 ล้าน Token โดยธรรมชาติ เพื่อลดค่าใช้จ่ายหน่วยความจำในการปรับใช้ ทีมพัฒนาได้เผยแพร่เวอร์ชันควอนไทซ์ MXFP8 พร้อมกัน และปรับให้เข้ากับเฟรมเวิร์กการอนุมานหลัก เช่น SGLang, vLLM และ Transformers

ในการออกแบบมัลติโมดอล MiniMax M3 ได้ดำเนินการฝึกอบรมร่วมกันของข้อความ รูปภาพ และวิดีโอในขั้นตอนก่อนการฝึกอบรมเพื่อให้เกิดการผสานความหมายดั้งเดิม แทนที่จะทำการจัดตำแหน่งมัลติโมดอลในขั้นตอนหลังการฝึกอบรม ในกลไกการทำงาน โมเดลมีโหมดการอนุมานคู่ แบ่งเป็นโหมด Thinking (การคิด) สำหรับตรรกะที่ซับซ้อนและการจัดเรียงเครื่องมือ และโหมด Non-thinking (ไม่คิด) สำหรับการสนทนาที่มีความหน่วงต่ำและการสร้างโค้ด

แกนหลักที่รองรับบริบทที่ยาวเป็นพิเศษถึง 1 ล้าน Token คือไลบรารีเคอร์เนลความสนใจแบบเบา MiniMax Sparse Attention (เรียกสั้นๆ ว่า MSA) ที่เปิดเผยซอร์สโค้ดพร้อมกัน ข้อมูลที่เผยแพร่อย่างเป็นทางการแสดงให้เห็นว่า MSA ใช้กลไกการดึงข้อมูลแบบแบ่งกลุ่มของ Grouped Query Attention (GQA) ในการทดสอบจริงที่มีบริบทยาวถึง 1 ล้าน Token ตัวดำเนินการ MSA ที่ปรับให้เหมาะสมกับสถาปัตยกรรม NVIDIA Blackwell (SM100) สามารถเร่งความเร็วการเติมล่วงหน้าได้มากกว่า 9 เท่า และเร่งความเร็วการถอดรหัสได้ 15 เท่า เมื่อเทียบกับกลไกความสนใจแบบเต็มรูปแบบ พร้อมลดค่าใช้จ่ายในการอนุมานอย่างมีนัยสำคัญ

举报 แก้ไข/รายงาน
ที่เกี่ยวข้องแนะนำ
โกลด์แมน แซคส์ มองว่า MiniMax จะสามารถฟื้นฟูมูลค่าประเมินได้ด้วยผลิตภัณฑ์ใหม่และความได้เปรียบด้านต้นทุน
เงินน้อย บัตรเครดิตน้อย คนน้อย เพียงพอที่จะสร้างความสามารถในการวิศวกรรมและนวัตกรรมโครงสร้างที่สุดยอดออกมา
ไม่พึ่งที่มายี่ห้อ ไม่พึ่งการโฆษณา ให้นักพัฒนาลงคะแนนด้วยเท้าภายใน 8 วัน
NVIDIA ในประเทศจีนเริ่มลดระดับจำเป็นในการฝึกโมเดลขนาดใหญ่จาก "จำเป็น" เป็น "ทางเลือก"
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น