lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

MiniMax เปิดตัวไลบรารี Attention เฉพาะของ Blackwell น้ำหนัก M3 คาดว่าจะเผยแพร่ในวันศุกร์นี้

ตามการติดตามของ Beating Ryan Lee หัวหน้าฝ่ายความสัมพันธ์นักพัฒนา MiniMax ประกาศว่าไลบรารีความสนใจประสิทธิภาพสูงสำหรับ GPU NVIDIA Blackwell (SM100) ที่ชื่อว่า MiniMax Sparse Attention (MSA) ได้เปิดเป็นโอเพนซอร์สอย่างเป็นทางการแล้ว ภายใต้สัญญาอนุญาต MIT Ryan Lee ยังกล่าวอีกว่าน้ำหนักของ MiniMax-M3 คาดว่าจะเผยแพร่ในวันศุกร์นี้

MSA ถูกนำไปใช้ในการอนุมานบริบทระดับล้านของ MiniMax-M3 โดยการกรอง KV Block ที่เกี่ยวข้องมากที่สุดในแต่ละกลุ่ม GQA และคำนวณความสนใจเฉพาะบล็อกที่เลือกเท่านั้น เอกสารวิจัยระบุว่าในบริบท 1 ล้าน Token เมื่อเทียบกับ Dense GQA ที่มีการกำหนดค่าเดียวกัน MSA สามารถลดปริมาณการคำนวณความสนใจลง 28.4 เท่า และบน GPU H800 สามารถเร่งความเร็วการเติมข้อมูลล่วงหน้าได้ 14.2 เท่า และเร่งความเร็วการถอดรหัสได้ 7.6 เท่า

เวอร์ชันโอเพนซอร์สได้รวมการใช้งานสองแบบคือ C++ JIT และ CuTe-DSL ไว้ในแพ็กเกจ Python เดียวกัน พร้อมทั้งมี Dense FlashAttention และ Sparse Top-k Attention Kernel รองรับรูปแบบความแม่นยำหลายแบบ เช่น BF16, FP8, NVFP4 และ FP4 ปัจจุบันเน้นการปรับใช้กับ GPU NVIDIA Blackwell (SM100) เป็นหลัก

举报 แก้ไข/รายงาน
ที่เกี่ยวข้องแนะนำ
เงินน้อย บัตรเครดิตน้อย คนน้อย เพียงพอที่จะสร้างความสามารถในการวิศวกรรมและนวัตกรรมโครงสร้างที่สุดยอดออกมา
โกลด์แมน แซคส์ มองว่า MiniMax จะสามารถฟื้นฟูมูลค่าประเมินได้ด้วยผลิตภัณฑ์ใหม่และความได้เปรียบด้านต้นทุน
ไม่พึ่งที่มายี่ห้อ ไม่พึ่งการโฆษณา ให้นักพัฒนาลงคะแนนด้วยเท้าภายใน 8 วัน
NVIDIA ในประเทศจีนเริ่มลดระดับจำเป็นในการฝึกโมเดลขนาดใหญ่จาก "จำเป็น" เป็น "ทางเลือก"
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น