lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

稀疏แอตเทนชันยังเร่งความเร็วได้อีกอย่างไร LSA ทำให้ GLM ด้วยโทเคนระดับสิบล้านเร่งความเร็วเลเยอร์เดียวได้ 22.7 เท่า

动察 Beating ข่าวด่วน AI สถาบันวิจัย AI ของสหราชอาณาจักร Prefrontal และนักวิจัยจาก ETH Zurich ได้เปิดซอร์ส Latent Sparse Attention (LSA) ซึ่งเป็นเทคโนโลยี sparse attention สำหรับบริบทที่ยาวมาก


โมเดลอย่าง DeepSeek, MiniMax และ Zhipu ได้นำ sparse attention มาใช้แล้ว โดยประมวลผลเฉพาะ Token สำคัญจำนวนเล็กน้อยในแต่ละครั้งเพื่อลดการคำนวณ แต่เพื่อค้นหา Token เหล่านั้น หลายวิธีที่มีอยู่ยังต้องใช้ตัวจัดทำดัชนีน้ำหนักเบาสแกนข้อมูลประวัติทั้งหมดและให้คะแนนทีละรายการ ในการทดลองกับ GLM-5.3-Flash ที่มี 10 ล้าน Token นักวิจัยพบว่าเวลา prefilling ของ sparse attention ชั้นเดียว 98% ถูกใช้ไปกับการกรองข้อมูล


LSA จะจัดกลุ่ม Token จากตำแหน่งต่างๆ ตามความคล้ายคลึงของเนื้อหาก่อน จากนั้นให้ตัวจัดทำดัชนีให้คะแนนกลุ่มเหล่านี้และเลือก Token ที่เกี่ยวข้องออกมา ด้วยวิธีนี้ Token ที่เดิมต้องตรวจสอบทีละรายการสามารถกรองตามกลุ่มได้ก่อน ทีมยังได้ลองสร้างดัชนีหลายระดับ เพื่อให้โมเดลค่อยๆ ลดขอบเขตการค้นหาลงทีละชั้น โดยไม่ต้องค้นหากลุ่มทั้งหมดในทุกครั้ง


นักวิจัยได้เชื่อมต่อ LSA เข้ากับ GLM-5.3-Flash และ Qwen-3.8-27B โดยเก็บน้ำหนักโมเดลเดิมไว้และฝึกเฉพาะพารามิเตอร์ดัชนีจำนวนเล็กน้อยเพิ่มเติม บน NVIDIA H200 การ prefilling ชั้นเดียวของ GLM เร็วกว่า sparse attention เดิม 22.7 เท่า และความหน่วงของ Token แรกของโมเดลโดยรวมลดลงประมาณ 55% ส่วน Qwen เร็วกว่า full attention เดิมในการ prefilling ชั้นเดียว 72.4 เท่า และความหน่วงของ Token แรกของโมเดลโดยรวมลดลงประมาณ 89%


อย่างไรก็ตาม ผลลัพธ์ความเร็วสูงสุดมาจากเวอร์ชันที่ยังต้องสแกนทุกกลุ่ม ดัชนีหลายระดับซึ่งสามารถลดปริมาณการค้นหาได้ further กลับแสดงให้เห็นถึงการลดลงอย่างชัดเจนของความแม่นยำในการทดสอบ GLM กับ 10 ล้าน Token


หากสามารถรักษาความแม่นยำไว้ได้พร้อมกับทำให้การดึงข้อมูลไม่จำเป็นต้อง遍历ประวัติทั้งหมด AI ก็จะมีโอกาสประมวลผลโค้ด เอกสาร และบันทึกการทำงานของ Agent ระยะยาวที่มีหลายสิบล้าน Token ได้อย่างมีประสิทธิภาพมากขึ้น ปัจจุบัน LSA ได้พิสูจน์ผลการเร่งความเร็วจากการจัดกลุ่มตามความหมายแล้ว แต่การดึงข้อมูลหลายระดับยังต้องปรับปรุงเพิ่มเติม

แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น