动察 Beating ข่าวด่วน AI สถาบันวิจัย AI ของสหราชอาณาจักร Prefrontal และนักวิจัยจาก ETH Zurich ได้เปิดซอร์ส Latent Sparse Attention (LSA) ซึ่งเป็นเทคโนโลยี sparse attention สำหรับบริบทที่ยาวมาก
โมเดลอย่าง DeepSeek, MiniMax และ Zhipu ได้นำ sparse attention มาใช้แล้ว โดยประมวลผลเฉพาะ Token สำคัญจำนวนเล็กน้อยในแต่ละครั้งเพื่อลดการคำนวณ แต่เพื่อค้นหา Token เหล่านั้น หลายวิธีที่มีอยู่ยังต้องใช้ตัวจัดทำดัชนีน้ำหนักเบาสแกนข้อมูลประวัติทั้งหมดและให้คะแนนทีละรายการ ในการทดลองกับ GLM-5.3-Flash ที่มี 10 ล้าน Token นักวิจัยพบว่าเวลา prefilling ของ sparse attention ชั้นเดียว 98% ถูกใช้ไปกับการกรองข้อมูล
LSA จะจัดกลุ่ม Token จากตำแหน่งต่างๆ ตามความคล้ายคลึงของเนื้อหาก่อน จากนั้นให้ตัวจัดทำดัชนีให้คะแนนกลุ่มเหล่านี้และเลือก Token ที่เกี่ยวข้องออกมา ด้วยวิธีนี้ Token ที่เดิมต้องตรวจสอบทีละรายการสามารถกรองตามกลุ่มได้ก่อน ทีมยังได้ลองสร้างดัชนีหลายระดับ เพื่อให้โมเดลค่อยๆ ลดขอบเขตการค้นหาลงทีละชั้น โดยไม่ต้องค้นหากลุ่มทั้งหมดในทุกครั้ง
นักวิจัยได้เชื่อมต่อ LSA เข้ากับ GLM-5.3-Flash และ Qwen-3.8-27B โดยเก็บน้ำหนักโมเดลเดิมไว้และฝึกเฉพาะพารามิเตอร์ดัชนีจำนวนเล็กน้อยเพิ่มเติม บน NVIDIA H200 การ prefilling ชั้นเดียวของ GLM เร็วกว่า sparse attention เดิม 22.7 เท่า และความหน่วงของ Token แรกของโมเดลโดยรวมลดลงประมาณ 55% ส่วน Qwen เร็วกว่า full attention เดิมในการ prefilling ชั้นเดียว 72.4 เท่า และความหน่วงของ Token แรกของโมเดลโดยรวมลดลงประมาณ 89%
อย่างไรก็ตาม ผลลัพธ์ความเร็วสูงสุดมาจากเวอร์ชันที่ยังต้องสแกนทุกกลุ่ม ดัชนีหลายระดับซึ่งสามารถลดปริมาณการค้นหาได้ further กลับแสดงให้เห็นถึงการลดลงอย่างชัดเจนของความแม่นยำในการทดสอบ GLM กับ 10 ล้าน Token
หากสามารถรักษาความแม่นยำไว้ได้พร้อมกับทำให้การดึงข้อมูลไม่จำเป็นต้อง遍历ประวัติทั้งหมด AI ก็จะมีโอกาสประมวลผลโค้ด เอกสาร และบันทึกการทำงานของ Agent ระยะยาวที่มีหลายสิบล้าน Token ได้อย่างมีประสิทธิภาพมากขึ้น ปัจจุบัน LSA ได้พิสูจน์ผลการเร่งความเร็วจากการจัดกลุ่มตามความหมายแล้ว แต่การดึงข้อมูลหลายระดับยังต้องปรับปรุงเพิ่มเติม
