lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

Baseten เปิดตัวโซลูชันบีบอัดแคช KV ชื่อ Still: บีบอัดสูงสุด 200 เท่าต่อการแพร่กระจายไปข้างหน้าครั้งเดียว

ตามการติดตามของ Dongcha Beating ทีมวิจัย Baseten ได้เผยแพร่วิธีการบีบอัด KV Cache ที่ชื่อว่า Still ซึ่งใช้การตรึงพารามิเตอร์ของโมเดลฐานและฝึกเฉพาะ Perceiver Compressor แบบน้ำหนักเบาเท่านั้น โดยสามารถบีบอัด KV Cache ได้ในครั้งเดียวระหว่างการส่งผ่านข้อมูลไปข้างหน้า (Forward Pass) รองรับการบีบอัดสูงสุดถึง 200 เท่า โดยไม่จำเป็นต้องปรับแต่งแบบออนไลน์หรืออัปเดตเกรเดียนต์

วิธีการบีบอัด KV ที่มีอยู่ในปัจจุบันแบ่งออกเป็นสองประเภทหลัก ประเภทแรกจะคัดเลือก Cache ที่สำคัญจาก Token ดั้งเดิม เช่น SnapKV และ H2O ส่วนประเภทที่สองจะสร้าง Cache ที่บีบอัดใหม่โดยตรง แต่มักต้องปรับแต่งแบบออนไลน์สำหรับแต่ละบริบท Still ใช้แนวคิดการสังเคราะห์แบบผ่อนชำระ (Amortized Synthesis) โดยเพิ่ม Perceiver Compressor ซึ่งมีขนาดพารามิเตอร์ประมาณ 1% ของโมเดลฐานในแต่ละชั้นของ Transformer ใช้การสอบถามโดยนัย (Implicit Query) เพื่อทำ Cross-Attention กับ KV Cache ที่สมบูรณ์ และสร้าง KV Cache ที่บีบอัดใหม่โดยตรง

ในการทดสอบกับโมเดล Qwen และ Gemma Still รักษาความแม่นยำสูงในช่วงบริบท 8k ถึง 64k และอัตราการบีบอัด 8 ถึง 200 เท่า ในการทดสอบ RULER ซึ่งเป็นเกณฑ์มาตรฐานสำหรับบริบทยาว Still มีประสิทธิภาพเหนือกว่า SnapKV, H2O และ KV-Distill ในหลายการตั้งค่า โดยในงาน Matched-Training นำหน้า KV-Distill ประมาณ 8 ถึง 22 เปอร์เซ็นต์ ในการทดสอบสรุปเอกสารหลายชุดของ HELMET Cache ที่บีบอัดแล้วยังคงสามารถกู้คืนประสิทธิภาพของบริบทเต็มได้ 74% ถึง 95%

เมื่อเปรียบเทียบกับวิธีการที่ต้องเก็บ Token ดั้งเดิมหรือพึ่งพาการปรับแต่งแบบออนไลน์ Still เปลี่ยนการบีบอัด KV ให้เป็นกระบวนการเรียนรู้ที่เสร็จสิ้นได้ในการส่งผ่านข้อมูลไปข้างหน้าครั้งเดียว ซึ่งเป็นเส้นทางใหม่สำหรับการบีบอัด Cache ในการอนุมานบริบทยาวพิเศษ

举报 แก้ไข/รายงาน
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น