ตามการติดตามของ Dongcha Beating ทีมวิจัย Baseten ได้เผยแพร่วิธีการบีบอัด KV Cache ที่ชื่อว่า Still ซึ่งใช้การตรึงพารามิเตอร์ของโมเดลฐานและฝึกเฉพาะ Perceiver Compressor แบบน้ำหนักเบาเท่านั้น โดยสามารถบีบอัด KV Cache ได้ในครั้งเดียวระหว่างการส่งผ่านข้อมูลไปข้างหน้า (Forward Pass) รองรับการบีบอัดสูงสุดถึง 200 เท่า โดยไม่จำเป็นต้องปรับแต่งแบบออนไลน์หรืออัปเดตเกรเดียนต์
วิธีการบีบอัด KV ที่มีอยู่ในปัจจุบันแบ่งออกเป็นสองประเภทหลัก ประเภทแรกจะคัดเลือก Cache ที่สำคัญจาก Token ดั้งเดิม เช่น SnapKV และ H2O ส่วนประเภทที่สองจะสร้าง Cache ที่บีบอัดใหม่โดยตรง แต่มักต้องปรับแต่งแบบออนไลน์สำหรับแต่ละบริบท Still ใช้แนวคิดการสังเคราะห์แบบผ่อนชำระ (Amortized Synthesis) โดยเพิ่ม Perceiver Compressor ซึ่งมีขนาดพารามิเตอร์ประมาณ 1% ของโมเดลฐานในแต่ละชั้นของ Transformer ใช้การสอบถามโดยนัย (Implicit Query) เพื่อทำ Cross-Attention กับ KV Cache ที่สมบูรณ์ และสร้าง KV Cache ที่บีบอัดใหม่โดยตรง
ในการทดสอบกับโมเดล Qwen และ Gemma Still รักษาความแม่นยำสูงในช่วงบริบท 8k ถึง 64k และอัตราการบีบอัด 8 ถึง 200 เท่า ในการทดสอบ RULER ซึ่งเป็นเกณฑ์มาตรฐานสำหรับบริบทยาว Still มีประสิทธิภาพเหนือกว่า SnapKV, H2O และ KV-Distill ในหลายการตั้งค่า โดยในงาน Matched-Training นำหน้า KV-Distill ประมาณ 8 ถึง 22 เปอร์เซ็นต์ ในการทดสอบสรุปเอกสารหลายชุดของ HELMET Cache ที่บีบอัดแล้วยังคงสามารถกู้คืนประสิทธิภาพของบริบทเต็มได้ 74% ถึง 95%
เมื่อเปรียบเทียบกับวิธีการที่ต้องเก็บ Token ดั้งเดิมหรือพึ่งพาการปรับแต่งแบบออนไลน์ Still เปลี่ยนการบีบอัด KV ให้เป็นกระบวนการเรียนรู้ที่เสร็จสิ้นได้ในการส่งผ่านข้อมูลไปข้างหน้าครั้งเดียว ซึ่งเป็นเส้นทางใหม่สำหรับการบีบอัด Cache ในการอนุมานบริบทยาวพิเศษ
