ตามการติดตามของ Beating กูเกิลได้เผยแพร่โมเดลน้ำหนักแบบบีบอัดเชิงปริมาณสำหรับโมเดลขนาดใหญ่ Gemma 4 การหาปริมาณเป็นเทคนิคที่ช่วยลดขนาดโมเดลโดยการลดความแม่นยำของตัวเลข แต่มักจะทำให้โมเดลมีความฉลาดลดลง เพื่อแก้ปัญหาการสูญเสียความแม่นยำ กูเกิลในครั้งนี้ใช้เทคนิคการเรียนรู้แบบตระหนักถึงการหาปริมาณ โดยจำลองสถานะการบีบอัดล่วงหน้าในระหว่างกระบวนการฝึกโมเดล ทำให้โมเดลปรับตัวโดยอัตโนมัติเพื่อทำงานในความแม่นยำต่ำ ส่งผลให้ขนาดโมเดลลดลงอย่างมาก ในขณะที่ยังคงรักษาระดับความฉลาดที่สูงมากไว้
ด้วยเทคนิคการบีบอัดเฉพาะสำหรับอุปกรณ์เคลื่อนที่ โมเดลข้อความล้วน Gemma 4 E2B สามารถลดการใช้หน่วยความจำบนอุปกรณ์ปลายทาง เช่น โทรศัพท์มือถือ ให้ต่ำกว่า 1GB เพื่อให้แน่ใจว่าการทำงานบนโทรศัพท์มือถือในเครื่องมีความลื่นไหลเพียงพอ กูเกิลได้ปรับแต่งชิปสำหรับอุปกรณ์เคลื่อนที่โดยเฉพาะ ทีมพัฒนาทำงานคำนวณส่วนใหญ่ล่วงหน้าในขั้นตอนการฝึก เพื่อลดภาระแบบเรียลไทม์ของชิปโทรศัพท์ และใช้โครงสร้างการคำนวณที่เหมาะสมกับฮาร์ดแวร์โทรศัพท์มากขึ้นเพื่อเร่งความเร็วแบบดั้งเดิม ทีมงานยังบีบอัดคำศัพท์และแคชอย่างลึกซึ้ง นอกจากนี้ ยังใช้การบีบอัดแบบ 2-bit อย่างรุนแรงกับเลเยอร์เฉพาะที่รับผิดชอบการสร้าง Token โดยคงไว้เฉพาะเลเยอร์หลักที่มีความแม่นยำสูง เพื่อประหยัดพื้นที่จัดเก็บสูงสุด โดยไม่กระทบต่อประสิทธิภาพของตรรกะหลัก
น้ำหนักโมเดลใหม่ได้ถูกเผยแพร่แบบโอเพนซอร์สบน Hugging Face แล้ว ผู้ใช้ทั่วไปสามารถดาวน์โหลดและรันบนคอมพิวเตอร์ส่วนตัวได้โดยตรงผ่าน Ollama และ LM Studio สำหรับนักพัฒนาบนอุปกรณ์เคลื่อนที่และเว็บ น้ำหนักใหม่ได้รับการสนับสนุนแบบซิงค์กับเอ็นจิ้น LiteRT-LM และสามารถรันบนเว็บได้โดยตรงผ่าน Transformers.js ในขณะเดียวกัน vLLM, SGLang และเครื่องมือเร่งความเร็วชิปแอปเปิล MLX ก็เสร็จสิ้นการปรับความเข้ากันได้แล้ว เพื่อให้นักพัฒนาสามารถปรับใช้ได้อย่างรวดเร็ว
