lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

กูเกิลเปิดตัวโมเดล Gemma 4 แบบเบาพิเศษ รันบนเครื่องในเครื่องได้โดยใช้หน่วยความจำต่ำกว่า 1GB เป็นครั้งแรก

ตามการติดตามของ Beating กูเกิลได้เผยแพร่โมเดลน้ำหนักแบบบีบอัดเชิงปริมาณสำหรับโมเดลขนาดใหญ่ Gemma 4 การหาปริมาณเป็นเทคนิคที่ช่วยลดขนาดโมเดลโดยการลดความแม่นยำของตัวเลข แต่มักจะทำให้โมเดลมีความฉลาดลดลง เพื่อแก้ปัญหาการสูญเสียความแม่นยำ กูเกิลในครั้งนี้ใช้เทคนิคการเรียนรู้แบบตระหนักถึงการหาปริมาณ โดยจำลองสถานะการบีบอัดล่วงหน้าในระหว่างกระบวนการฝึกโมเดล ทำให้โมเดลปรับตัวโดยอัตโนมัติเพื่อทำงานในความแม่นยำต่ำ ส่งผลให้ขนาดโมเดลลดลงอย่างมาก ในขณะที่ยังคงรักษาระดับความฉลาดที่สูงมากไว้

ด้วยเทคนิคการบีบอัดเฉพาะสำหรับอุปกรณ์เคลื่อนที่ โมเดลข้อความล้วน Gemma 4 E2B สามารถลดการใช้หน่วยความจำบนอุปกรณ์ปลายทาง เช่น โทรศัพท์มือถือ ให้ต่ำกว่า 1GB เพื่อให้แน่ใจว่าการทำงานบนโทรศัพท์มือถือในเครื่องมีความลื่นไหลเพียงพอ กูเกิลได้ปรับแต่งชิปสำหรับอุปกรณ์เคลื่อนที่โดยเฉพาะ ทีมพัฒนาทำงานคำนวณส่วนใหญ่ล่วงหน้าในขั้นตอนการฝึก เพื่อลดภาระแบบเรียลไทม์ของชิปโทรศัพท์ และใช้โครงสร้างการคำนวณที่เหมาะสมกับฮาร์ดแวร์โทรศัพท์มากขึ้นเพื่อเร่งความเร็วแบบดั้งเดิม ทีมงานยังบีบอัดคำศัพท์และแคชอย่างลึกซึ้ง นอกจากนี้ ยังใช้การบีบอัดแบบ 2-bit อย่างรุนแรงกับเลเยอร์เฉพาะที่รับผิดชอบการสร้าง Token โดยคงไว้เฉพาะเลเยอร์หลักที่มีความแม่นยำสูง เพื่อประหยัดพื้นที่จัดเก็บสูงสุด โดยไม่กระทบต่อประสิทธิภาพของตรรกะหลัก

น้ำหนักโมเดลใหม่ได้ถูกเผยแพร่แบบโอเพนซอร์สบน Hugging Face แล้ว ผู้ใช้ทั่วไปสามารถดาวน์โหลดและรันบนคอมพิวเตอร์ส่วนตัวได้โดยตรงผ่าน Ollama และ LM Studio สำหรับนักพัฒนาบนอุปกรณ์เคลื่อนที่และเว็บ น้ำหนักใหม่ได้รับการสนับสนุนแบบซิงค์กับเอ็นจิ้น LiteRT-LM และสามารถรันบนเว็บได้โดยตรงผ่าน Transformers.js ในขณะเดียวกัน vLLM, SGLang และเครื่องมือเร่งความเร็วชิปแอปเปิล MLX ก็เสร็จสิ้นการปรับความเข้ากันได้แล้ว เพื่อให้นักพัฒนาสามารถปรับใช้ได้อย่างรวดเร็ว

举报 แก้ไข/รายงาน
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น