lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

Google เปิดตัวโมเดลข้อความแบบ Diffusion ชื่อ DiffusionGemma แบบโอเพนซอร์ส: รองรับการประมวลผลมากกว่าพัน Token ต่อวินาทีบนการ์ดเดี่ยว ความเร็วเพิ่มขึ้น 4 เท่า

ตามการติดตามของ Beating Google ได้เปิดตัวโมเดลโอเพนซอร์สเชิงทดลอง DiffusionGemma ซึ่งใช้กลไกการสร้างข้อความแบบใหม่ที่อิงจากการแพร่กระจาย (diffusion) ทำลายข้อจำกัดของการสร้างคำทีละคำตามลำดับของโมเดลภาษาขนาดใหญ่แบบดั้งเดิม DiffusionGemma มีพารามิเตอร์รวม 26B ภายใต้สถาปัตยกรรม Mixture of Experts (MoE) โดยในการส่งผ่านข้อมูลไปข้างหน้าแต่ละครั้งจะเปิดใช้งานเพียง 3.8B พารามิเตอร์ และสร้างข้อความทั้งบล็อกแบบขนาน ทำให้ความเร็วในการอนุมานบน GPU ในเครื่องเพิ่มขึ้นถึง 4 เท่า

แตกต่างจากการสร้างคำทีละคำแบบ "เครื่องพิมพ์ดีด" แบบดั้งเดิม หลักการทำงานของ DiffusionGemma คล้ายกับการสร้างภาพ โดยเริ่มจากการสร้างตัวยึดตำแหน่งแบบสุ่มบนผืนผ้าใบ จากนั้นลบสัญญาณรบกวนและล็อกข้อความที่ถูกต้องผ่านการวนซ้ำหลายขั้นตอนเวลา การส่งผ่านข้อมูลไปข้างหน้าแต่ละครั้งสามารถสร้าง Token ได้ 256 ตัวแบบขนาน ทำให้ Token ทั้งหมดสามารถโต้ตอบแบบสองทิศทาง (bidirectional attention) กลไกการสนใจแบบสองทิศทางมีข้อได้เปรียบอย่างมากในงานสร้างที่ไม่เป็นเชิงเส้น เช่น การเติมโค้ด การแก้ไขในบรรทัด และการสร้างสูตรคณิตศาสตร์ อย่างไรก็ตาม คุณภาพผลลัพธ์โดยรวมของ DiffusionGemma ยังคงต่ำกว่า Gemma 4 มาตรฐาน

ในด้านประสิทธิภาพการทดสอบฮาร์ดแวร์และความเร็วในการอนุมาน การ์ด NVIDIA H100 ตัวเดียวสามารถสร้าง Token ได้มากกว่า 1,000 ตัวต่อวินาที ในขณะที่การ์ด NVIDIA GeForce RTX 5090 ระดับผู้บริโภคก็เกิน 700 Token หลังจากทำ quantization แบบ 4-bit floating point (NVFP4) การใช้หน่วยความจำในการอนุมานสามารถลดลงเหลือต่ำกว่า 18GB ซึ่งช่วยลดอุปสรรคในการปรับใช้ในเครื่องได้อย่างมาก

น้ำหนักของ DiffusionGemma ได้รับการเปิดเผยเป็นโอเพนซอร์สบน Hugging Face และรองรับโดยเครื่องมือพัฒนาหลัก เช่น MLX, vLLM, Unsloth และ NVIDIA NeMo

举报 แก้ไข/รายงาน
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น