ตามการติดตามของ Beating Google ได้เปิดตัวโมเดลโอเพนซอร์สเชิงทดลอง DiffusionGemma ซึ่งใช้กลไกการสร้างข้อความแบบใหม่ที่อิงจากการแพร่กระจาย (diffusion) ทำลายข้อจำกัดของการสร้างคำทีละคำตามลำดับของโมเดลภาษาขนาดใหญ่แบบดั้งเดิม DiffusionGemma มีพารามิเตอร์รวม 26B ภายใต้สถาปัตยกรรม Mixture of Experts (MoE) โดยในการส่งผ่านข้อมูลไปข้างหน้าแต่ละครั้งจะเปิดใช้งานเพียง 3.8B พารามิเตอร์ และสร้างข้อความทั้งบล็อกแบบขนาน ทำให้ความเร็วในการอนุมานบน GPU ในเครื่องเพิ่มขึ้นถึง 4 เท่า
แตกต่างจากการสร้างคำทีละคำแบบ "เครื่องพิมพ์ดีด" แบบดั้งเดิม หลักการทำงานของ DiffusionGemma คล้ายกับการสร้างภาพ โดยเริ่มจากการสร้างตัวยึดตำแหน่งแบบสุ่มบนผืนผ้าใบ จากนั้นลบสัญญาณรบกวนและล็อกข้อความที่ถูกต้องผ่านการวนซ้ำหลายขั้นตอนเวลา การส่งผ่านข้อมูลไปข้างหน้าแต่ละครั้งสามารถสร้าง Token ได้ 256 ตัวแบบขนาน ทำให้ Token ทั้งหมดสามารถโต้ตอบแบบสองทิศทาง (bidirectional attention) กลไกการสนใจแบบสองทิศทางมีข้อได้เปรียบอย่างมากในงานสร้างที่ไม่เป็นเชิงเส้น เช่น การเติมโค้ด การแก้ไขในบรรทัด และการสร้างสูตรคณิตศาสตร์ อย่างไรก็ตาม คุณภาพผลลัพธ์โดยรวมของ DiffusionGemma ยังคงต่ำกว่า Gemma 4 มาตรฐาน
ในด้านประสิทธิภาพการทดสอบฮาร์ดแวร์และความเร็วในการอนุมาน การ์ด NVIDIA H100 ตัวเดียวสามารถสร้าง Token ได้มากกว่า 1,000 ตัวต่อวินาที ในขณะที่การ์ด NVIDIA GeForce RTX 5090 ระดับผู้บริโภคก็เกิน 700 Token หลังจากทำ quantization แบบ 4-bit floating point (NVFP4) การใช้หน่วยความจำในการอนุมานสามารถลดลงเหลือต่ำกว่า 18GB ซึ่งช่วยลดอุปสรรคในการปรับใช้ในเครื่องได้อย่างมาก
น้ำหนักของ DiffusionGemma ได้รับการเปิดเผยเป็นโอเพนซอร์สบน Hugging Face และรองรับโดยเครื่องมือพัฒนาหลัก เช่น MLX, vLLM, Unsloth และ NVIDIA NeMo
