โมเดล Kimi K3 ที่มีพารามิเตอร์ 2.78 ล้านล้านตัวสามารถทำงานบนหน่วยความจำ 8GB ได้ นักพัฒนาเปิดซอร์สเอ็นจิ้นการอนุมานแบบ C ที่มีน้ำหนักเบา

BlockBeats รายงานว่า เมื่อวันที่ 8 สิงหาคม นักพัฒนารายหนึ่งได้เปิดเผยโครงการโอเพนซอร์สชื่อ kimi-k3-in-c ซึ่งพยายามให้โมเดล Kimi K3 ที่มีพารามิเตอร์ 2.78 ล้านล้านตัวทำงานบนอุปกรณ์ที่มีหน่วยความจำเพียง 8GB โครงการนี้มีขนาดเพียง 176KB เขียนด้วยภาษา C99 บริสุทธิ์ ไม่พึ่งพา GPU, CUDA, PyTorch หรือ BLAS และสามารถทำการอนุมานโมเดลได้ด้วย CPU เพียงอย่างเดียว

แนวทางนี้ใช้ประโยชน์จากคุณสมบัติสถาปัตยกรรม MoE (Mixture of Experts) ของ Kimi K3 แม้ว่าขนาดพารามิเตอร์รวมของโมเดลจะสูงถึง 2.78T แต่ในแต่ละชั้น ผู้เชี่ยวชาญเพียง 16 จาก 896 รายเท่านั้นที่ถูกเปิดใช้งาน ดังนั้นนักพัฒนาจึงไม่ได้โหลดน้ำหนักโมเดลทั้งหมดประมาณ 1.56TB เข้าไปในหน่วยความจำ แต่เก็บน้ำหนักของผู้เชี่ยวชาญส่วนใหญ่ไว้ในฮาร์ดดิสก์ NVMe และอ่านข้อมูลแบบเรียลไทม์ตามความต้องการในการอนุมาน ขณะเดียวกัน ชั้นหนาแน่นบางส่วน (dense trunk) ก็ใช้วิธีการโหลดแบบสตรีมมิ่งทีละชั้นเช่นกัน

อย่างไรก็ตาม แนวทางนี้ยังคงมีข้อจำกัดด้านประสิทธิภาพที่ชัดเจน ในโหมดหน่วยความจำ 8GB โมเดลใช้เวลาประมาณ 32.7 วินาทีในการสร้าง token หนึ่งตัว และต้องใช้พื้นที่จัดเก็บความเร็วสูงเกือบ 1.7TB เพื่อรองรับ

นักพัฒนาระบุว่า แนวทางนี้ในปัจจุบัน更像是การทดลองสำรวจทิศทางการปรับปรุงโครงสร้างพื้นฐานสำหรับการอนุมานโมเดลขนาดใหญ่ และไม่มีคุณค่าในการใช้งานจริงในเชิงการผลิต แต่ด้วยวิธีการ "โหลดสตรีมมิ่งจากฮาร์ดดิสก์ + การเปิดใช้งานแบบกระจายของ MoE" ได้นำเสนอแนวคิดใหม่สำหรับการรันโมเดลขนาดยักษ์ด้วยต้นทุนต่ำในอนาคต