動察 Beating AI ข่าวด่วน นักวิจัยจากเบิร์กลีย์และ MIT เปิดซอร์ส FreeToken นี่คือเอนจินอนุมาน MoE (โมเดลผสมผู้เชี่ยวชาญ) ที่ออกแบบมาเฉพาะสำหรับอุปกรณ์ในเครื่อง โดยแก้ปัญหาหลักที่โมเดลขนาดใหญ่เกินกว่าที่หน่วยความจำกราฟิกจะรองรับได้ มันจะเก็บน้ำหนักบางส่วนไว้ในหน่วยความจำระบบ และให้ CPU กับ GPU ทำงานร่วมกันในการอนุมาน
FreeToken จะเก็บน้ำหนักผู้เชี่ยวชาญจำนวนมากของโมเดลไว้ในหน่วยความจำระบบ โดยแคชเพียงบางส่วนไว้ในหน่วยความจำกราฟิก เมื่อเจอผู้เชี่ยวชาญที่ไม่มีในหน่วยความจำกราฟิก มันจะตัดสินใจแบบไดนามิกตามแบนด์วิดท์ PCIe และหน่วยความจำ CPU ว่าจะย้ายน้ำหนักไปยัง GPU หรือส่งให้ CPU คำนวณโดยตรง ด้วยวิธีนี้ CPU, GPU, หน่วยความจำระบบ และ PCIe จึงสามารถทำงานร่วมกันในการอนุมานได้
จากการทดสอบจริงในบทความ คอมพิวเตอร์เดสก์ท็อปเกมมิ่งที่ติดตั้ง RTX 5090 รันโมเดล DeepSeek-V4-Flash ขนาด 284B พารามิเตอร์ ทำความเร็วได้ 22–25 Token/s โมเดลนี้จริงๆ แล้วเปิดใช้งานเพียงประมาณ 13B พารามิเตอร์ต่อการสร้างหนึ่ง Token จึงเหมาะเป็นพิเศษกับการอนุมานแบบผสม CPU และ GPU แบบนี้
FreeToken ยังรันโมเดลขนาด 35B บนแล็ปท็อป RTX 4060 ที่มีหน่วยความจำกราฟิก 8GB ได้ความเร็ว 39.3 Token/s และบนการ์ด RTX PRO 6000 ขนาด 96GB ตัวเดียวสามารถรันโมเดล GLM-5.2 ขนาด 753B พารามิเตอร์ได้ โดยความเร็วประมาณสองเท่าของ llama.cpp โปรเจกต์ปัจจุบันรองรับโมเดล MoE มากกว่า 20 รุ่น และได้เปิดซอร์สภายใต้ใบอนุญาต Apache 2.0 แล้ว
