lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

FreeToken โอเพนซอร์ส: การ์ดจอ 5090 หนึ่งใบรัน DeepSeek-V4-Flash ได้สูงสุด 25 Token/s

動察 Beating AI ข่าวด่วน นักวิจัยจากเบิร์กลีย์และ MIT เปิดซอร์ส FreeToken นี่คือเอนจินอนุมาน MoE (โมเดลผสมผู้เชี่ยวชาญ) ที่ออกแบบมาเฉพาะสำหรับอุปกรณ์ในเครื่อง โดยแก้ปัญหาหลักที่โมเดลขนาดใหญ่เกินกว่าที่หน่วยความจำกราฟิกจะรองรับได้ มันจะเก็บน้ำหนักบางส่วนไว้ในหน่วยความจำระบบ และให้ CPU กับ GPU ทำงานร่วมกันในการอนุมาน


FreeToken จะเก็บน้ำหนักผู้เชี่ยวชาญจำนวนมากของโมเดลไว้ในหน่วยความจำระบบ โดยแคชเพียงบางส่วนไว้ในหน่วยความจำกราฟิก เมื่อเจอผู้เชี่ยวชาญที่ไม่มีในหน่วยความจำกราฟิก มันจะตัดสินใจแบบไดนามิกตามแบนด์วิดท์ PCIe และหน่วยความจำ CPU ว่าจะย้ายน้ำหนักไปยัง GPU หรือส่งให้ CPU คำนวณโดยตรง ด้วยวิธีนี้ CPU, GPU, หน่วยความจำระบบ และ PCIe จึงสามารถทำงานร่วมกันในการอนุมานได้


จากการทดสอบจริงในบทความ คอมพิวเตอร์เดสก์ท็อปเกมมิ่งที่ติดตั้ง RTX 5090 รันโมเดล DeepSeek-V4-Flash ขนาด 284B พารามิเตอร์ ทำความเร็วได้ 22–25 Token/s โมเดลนี้จริงๆ แล้วเปิดใช้งานเพียงประมาณ 13B พารามิเตอร์ต่อการสร้างหนึ่ง Token จึงเหมาะเป็นพิเศษกับการอนุมานแบบผสม CPU และ GPU แบบนี้


FreeToken ยังรันโมเดลขนาด 35B บนแล็ปท็อป RTX 4060 ที่มีหน่วยความจำกราฟิก 8GB ได้ความเร็ว 39.3 Token/s และบนการ์ด RTX PRO 6000 ขนาด 96GB ตัวเดียวสามารถรันโมเดล GLM-5.2 ขนาด 753B พารามิเตอร์ได้ โดยความเร็วประมาณสองเท่าของ llama.cpp โปรเจกต์ปัจจุบันรองรับโมเดล MoE มากกว่า 20 รุ่น และได้เปิดซอร์สภายใต้ใบอนุญาต Apache 2.0 แล้ว

ที่เกี่ยวข้องแนะนำ
เส้นทางข้างหน้าไม่อนุญาตให้มันเดินต่อไปโดยหลับตาอีกต่อไปแล้ว
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น