DeepSeek เปิดโอเพนซอร์สเอนจินการอนุมานภายในชื่อ DeepInfer: รองรับ Ascend 950 แต่ยังไม่ใช่บริการออนไลน์ที่สมบูรณ์
动察 Beating ข่าวด่วน AI, DeepSeek เปิดโอเพนซอร์สเฟรมเวิร์กการอนุมานภายในชื่อ DeepInfer อย่างเป็นทางการ ภายใต้สัญญาอนุญาต Apache 2.0 ระบบนี้ถูกใช้รองรับบริการออนไลน์ขนาดใหญ่ของ DeepSeek V4.1 Flash แล้ว ก่อนหน้านี้ DeepSeek ได้เปิดโอเพนซอร์สไลบรารีคำนวณ DeepGEMM, ตัวดำเนินการ atenção FlashMLA และไลบรารีสื่อสาร DeepEP ตามลำดับ ครั้งนี้ได้เปิดเผยเพิ่มเติมถึงเฟรมเวิร์กหลักที่รับผิดชอบการประมวลผลแบบหลายการ์ดขนาน การจัดตารางงาน และการเร่งความเร็วในการสร้าง
เป้าหมายของ DeepInfer คือทำให้พลังประมวลผลเดียวกันรองรับคำขอได้มากขึ้น พร้อมทั้งลดเวลารอของผู้ใช้ โดยสามารถกระจายผู้เชี่ยวชาญ (experts) ต่างๆ ของโมเดลไปยังการ์ดคำนวณหลายใบ และให้ CPU จัดตารางทำงานควบคู่ไปกับการคำนวณของ GPU การถอดรหัสแบบคาดการณ์ DSpark สามารถสร้าง Token ตัวเลือกหลายตัวล่วงหน้า แล้วจัดลำดับการตรวจสอบตามความเชื่อมั่น ส่วน SWA Bounded Replay ทำให้โมเดลเมื่อประมวลผลข้อความยาว จะคำนวณใหม่เฉพาะเนื้อหาช่วงสั้นๆ ที่เพิ่งผ่านมา ลดการคำนวณซ้ำซ้อน นอกจากนี้ยังรองรับเอาต์พุตแบบมีโครงสร้างเช่น JSON และกลไกการสุ่มตัวอย่างที่ทำซ้ำได้
การเปิดโอเพนซอร์สครั้งนี้ยังมีจุดพลิกผัน ในเดือนเมษายน 2025 DeepSeek เคยอธิบายว่าเอนจินการอนุมานภายในของตนพัฒนามาจาก vLLM รุ่นแรกอย่างหนัก และผูกติดกับคลัสเตอร์ของตนอย่างสูง ยากที่จะเปิดให้ชุมชนใช้งานได้โดยตรง จึงตัดสินใจแยกส่วนประกอบอิสระออกมาก่อน ตอนนี้โค้ดหลักได้เปิดเผยแล้ว แต่ยังไม่ใช่โซลูชันการติดตั้งใช้งานออนไลน์ที่สมบูรณ์ GitHub ระบุชัดเจนว่าฉบับปัจจุบันให้บริการหลักเป็นการอนุมานแบบออฟไลน์ ยังขาดการจัดการแคช KV การแยกขั้นตอนอินพุตและการสร้าง และการกระจายโหลดข้ามรีพลิกา เป็นต้น
ปัจจุบัน DeepInfer รองรับเฉพาะ DeepSeek V4.1 Flash ปรับให้เข้ากับ GPU NVIDIA SM100 และ NPU Huawei Ascend 950 การทดสอบประสิทธิภาพอย่างเป็นทางการวัดการประมวลผลอินพุตและการสร้างเอาต์พุตโดยใช้ GPU SM100 จำนวน 4 ใบและ 64 ใบตามลำดับ แต่ไม่ได้ให้การเปรียบเทียบประสิทธิภาพภายใต้เงื่อนไขเดียวกันกับ vLLM และ SGLang ขณะเดียวกัน deepseek-recipe ที่อัปเดตแล้วก็มีความสามารถเข้ารหัสและถอดรหัสข้อความและ Token ที่สอดคล้องกับ API อย่างเป็นทางการ รองรับรูปแบบเนื้อหาความคิด รูปภาพ และการเรียกใช้เครื่องมือ เป็นต้น
