ดีพซีคมีแผนฝึกโมเดลพารามิเตอร์ 8 ล้านล้าน ซึ่งมีขนาดเกือบ 3 เท่าของโมเดลโอเพนซอร์สที่ใหญ่ที่สุดในปัจจุบัน

动察 Beating ข่าวด่วน AI, DeepSeek กำลังจะขยายโมเดลให้ใหญ่ขึ้นอีกครั้ง CEO เหลียง เหวินเฟิง เปิดเผยกับนักลงทุนว่า บริษัทกำลังฝึกโมเดลขนาด 2 ล้านล้านพารามิเตอร์ และหลังจากนั้นยังมีแผนจะพัฒนาโมเดลขนาด 8 ล้านล้านพารามิเตอร์ โมเดลเรือธง V4-Pro ที่มีอยู่ในปัจจุบันมีเพียง 1.6 ล้านล้านพารามิเตอร์

8 ล้านล้านพารามิเตอร์คืออะไร? ในบรรดาโมเดลขนาดใหญ่พิเศษที่เปิดเผยน้ำหนักต่อสาธารณะแล้ว Kimi K3 ของ Moonshot AI มี 2.8 ล้านล้านพารามิเตอร์ ซึ่งถือเป็นโมเดลโอเพนซอร์สที่ใหญ่ที่สุดในโลกอยู่แล้ว โมเดล 8 ล้านล้านพารามิเตอร์ที่ DeepSeek วางแผนไว้ จะมีขนาดใหญ่ขึ้นเกือบ 3 เท่าอีก

อย่างไรก็ตาม จำนวนพารามิเตอร์รวมที่มากขึ้นไม่ได้หมายความว่าต้องเรียกใช้พารามิเตอร์ทั้งหมดในทุกครั้งที่รัน Kimi K3 ใช้สถาปัตยกรรม MoE โดยจากพารามิเตอร์รวม 2.8 ล้านล้าน จะเปิดใช้งานเพียง 1.04 แสนล้านต่อหนึ่ง Token