美团เปิดตัวโมเดลภาษาใหญ่ LongCat-2.0 แบบโอเพนซอร์สที่มีพารามิเตอร์ระดับล้านล้าน พร้อมเปิดเผยโค้ดการอนุมานสำหรับการ์ดจีนที่ผลิตในประเทศ

ตามการติดตามของ Dongcha Beating 美团ได้เปิดตัวโมเดลขนาดใหญ่พารามิเตอร์ล้านล้าน LongCat-2.0 อย่างเป็นทางการ โดยมีพารามิเตอร์รวม 1.6T และค่าเฉลี่ยการเปิดใช้งานประมาณ 48B ออกแบบมาเฉพาะสำหรับงาน Agentic Coding ที่เป็นจริง ทางด้านสถาปัตยกรรมได้นำ LongCat Sparse Attention และ N-gram Embedding มาใช้อย่างสร้างสรรค์ โดยแบบแรกใช้ดัชนี感知การไหลและดัชนีแบบลำดับชั้นเพื่อลดการเข้าถึงหน่วยความจำแบบกระจัดกระจาย เร่งการฝึกและอนุมานบริบทยาวระดับล้าน ส่วนแบบหลังเมื่อความเบาบางของ MoE ใกล้ถึง 97% ได้นำพารามิเตอร์ 135B ไปใช้ในชั้น Embedding เพื่อรักษาสมดุลระหว่างผลประโยชน์ของพารามิเตอร์และความเสถียรของโครงสร้าง การฝึกหลังการฝึกใช้การกลั่นแบบออนไลน์หลายครู โดยแบ่งผู้เชี่ยวชาญออกเป็นสามประเภท: Agent, การอนุมาน และการโต้ตอบ ผ่านสถาปัตยกรรม MOPD ที่ผสานรวมอย่างราบรื่นบนคลัสเตอร์การคำนวณในประเทศ ในฐานะโมเดลพารามิเตอร์ล้านล้านตัวแรกในอุตสาหกรรมที่ทำการอนุมานบนคลัสเตอร์การคำนวณในประเทศ 50,000 ใบ LongCat-2.0 ได้ยืนยันความสามารถของชิปในประเทศในการรองรับงานโมเดลขนาดใหญ่ที่ซับซ้อน

เพื่อตอบสนองข้อจำกัดหลายประการของหน่วยความจำ แบนด์วิดท์ และการเชื่อมต่อของชิปในประเทศจีน 美团ได้บุกทะลวงจากสามทิศทาง: โมเดล การปรับชิป และการปรับใช้ ในระดับโมเดลใช้ ScMoE เพื่อใช้ความสามารถในการควบคุมคอร์ของชิปในประเทศ ทำให้สาขา Dense และ MoE ทำงานแบบขนานในระดับคอร์จริง ร่วมกับการแบ่ง KV-cache เพื่อลดแรงกดดันหน่วยความจำของบริบทยาวพิเศษ ในระดับการปรับชิปใช้ Super Kernel เพื่อลดค่าใช้จ่ายในการเริ่มต้นโอเปอเรเตอร์ และใช้ Weight Prefetch เพื่อซ่อนความล่าช้าของ I/O เพิ่มประสิทธิภาพการใช้ฮาร์ดแวร์สูงสุดภายใต้เงื่อนไขที่จำกัด ในระดับการปรับใช้ใช้การแยก PD เพื่อสร้างสมดุลระหว่าง TTFT และ TPOT ร่วมกับการโหลดบาลานซ์แบบอะซิงโครนัส Expert-Parallel เพื่อแก้ปัญหาการโหลดที่ไม่สมดุลในระดับ EP ขนาดใหญ่ การเปิดเผยซอร์สโค้ดครั้งนี้ยังมีเวอร์ชันหลายความแม่นยำ เช่น BF16, FP8 และ INT8 พร้อมเปิดเผยผลการอนุมานที่ปรับให้เหมาะสมที่สุดสำหรับการคำนวณในประเทศอย่างสมบูรณ์ โดยมีเป้าหมายให้การ์ดในประเทศที่มีอยู่ รวมถึงการ์ดรุ่นเก่า สามารถปรับใช้บริการอนุมานโมเดลขนาดใหญ่พารามิเตอร์ล้านล้านได้อย่างราบรื่น

---------------------------------

คลิกที่ลิงก์ต้นฉบับด้านล่างเพื่อเข้าร่วมช่องข่าว AI ของ Dongcha Beating · Feishu ติดตามข่าว AI ทั่วโลกตลอด 24 ชั่วโมง 7 วันต่อสัปดาห์