ตามการติดตามของ Beating ทีมวิจัยร่วมซึ่งประกอบด้วย Shenzhen He Tao College, มหาวิทยาลัยเทคโนโลยีฮาร์บิน (เซินเจิ้น), สถาบันวิจัยข้อมูลขนาดใหญ่เซินเจิ้น และทีมงานที่เกี่ยวข้องจากหัวเว่ย พร้อมด้วยความร่วมมือจากแพลตฟอร์มพลังประมวลผล AI ของ Shenzhen Smart City (深智城) ได้ประกาศความสำเร็จในการรันการฝึกหลังพารามิเตอร์เต็มรูปแบบ (Post-training) สำหรับโมเดลขนาดใหญ่ DeepSeek-V4-Pro ที่มีพารามิเตอร์ 1.6 ล้านล้าน บนแพลตฟอร์มพลังประมวลผล AI ในประเทศ
นี่เป็นครั้งแรกที่องค์กรบุคคลที่สามทั่วโลกสามารถดำเนินการฝึกหลังพารามิเตอร์เต็มรูปแบบสำหรับโมเดลขนาด 1.6 ล้านล้านพารามิเตอร์บนแพลตฟอร์มพลังประมวลผลในประเทศ
เมื่อเปรียบเทียบกับการฝึกก่อน (Pre-training) ซึ่งเริ่มจากศูนย์ การฝึกหลัง (Post-training) ซึ่งรวมถึงการปรับแต่งแบบมีผู้สอน (SFT) และการเรียนรู้แบบเสริมแรง (RL) จะเน้นการปรับโมเดลให้สอดคล้องกับคำสั่งคุณภาพสูงและความชอบของมนุษย์ เพื่อสอนให้โมเดลปฏิบัติตามคำสั่งและทำงานเฉพาะด้าน อย่างไรก็ตาม สำหรับโมเดลสถาปัตยกรรม MoE ที่มีพารามิเตอร์ 1.6 ล้านล้าน การฝึกหลังพารามิเตอร์เต็มรูปแบบยังคงมีความต้องการที่เข้มงวดมากในด้านความจุหน่วยความจำของฮาร์ดแวร์พื้นฐาน แบนด์วิธการสื่อสารระหว่างการ์ดหลายใบ (เช่น การสื่อสารแบบทุกต่อทุกที่เกิดจากการกำหนดเส้นทาง MoE) และความเสถียรของคลัสเตอร์ขนาดใหญ่ ทีมวิจัยร่วมอาศัยคลัสเตอร์พลังประมวลผล Huawei Ascend 910C ที่มีชิปมากกว่าพันตัว โดยการปรับกลยุทธ์การกระจายโหลดและการปรับสมดุลโหลดให้เหมาะสม สามารถเอาชนะปัญหาคอขวดด้านการสื่อสารได้ ในระหว่างกระบวนการฝึกที่ยาวนานกว่า 1,500 สเต็ป ระบบไม่เกิดการหยุดชะงักแม้แต่ครั้งเดียว อัตราการใช้พลังประมวลผลของโมเดล (MFU) เกิน 30% ประสิทธิภาพของตัวดำเนินการหลักเพิ่มขึ้น 14% และตัวชี้วัดทั้งหมดถึงมาตรฐานการทำงานระดับอุตสาหกรรม
การวิเคราะห์ในอุตสาหกรรมชี้ให้เห็นว่า ความสำเร็จของคลัสเตอร์ Huawei Ascend 910C ในการฝึกโมเดลระดับล้านล้านพารามิเตอร์ ยืนยันถึงความเป็นไปได้ทางเทคนิคของชิป AI ในประเทศในการรองรับงานฝึกเชิงลึกของโมเดลขนาดใหญ่พิเศษ เนื่องจากก่อนหน้านี้ การฝึกก่อนหลักของโมเดลขนาดใหญ่มักพึ่งพาคลัสเตอร์ GPU ของ Nvidia พลังประมวลผลในประเทศส่วนใหญ่รับผิดชอบงานอนุมาน (Inference) หรือการปรับแต่งพารามิเตอร์ขนาดเล็ก ความสำเร็จของความร่วมมือครั้งนี้บ่งชี้ว่าระบบนิเวศพลังประมวลผลในประเทศกำลังเร่งเปลี่ยนผ่านจาก "รองรับเฉพาะการอนุมาน" ไปสู่ "การรองรับการฝึกพารามิเตอร์เต็มรูปแบบของโมเดลขนาดใหญ่พิเศษ" ซึ่งเป็นการปิดวงจรทางเทคนิค
