รอฟุลี: ยุคฝึกอบรมหลังจากการฝึกโมเดลขนาดใหญ่เริ่มขึ้น ทีมชั้นนำมีอัตราส่วนพลังคำนวณระหว่างการฝึกก่อนและหลังการฝึกเท่ากับ 1:1

ตามการตรวจสอบจาก ดีเทควิน Beating โปรแกรมใหญ่ของทีม ซิao mi มีการกล่าวถึงว่าการแข่งขันของโมเดลใหญ่ได้มีการเปลี่ยนแปลงจากยุค Chat ที่เน้นการทำการฝึกล่วงหน้าไปสู่ยุค Agent ที่เน้นการ Post-train อย่างล้ำลึก ปัจจุบันจุดสำคัญที่สำคัญคือ "วิธีการทำให้การเรียนรู้แบบเสริม (RL) ทำงานบน Agent ได้ยิ่งขึ้น"

การเปลี่ยนแปลงแนวคิดนี้ได้ส่งผลตรงการสร้างโครงสร้างความสามารถในการจัดสรรกำลังการคำนวณ โปรแกรมใหญ่ของทีม ซิao mi ระบุว่าในยุค Chat การจัดสรรกำลังการคำนวณสำหรับการศึกษา การฝึกล่วงหน้าและการ Post-train เป็นสัดส่วนโดยประมาณเท่ากับ 3:5:1 ในขณะที่ในยุค Agent ปัจจุบัน สัดส่รอคำนวณที่เหมาะสมเป็น 3:1:1 นั่นคือการลงทุนในการคำนวณสำหรับการฝึกล่วงหน้าและการ Post-train ได้เท่าเทียมกันแล้ว ในขณะนี้การลงทุนของทีมโมเดลชั้นนอกสุดในสองส่วนนี้มีอัตราส่วนเท่ากับ 1:1

ในเวลาเดียวกัน ความต้องการของโครงสร้างระบบก็เปลี่ยนไปอย่างเห็นได้อย่างชัดเจน โครงสร้างพื้นฐานของ RL ในอดีตมีความสำคัญใน "เครื่องยนต์การคาดการณ์โมเดล" ที่จัดการกับการทำเขียนข้อความอย่างละเอียด ในขณะที่โครงสร้างพื้นฐานปัจจุบันต้องมี "Agent" เป็นศูนย์กลางและรองรับการวางตัวของคลัสเตอร์แบบไม่เหมือนกัน และสามารถรับความไม่แน่นอนของการหยุดงานของ Agent ในขั้นตอนการทำงานที่ซับซ้อน