ตามการติดตามของ Beating การฝึกอบรมโมเดลขนาดใหญ่ด้วย "การสุ่มตัวอย่างแบบโคจรเดียวกัน" (即让模型基于自己实时生成的数据进行训练) เป็นกุญแจสำคัญในการป้องกันการเสื่อมสภาพของโมเดลและเพิ่มความสามารถในการแก้ปัญหา การเรียนรู้แบบเสริมกำลังออนไลน์ (RL) และการกลั่นแบบโคจรเดียวกัน (OPD) เหนือกว่าการปรับแต่งแบบมีผู้สอนแบบดั้งเดิม (SFT) โดยพื้นฐานแล้ว เนื่องจากวิธีการเหล่านี้ให้โมเดลปรับปรุงตามขั้นตอนที่มันเขียนขึ้นเอง แทนที่จะท่องจำคำตอบมาตรฐานจากภายนอก
SFT ที่บังคับป้อนคำตอบมาตรฐานจะกระจายแรงในการปรับเปลี่ยนโมเดลอย่างสม่ำเสมอในทุกคำ ซึ่งง่ายต่อการทำลายโครงสร้างความรู้เดิมของโมเดลและทำให้เกิดการลืม ในทางตรงกันข้าม RL และ OPD ให้โมเดลค้นหาและเสริมสร้างขั้นตอนที่ดีที่สุดในร่างที่มันเขียนเอง ซึ่งไม่เพียงแต่หลีกเลี่ยงข้อผิดพลาดสะสมที่เกิดจาก "การเขียนผิดหนึ่งคำตั้งแต่ต้น แล้วหลงทางไปตลอดทาง" แต่การอัปเดตยังเกิดขึ้นเฉพาะในพื้นที่ความรู้ที่โมเดลรู้จักเท่านั้น จึงรักษาความสามารถดั้งเดิมไว้ได้สูงสุด
ในการทดลอง "การแก้ไขโค้ดน้อยที่สุด" ไม่ว่าจะใช้ SFT หรือ RL เป็นผู้สอนในการกลั่นแบบโคจรเดียวกัน โมเดลนักเรียนมีความสำเร็จในการเขียนโค้ดถูกต้องในครั้งเดียว (Pass@1) ที่ 80.0% และ 78.7% ตามลำดับ ซึ่งเหนือกว่าโมเดลผู้สอน แม้ว่าผู้สอน SFT จะ "โง่ลง" อย่างรุนแรงจากการปรับแต่งมากเกินไป (คะแนนความสามารถในการเขียนโค้ดใน LiveCodeBench ลดลงจาก 0.320 เป็น 0.286) โมเดลนักเรียนที่ถูกฝึกโดยมันยังคงได้คะแนนสูงถึง 0.297 แทบไม่ได้รับผลกระทบจากข้อบกพร่องของผู้สอน ซึ่งพิสูจน์ว่าการฝึกแบบโคจรเดียวกันสามารถกรองนิสัยที่ไม่ดีของผู้สอนได้อย่างมีประสิทธิภาพ
ปัจจุบัน DeepSeek-V4 และ GLM-5 ได้นำการกลั่นแบบโคจรเดียวกันมาใช้เพื่อรวมความสามารถของโมเดลผู้เชี่ยวชาญ ในการฝึกอบรมผู้เชี่ยวชาญ สาขาที่มีคำตอบถูกผิดชัดเจน เช่น โค้ดและคณิตศาสตร์ เหมาะกับ RL มากกว่า ในขณะที่งานเชิงอัตนัยที่เน้นความคิดสร้างสรรค์และความรู้ เหมาะกับการกลั่นแบบโคจรเดียวกันมากกว่า อัลกอริทึมการปรับแต่งขั้นสูงสุดในอนาคต จะต้องค้นหากลไกใหม่ภายใต้กรอบการฝึกแบบโคจรเดียวกัน ที่ผสมผสานประสิทธิภาพสูงของการกลั่น (ความหนาแน่นของข้อมูลสูง) และความเป็นกลางของ RL (การอัปเดตแบบไม่มีอคติ)
