lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

การค้นพบใหม่ในการฝึกอบรมหลังโมเดลขนาดใหญ่: การใช้ข้อมูลที่สร้างขึ้นเองเพื่อทำ "การฝึกอบรมในแนวทางเดียวกัน" เป็นกุญแจสำคัญที่ทำให้นักเรียนก้าวข้ามครูผู้สอนโดยไม่เสื่อมถอย

ตามการติดตามของ Beating การฝึกอบรมโมเดลขนาดใหญ่ด้วย "การสุ่มตัวอย่างแบบโคจรเดียวกัน" (即让模型基于自己实时生成的数据进行训练) เป็นกุญแจสำคัญในการป้องกันการเสื่อมสภาพของโมเดลและเพิ่มความสามารถในการแก้ปัญหา การเรียนรู้แบบเสริมกำลังออนไลน์ (RL) และการกลั่นแบบโคจรเดียวกัน (OPD) เหนือกว่าการปรับแต่งแบบมีผู้สอนแบบดั้งเดิม (SFT) โดยพื้นฐานแล้ว เนื่องจากวิธีการเหล่านี้ให้โมเดลปรับปรุงตามขั้นตอนที่มันเขียนขึ้นเอง แทนที่จะท่องจำคำตอบมาตรฐานจากภายนอก

SFT ที่บังคับป้อนคำตอบมาตรฐานจะกระจายแรงในการปรับเปลี่ยนโมเดลอย่างสม่ำเสมอในทุกคำ ซึ่งง่ายต่อการทำลายโครงสร้างความรู้เดิมของโมเดลและทำให้เกิดการลืม ในทางตรงกันข้าม RL และ OPD ให้โมเดลค้นหาและเสริมสร้างขั้นตอนที่ดีที่สุดในร่างที่มันเขียนเอง ซึ่งไม่เพียงแต่หลีกเลี่ยงข้อผิดพลาดสะสมที่เกิดจาก "การเขียนผิดหนึ่งคำตั้งแต่ต้น แล้วหลงทางไปตลอดทาง" แต่การอัปเดตยังเกิดขึ้นเฉพาะในพื้นที่ความรู้ที่โมเดลรู้จักเท่านั้น จึงรักษาความสามารถดั้งเดิมไว้ได้สูงสุด

ในการทดลอง "การแก้ไขโค้ดน้อยที่สุด" ไม่ว่าจะใช้ SFT หรือ RL เป็นผู้สอนในการกลั่นแบบโคจรเดียวกัน โมเดลนักเรียนมีความสำเร็จในการเขียนโค้ดถูกต้องในครั้งเดียว (Pass@1) ที่ 80.0% และ 78.7% ตามลำดับ ซึ่งเหนือกว่าโมเดลผู้สอน แม้ว่าผู้สอน SFT จะ "โง่ลง" อย่างรุนแรงจากการปรับแต่งมากเกินไป (คะแนนความสามารถในการเขียนโค้ดใน LiveCodeBench ลดลงจาก 0.320 เป็น 0.286) โมเดลนักเรียนที่ถูกฝึกโดยมันยังคงได้คะแนนสูงถึง 0.297 แทบไม่ได้รับผลกระทบจากข้อบกพร่องของผู้สอน ซึ่งพิสูจน์ว่าการฝึกแบบโคจรเดียวกันสามารถกรองนิสัยที่ไม่ดีของผู้สอนได้อย่างมีประสิทธิภาพ

ปัจจุบัน DeepSeek-V4 และ GLM-5 ได้นำการกลั่นแบบโคจรเดียวกันมาใช้เพื่อรวมความสามารถของโมเดลผู้เชี่ยวชาญ ในการฝึกอบรมผู้เชี่ยวชาญ สาขาที่มีคำตอบถูกผิดชัดเจน เช่น โค้ดและคณิตศาสตร์ เหมาะกับ RL มากกว่า ในขณะที่งานเชิงอัตนัยที่เน้นความคิดสร้างสรรค์และความรู้ เหมาะกับการกลั่นแบบโคจรเดียวกันมากกว่า อัลกอริทึมการปรับแต่งขั้นสูงสุดในอนาคต จะต้องค้นหากลไกใหม่ภายใต้กรอบการฝึกแบบโคจรเดียวกัน ที่ผสมผสานประสิทธิภาพสูงของการกลั่น (ความหนาแน่นของข้อมูลสูง) และความเป็นกลางของ RL (การอัปเดตแบบไม่มีอคติ)

举报 แก้ไข/รายงาน
ที่เกี่ยวข้องแนะนำ
สีหลักของการเปลี่ยนแปลงทางเทคโนโลยีคือการใช้งานแรงงานราคาถูกในสัดส่วนขนาดใหญ่อย่างไม่มีที่สิ้นสุด
คนเราจะต้องใส่ตัวเองเข้าไปในเครื่องจักรขนาดไหนถึงจะไม่ทำให้ความฉลาดของตัวเองเสียเปล่า
บริษัทเครื่องยนต์ข้อมูล Physical AI นี้ ประกาศระดมทุนรอบ Seed มูลค่า 12 ล้านดอลลาร์สหรัฐ โดยมี Hack VC เป็นผู้นำการลงทุน
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น