lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

ทะลุเกณฑ์การเทรนโมเดลภาษาขนาดใหญ่ที่มีพารามิเตอร์นับล้านล้านด้วยการเรียนรู้แบบเสริมกำลัง: prime-rl โอเพนซอร์สทำให้เซิร์ฟเวอร์ 28 เครื่องสามารถฝึกบริบท 131k ได้

ตามการติดตามของ Beating Prime Intellect ได้เปิดตัวเฟรมเวิร์กการฝึกอบรมการเรียนรู้แบบเสริมกำลังแบบกระจาย prime-rl เวอร์ชัน 0.6.0 ซึ่งเอาชนะอุปสรรคในการฝึกอบรมการเรียนรู้แบบเสริมกำลัง (RL) สำหรับโมเดลผู้เชี่ยวชาญแบบผสม (MoE) ที่มีพารามิเตอร์ล้านล้านตัวภายใต้ภารกิจเอเจนต์ที่มีบริบทยาวเป็นพิเศษ

ไม่ใช่เรื่องแปลกที่โมเดลขนาดใหญ่จะสามารถอ่านข้อความยาวพิเศษ 256k ได้ แต่ในการฝึกอบรม RL เพื่อให้โมเดลสามารถฝึกฝนการให้เหตุผลผ่านการลองผิดลองถูกด้วยตนเอง การ์ดจอต้องเก็บค่าแอคติเวชันกลางขนาดใหญ่ที่ความยาว 131k ตลอดทั้งกระบวนการ ทำให้ค่าใช้จ่ายหน่วยความจำเพิ่มขึ้นเป็นร้อยเท่าหรือพันเท่า ก่อนหน้านี้ต้องใช้คลัสเตอร์ขนาดใหญ่ที่มีการ์ดจอหลายพันตัว แต่ prime-rl 0.6.0 ใช้เซิร์ฟเวอร์ H200 เพียง 28 เครื่องเพื่อรันการฝึกอบรม RL บริบท 131k ของ GLM-5 โดยใช้เวลาเพียงไม่กี่นาทีต่อขั้นตอน

เพื่อแก้ปัญหาที่ในภารกิจลองผิดลองถูก เช่น การสร้างโค้ดที่ซับซ้อน งานที่ใช้เวลานานเป็นพิเศษจำนวนน้อยมากจะขัดขวางจังหวะโดยรวม ทำให้ทรัพยากรการ์ดจอว่างงานเป็นเวลานาน เฟรมเวิร์กนี้จึงทำลายกลไกการรอคอยแบบซิงโครนัสแบบดั้งเดิม โดยใช้สถาปัตยกรรม RL แบบอะซิงโครนัสที่แยกส่วนกันอย่างสมบูรณ์ ตัวฝึกอบรมในเบื้องหลังเมื่อคำนวณน้ำหนักใหม่แล้ว ไม่ต้องรอให้ภารกิจลองผิดลองถูกที่กำลังดำเนินอยู่สิ้นสุดลง แต่จะอัปเดตแบบเรียลไทม์ในขณะที่โมเดลกำลังสร้างข้อความ ภารกิจที่แจกจ่ายไปแล้วจะใช้กลยุทธ์เก่าต่อไปเพื่อรักษาความเร็ว ในขณะที่ภารกิจใหม่จะฉีด KV-cache salt เพื่อบังคับสร้างแคชใหม่ สำหรับปัญหาที่จังหวะการฝึกอบรมและการอนุมานไม่สอดคล้องกันในการอัปเดตแบบอะซิงโครนัส ซึ่งอาจทำให้ตรรกะของโมเดลสับสน เฟรมเวิร์กนี้จึงนำเทคโนโลยี Route Replay R3 มาใช้ จัดการข้อมูลการกระจายผู้เชี่ยวชาญโดยตรงในระดับพื้นฐาน หลีกเลี่ยงความล่าช้าของระบบที่เกิดจากการแปลงข้อมูล ลดความไม่สอดคล้องกันระหว่างทั้งสองฝ่ายให้เหลือเพียงหนึ่งในสิบ ทำให้การฝึกอบรมแบบอะซิงโครนัสมีเสถียรภาพมากขึ้น

ในการบีบอัดทรัพยากรระดับล่าง เฟรมเวิร์กนี้แก้ปัญหาที่หน่วยความจำการ์ดจอถูกข้อความยาวระเบิดได้อย่างละเอียด ฝั่งอนุมานใช้สถาปัตยกรรมที่แยกการอ่านและการเขียนออกจากกัน ป้องกันไม่ให้โมเดลขนาดใหญ่ติดขัดในการสร้างข้อความต่อเนื่องเนื่องจากการอ่านคำแนะนำก่อนหน้าจำนวนมาก ในขณะเดียวกันก็รวมการ์ดจอหลายตัวเพื่อแบ่งปันความรู้ของผู้เชี่ยวชาญ และใช้เทคโนโลยี Mooncake เพื่อรวมหน่วยความจำและฮาร์ดดิสก์ที่ไม่ได้ใช้งานของเซิร์ฟเวอร์หลายเครื่องเป็นพูลแคชที่ใช้ร่วมกัน ในการคำนวณแบบขนานของข้อความยาวพิเศษ เฟรมเวิร์กนี้ปรับแต่งแผนการขนานเฉพาะสำหรับกลไกความสนใจแบบกระจาย DSA ที่เป็นเอกลักษณ์ของ GLM-5 เพื่อให้แน่ใจว่าโมเดลสามารถมองเห็นภาพรวมได้ในขณะที่ลดค่าใช้จ่ายในการสื่อสารข้อมูลระหว่างการ์ดจอแต่ละชั้นให้เหลือเพียงครั้งเดียว ฝั่งฝึกอบรมใช้ DeepGEMM เพื่อฝึกอบรม FP8 แบบบล็อกสเกลที่เสนอโดย DeepSeek V3 ทำให้ฝั่งฝึกอบรมและอนุมานใช้ความแม่นยำและเคอร์เนลการคำนวณเดียวกัน ซึ่งกำจัดการล่มสลายของการฝึกอบรมที่เกิดจากความคลาดเคลื่อนของความแม่นยำได้อย่างสมบูรณ์

แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น