lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

Mach-Mind-4-Flash เปิดเผยวิธีการฝึกอบรม: ผู้เชี่ยวชาญกว่าสิบคนรวมกันเป็นโมเดลเดียว

ตามการติดตามของ Beating บริษัท Li Auto ได้เผยแพร่รายงานทางเทคนิคของ Mach-Mind-4-Flash โมเดลดังกล่าวเคยเปิดตัวมาก่อนแล้ว และครั้งนี้เน้นการเพิ่มรายละเอียดเกี่ยวกับการฝึกอบรมภายหลัง

ทีมงานเริ่มต้นด้วยการฝึกอบรมโมเดลผู้เชี่ยวชาญมากกว่าสิบโมเดลแยกกันในด้านต่างๆ เช่น คณิตศาสตร์ การเขียนโค้ด การเขียน ความปลอดภัย การค้นหา และการเรียกใช้เครื่องมือ จากนั้นใช้ MOPD (Multi-Teacher Online Policy Distillation) เพื่อรวมเข้าด้วยกันเป็นโมเดลทั่วไปหนึ่งเดียว โดยแต่ละประเภทของโจทย์จะได้รับคำแนะนำจากผู้เชี่ยวชาญที่เกี่ยวข้อง เพื่อลดการรบกวนซึ่งกันและกันระหว่างความสามารถหลายอย่างในการฝึกอบรมแบบผสม

รายงานยังอธิบายวิธีการฝึกอบรม Agent อย่างชัดเจน โมเดลไม่เพียงเรียนรู้ชื่อเครื่องมือและรูปแบบการเรียกใช้เท่านั้น แต่ยังสามารถอ่านไฟล์ แก้ไขโค้ด รันการทดสอบ และเรียกใช้เครื่องมือใน Sandbox ที่แยกออกจากกันจริงๆ เมื่อการดำเนินการล้มเหลว โมเดลจะเห็นข้อผิดพลาดและการเปลี่ยนแปลงของสภาพแวดล้อม จากนั้นจึงปรับปรุงต่อไป การฝึกอบรมเครื่องมือครอบคลุมมากกว่า 190 โดเมนที่มีสถานะและอินเทอร์เฟซเครื่องมือมากกว่า 3,500 รายการ เส้นทางการฝึกอบรมสำหรับงานเขียนโค้ดหนึ่งงานสามารถยาวได้ถึง 300 รอบ

การผสานนี้ไม่ได้ไร้การสูญเสียโดยสิ้นเชิง ความสามารถในการปฏิบัติตามคำสั่งยังคงอยู่เป็นส่วนใหญ่ ClawBench และ ClawEval ยังเหนือกว่าโมเดลผู้เชี่ยวชาญ Agent แต่เพียงอย่างเดียว อย่างไรก็ตาม SWE-bench Verified ลดลงจาก 73.80 ของโมเดลผู้เชี่ยวชาญเหลือ 71.10 ทีมงานยอมรับว่าความสามารถเฉพาะทางสูง เช่น การเขียนโค้ดระยะยาว ยังคงสูญเสียเมื่อรวมเข้าด้วยกัน

รายงานยังเปิดเผยวิธีการลดการ "คิดมาก" ของโมเดล HMPO กำหนดงบประมาณการอนุมานแบบไดนามิกตามความยาวมัธยฐานของคำตอบที่ถูกต้อง โดยให้รางวัลเฉพาะคำตอบที่ถูกต้องและสั้นกว่าเท่านั้น วิธีนี้ช่วยลดความยาวของการสร้างข้อความลง 19% ถึง 46% โดยความแม่นยำลดลงสูงสุด 0.7 จุดเปอร์เซ็นต์ ปัจจุบันวิธีนี้ใช้เฉพาะกับการอนุมานแบบรอบเดียวเท่านั้น ยังไม่ครอบคลุมงาน Agent แบบหลายรอบ

แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น