ตามการติดตามของ Beating บริษัท Li Auto ได้เผยแพร่รายงานทางเทคนิคของ Mach-Mind-4-Flash โมเดลดังกล่าวเคยเปิดตัวมาก่อนแล้ว และครั้งนี้เน้นการเพิ่มรายละเอียดเกี่ยวกับการฝึกอบรมภายหลัง
ทีมงานเริ่มต้นด้วยการฝึกอบรมโมเดลผู้เชี่ยวชาญมากกว่าสิบโมเดลแยกกันในด้านต่างๆ เช่น คณิตศาสตร์ การเขียนโค้ด การเขียน ความปลอดภัย การค้นหา และการเรียกใช้เครื่องมือ จากนั้นใช้ MOPD (Multi-Teacher Online Policy Distillation) เพื่อรวมเข้าด้วยกันเป็นโมเดลทั่วไปหนึ่งเดียว โดยแต่ละประเภทของโจทย์จะได้รับคำแนะนำจากผู้เชี่ยวชาญที่เกี่ยวข้อง เพื่อลดการรบกวนซึ่งกันและกันระหว่างความสามารถหลายอย่างในการฝึกอบรมแบบผสม
รายงานยังอธิบายวิธีการฝึกอบรม Agent อย่างชัดเจน โมเดลไม่เพียงเรียนรู้ชื่อเครื่องมือและรูปแบบการเรียกใช้เท่านั้น แต่ยังสามารถอ่านไฟล์ แก้ไขโค้ด รันการทดสอบ และเรียกใช้เครื่องมือใน Sandbox ที่แยกออกจากกันจริงๆ เมื่อการดำเนินการล้มเหลว โมเดลจะเห็นข้อผิดพลาดและการเปลี่ยนแปลงของสภาพแวดล้อม จากนั้นจึงปรับปรุงต่อไป การฝึกอบรมเครื่องมือครอบคลุมมากกว่า 190 โดเมนที่มีสถานะและอินเทอร์เฟซเครื่องมือมากกว่า 3,500 รายการ เส้นทางการฝึกอบรมสำหรับงานเขียนโค้ดหนึ่งงานสามารถยาวได้ถึง 300 รอบ
การผสานนี้ไม่ได้ไร้การสูญเสียโดยสิ้นเชิง ความสามารถในการปฏิบัติตามคำสั่งยังคงอยู่เป็นส่วนใหญ่ ClawBench และ ClawEval ยังเหนือกว่าโมเดลผู้เชี่ยวชาญ Agent แต่เพียงอย่างเดียว อย่างไรก็ตาม SWE-bench Verified ลดลงจาก 73.80 ของโมเดลผู้เชี่ยวชาญเหลือ 71.10 ทีมงานยอมรับว่าความสามารถเฉพาะทางสูง เช่น การเขียนโค้ดระยะยาว ยังคงสูญเสียเมื่อรวมเข้าด้วยกัน
รายงานยังเปิดเผยวิธีการลดการ "คิดมาก" ของโมเดล HMPO กำหนดงบประมาณการอนุมานแบบไดนามิกตามความยาวมัธยฐานของคำตอบที่ถูกต้อง โดยให้รางวัลเฉพาะคำตอบที่ถูกต้องและสั้นกว่าเท่านั้น วิธีนี้ช่วยลดความยาวของการสร้างข้อความลง 19% ถึง 46% โดยความแม่นยำลดลงสูงสุด 0.7 จุดเปอร์เซ็นต์ ปัจจุบันวิธีนี้ใช้เฉพาะกับการอนุมานแบบรอบเดียวเท่านั้น ยังไม่ครอบคลุมงาน Agent แบบหลายรอบ
