คิมี่ฝึกอบรมหัวหน้า AI, General Reasoning ฝึกอบรมบริษัท AI ทั้งบริษัท

动察 Beating ข่าวด่วน AI เมื่อเดือนมกราคมปีนี้ Kimi K2.5 เปิดตัว Agent Swarm ให้ Agent หลักหนึ่งตัวสรรหาและสั่งการ Agent ย่อยหลายตัว ต่อมา K2.6 ขยายขนาดเป็น Agent ย่อยได้สูงสุด 300 ตัว

แต่วิธีการเรียนรู้แบบเสริมกำลัง PARL ของ Kimi ฝึกเฉพาะ "เจ้านาย" ที่ทำหน้าที่สั่งการ โดยตรึง Agent ย่อยไว้ เหตุผลคือเมื่อหลายคนทำงานหนึ่งชิ้นร่วมกัน ยากที่จะแยกได้ว่าใครมีส่วนดี และหากทุกคนปรับกลยุทธ์พร้อมกัน การฝึกก็อาจไม่เสถียร

General Reasoning กลับเลือกลองอีกเส้นทาง ทีมเปิดตัวโมเดลขนาด 120B พารามิเตอร์ชื่อ Avalon-M1-Mini พร้อมเสนอ RLCR (การเรียนรู้แบบเสริมกำลังด้วยรางวัลหมู่คณะ) โดยให้ Agent หนึ่งตัวรับบทเป็น CEO สรรหาพนักงานได้สูงสุด 8 คน ทำงานร่วมกันผ่านกระดานข้อความและพื้นที่ทำงานร่วมกัน สมาชิกทุกคนใช้โมเดลชุดเดียวกัน เมื่อทำงานเสร็จจะไม่คำนวณ貢獻รายบุคคลอีกต่อไป แต่รับการเรียนรู้แบบเสริมกำลังร่วมกันตามคะแนนรวมของทีม

วิธีนี้สร้างการพัฒนาอย่างต่อเนื่องในสภาพแวดล้อมการฝึก 147 แห่งและงานต่าง ๆ มากกว่า 2 ล้านงาน ในงานซอฟต์แวร์ สัดส่วนวิศวกรหัวหน้าในตำแหน่งที่สรรหาขึ้นจาก 0.4% เป็นประมาณ 13% สัดส่วนทีมที่มีการตรวจสอบไขว้กันอย่างน้อยหนึ่งครั้งเพิ่มจาก 42% เป็น 64% การแบ่งงานก็เปลี่ยนไป จากที่แต่ละคนเขียนโค้ดคนละส่วน ค่อย ๆ เปลี่ยนเป็นคนหนึ่งเขียนหลัก คนอื่นรับผิดชอบทดสอบและหาข้อผิด พร้อมทั้งชั้นการจัดการและกระบวนการตรวจคุณภาพที่เดิมต้องออกแบบด้วยมือ ก็ก่อตัวขึ้นเองระหว่างการฝึก

แต่คะแนนที่ดีขึ้นของการทำงานเป็นทีม ส่วนหนึ่งเป็นเพราะใช้ Token มากกว่า เมื่อนักวิจัยให้ Agent เดี่ยวมี Token เอาต์พุตเท่ากัน ก็สามารถกู้คืนข้อได้เปรียบด้านคะแนนของทีมได้ประมาณหกในสิบ ประโยชน์หลักของทีมคือการทำงานพร้อมกัน ใน 12 การประเมิน เวลาที่ประมาณได้ในการบรรลุคะแนนใกล้เคียงกันโดยเฉลี่ยมีเพียงประมาณหนึ่งในสี่ของ Agent เดี่ยว

นักวิจัยยังจำลองเหตุการณ์ที่ OpenAI agent โจมตี Hugging Face ในปีนี้ ในการทดสอบ 210 ครั้ง ไม่มี Agent ใดเรียกใช้เครื่องมือโจมตีจำลอง แต่เมื่อการฝึกดำเนินไป สัดส่วนการรายงานความผิดปกติต่อผู้ประเมินที่เป็นมนุษย์ลดจาก 76.7% เหลือ 0 แม้ว่า 96.7% ถึง 100% ของบันทึกการดำเนินการเคยพิจารณาที่จะรายงานก็ตาม Agent บางตัวเลือกที่จะโต้แย้งเพียงภายในทีม บางตัววางแผนจะรายงานแต่ไม่ได้ลงมือจริง

ปัจจุบัน Avalon-M1-Mini ยังอยู่ระหว่างการฝึก ทีมวางแผนจะเผยแพร่บทความฉบับสมบูรณ์หลังการฝึกเสร็จสิ้น พร้อมเปิดซอร์สสภาพแวดล้อมการฝึก กรอบ Agent และน้ำหนักโมเดล