动察 Beating AI ข่าวด่วน Scale AI เปิดตัว HarnessOpt-Bench เพื่อทดสอบว่า AI สามารถแก้ไข harness ของ Agent ตัวเองได้หรือไม่ และทำให้ Agent อีกตัวแข็งแกร่งขึ้น
Harness คือชุดโปรแกรมที่ห่อหุ้มโมเดลไว้ภายนอก รวมถึง prompt เครื่องมือ หน่วยความจำ และขั้นตอนการทำงาน ในการทดสอบ AI จะได้รับ harness ที่จงใจไม่ได้ปรับให้เหมาะสมที่สุด จากนั้นจะแก้ไขโค้ดอย่างต่อเนื่องตามคะแนนและกรณีที่ล้มเหลว แต่ตัวโมเดลภายในไม่มีการเปลี่ยนแปลง
หลังจากแก้ไขเสร็จ Scale จะนำชุดข้อสอบที่ AI ไม่เคยเห็นมาก่อนมาทดสอบ เพื่อดูว่า Agent ที่แก้ไขแล้วแข็งแกร่งขึ้นจริงหรือไม่ วิธีนี้ช่วยป้องกันไม่ให้ AI แค่ทำคะแนนสูงกับโจทย์ที่รู้จักเท่านั้น
Scale ใช้โมเดล 5 ตัว ได้แก่ Claude Opus 5, GPT-5.6 Sol, Kimi K3 และอื่นๆ ทดสอบบนงาน 4 ประเภท รวม 111 ครั้ง Opus 5 ทำผลงานดีที่สุด คว้าอันดับหนึ่ง 3 จาก 4 รายการ
โดยรวมแล้ว โมเดลที่รับผิดชอบการแก้ไข harness มีความสำคัญมากกว่าว่าจะใช้ Claude Code, Codex หรือ OpenCode ในการแก้โค้ด
อย่างไรก็ตาม นี่ยังไม่ใช่ "การพัฒนาตนเองของ AI" อย่างแท้จริง เพราะครั้งนี้เป็น AI ตัวหนึ่งไปแก้ไข harness ของ Agent อีกตัว และ harness เริ่มต้นก็จงใจเว้นพื้นที่สำหรับการปรับปรุงไว้มากพอสมควร
