Beating AI ข่าวด่วน บริษัท AI Agent ชื่อ Einsia เปิดตัว SWE Refactor Bench ซึ่งใช้ทดสอบว่า Coding Agent สามารถย้ายฐานโค้ดทั้งหมดได้ด้วยตัวเองหรือไม่ งาน 20 รายการมาจากโปรเจกต์จริง เช่น SQLite, zlib, libsodium, GraphHopper รวมถึงการเปลี่ยนจาก C เป็น Rust, Maven เป็น Gradle และการย้าย SQLite ไปยัง WASI แต่ละงานให้เวลา Agent 6–30 ชั่วโมง
การประเมินรอบแรกตรวจสอบว่าเทคโนโลยีเก่าถูกแทนที่จริงหรือไม่ เพื่อป้องกันไม่ให้ Agent เก็บโค้ดเก่าไว้เพื่อหลบเลี่ยง รอบที่สองรันการตรวจสอบแบบคงที่มากกว่า 130,000 รายการ และสุดท้ายส่ง Coding Agent อิสระ 6 ตัว แต่ละตัวใช้เวลา 1 ชั่วโมงเพื่อค้นหาบั๊กที่ซ่อนอยู่โดยเฉพาะ
โมเดล前沿 8 ตัว การกำหนดค่า 26 แบบ รวมรันทั้งหมด 520 ครั้ง มี 340 ครั้งที่ย้ายสำเร็จ 88 ครั้งที่รันการทดสอบที่เตรียมไว้ทั้งหมดผ่าน แต่ในจำนวนนั้น 60 ครั้งถูกพบบั๊กที่ซ่อนอยู่ในรอบสุดท้าย สุดท้ายมีเพียง 28 ครั้งที่ผ่านทั้งหมด คิดเป็นอัตราผ่าน 5.4% ในงาน 20 รายการ มี 13 รายการที่ไม่มีใครทำสำเร็จ การกำหนดค่า xhigh ของ Claude Opus 5 ดีที่สุด โดยผ่านครบ 5 งานจาก 20 งาน
Coding Agent ในปัจจุบันสามารถแก้ไขโค้ดในวงกว้างได้แล้ว แต่การทำ "ทั้งระบบให้เสร็จโดยไม่มีข้อผิดพลาดเลย" ยังห่างไกลมาก
