ตามการติดตามของ Beating Databricks ได้เผยแพร่การประเมิน AI Agent สำหรับเขียนโปรแกรมภายใน โดยใช้ Pull Request จริงจากฐานโค้ดหลายล้านบรรทัดของตนเองเป็นชุดทดสอบ
การประเมินนี้ไม่ได้ใช้ SWE-Bench โดยตรง Databricks เห็นว่าชุดโจทย์สาธารณะอาจถูกป้อนเข้าสู่ข้อมูลฝึกสอน และไม่ใกล้เคียงกับงานวิศวกรรมจริงมากพอ
งานทดสอบมาจาก Pull Request ที่ถูกผสานล่าสุด ครอบคลุมภาษา Python, Go, TypeScript, Scala และอื่นๆ ทีมงานได้กรอง Pull Request ที่มาจากบอท โค้ดที่สร้างโดย AI และโค้ดที่สร้างอัตโนมัติออกไป โดยคงไว้เฉพาะงานที่สามารถตรวจสอบผลลัพธ์ได้
ผลลัพธ์แสดงให้เห็นว่า Agent สำหรับเขียนโปรแกรมสามารถแบ่งออกเป็นสามระดับคร่าวๆ ระดับสูงสุดไม่เพียงรวมถึงโมเดลของ OpenAI และ Anthropic แต่ยังรวมถึงโมเดลโอเพนซอร์สด้วย GLM 5.2 อยู่ในระดับแนวหน้า โดยมีคุณภาพใกล้เคียงกับ Opus 4.8 และมีต้นทุนต่องานอยู่ที่ 1.28 ดอลลาร์สหรัฐ ซึ่งต่ำกว่า Opus 4.8 ที่ 1.94 ดอลลาร์สหรัฐ
การประเมินยังพบว่าราคาต่อ Token ไม่สามารถสะท้อนต้นทุนจริงได้โดยตรง Sonnet 5 มีราคาต่อ Token ถูกกว่า แต่ในชุดงานนี้ใช้เวลาทำงานนานกว่าและอ่านข้อมูลมากกว่า ส่งผลให้ต้นทุนต่องานสูงขึ้นแทน
โครงสร้างเครื่องมือก็มีความสำคัญเช่นกัน โมเดลเดียวกันเมื่อเปลี่ยนเฟรมเวิร์ก Agent ที่แตกต่างกัน ต้นทุนต่องานอาจแตกต่างกันมากกว่า 2 เท่า แต่คุณภาพของงานที่เสร็จสมบูรณ์เปลี่ยนแปลงไม่มากนัก
