ตามการติดตามของ Beating มหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ (UC Berkeley) ร่วมกับ RDI และผู้เชี่ยวชาญในอุตสาหกรรมหลายร้อยคน ได้เปิดตัวเกณฑ์มาตรฐานการประเมิน AI Agent ใหม่ชื่อ "Agents' Last Exam (ALE)" เพื่อประเมินความสามารถของ Agent ในการทำงานดิจิทัลระดับมืออาชีพจริง ALE ครอบคลุมสาขาย่อยดิจิทัล 55 สาขา รวบรวมภารกิจตรวจสอบมากกว่า 1,500 รายการที่มาจากโครงการจริงของผู้เชี่ยวชาญ รองรับการตรวจสอบผลลัพธ์ในสภาพแวดล้อม GUI และ CLI
การทดสอบรอบแรกครอบคลุมระบบ前沿 เช่น Fable 5, GPT-5.5 และ Composer 2.5 ข้อมูลเปรียบเทียบล่าสุดจากเว็บไซต์ทางการแสดงให้เห็นว่า ในภารกิจที่ยากที่สุดซึ่งต้องใช้การอนุมานต่อเนื่องและความรู้เชิงลึก อัตราความสำเร็จของ Agent ที่ทดสอบทั้งหมดเป็น 0% Fable 5 ที่เพิ่งเปิดตัวในสัปดาห์นี้ก็ทำคะแนนเป็นศูนย์เช่นกัน สาเหตุหลักมาจากการประเมินกระตุ้นนโยบายความปลอดภัย โดยประมาณ 35% ของภารกิจของ Fable 5 ถูกย้อนกลับไปใช้ Opus 4.8 เวอร์ชันเก่า ส่งผลให้ประสิทธิภาพโดยรวมด้อยกว่าอันดับอื่นๆ อย่างมาก ในด้านต้นทุน API ต่อภารกิจ Fable 5 อยู่ที่ประมาณ 15.70 ดอลลาร์สหรัฐ สูงกว่า GPT-5.5 ที่ 3.80 ดอลลาร์สหรัฐ และ Composer 2.5 ที่ 1.33 ดอลลาร์สหรัฐ โดยมีค่าใช้จ่ายสูงกว่า 4 ถึง 12 เท่าสำหรับภารกิจเดียวกัน การทดสอบยังพบว่า สาเหตุความล้มเหลวที่พบบ่อยที่สุดของ Agent คือการประกาศความสำเร็จก่อนเวลาอันควร โดยรีบสรุปงานโดยไม่ตรวจสอบผลลัพธ์จริง หรือแม้กระทั่งละเว้นไฟล์หรือคำนวณข้อมูลผิดพลาด
สำหรับ Agent ที่ใช้คำสั่ง ทีมประเมินได้เผยแพร่ชุดย่อย ALE-CLI พร้อมกัน เมื่อเทียบกับ Terminal-Bench และ SWE-bench-Pro ที่มีอยู่ ALE-CLI ครอบคลุม 40 สาขาย่อย โดยภารกิจเดี่ยวใช้เวลาเฉลี่ยของมนุษย์หลายชั่วโมงถึงหลายสัปดาห์ ในการประเมินคำสั่ง Agent ที่มีประสิทธิภาพดีที่สุดมีอัตราผ่านเพียง 25.2% ทีมประเมินชี้ว่า ยุคของ Agent ที่ใช้งานได้ดีมาถึงแล้ว แต่ยังห่างไกลจากการทำงานแทนมนุษย์ได้จริง
