ตามการติดตามของ Beating หน่วยงานประเมินผล Artificial Analysis ได้เปิดตัวเกณฑ์มาตรฐานการประเมินผลงานทางปัญญาระยะยาว AA-Briefcase ซึ่งเป็นเกณฑ์แรกที่ออกแบบมาโดยเฉพาะสำหรับเอเจนต์โมเดลขนาดใหญ่ การประเมินประกอบด้วยสี่สถานการณ์ ได้แก่ วิทยาการข้อมูล การจัดการผลิตภัณฑ์ การดำเนินงานธุรกิจธนาคาร และกลยุทธ์อุตสาหกรรมหนัก ซึ่งพัฒนาโดยผู้เชี่ยวชาญจาก Google, McKinsey และ Boston Consulting Group โดยมีทั้งหมด 91 ภารกิจ เพื่อจำลองกระแสโครงการทางธุรกิจที่ซับซ้อนในโลกจริง
เกณฑ์มาตรฐานนี้ใช้การประเมินแบบสองฝ่ายและการวัดผลผ่านสามมิติ ได้แก่ ข้อสอบปรนัย คุณภาพการวิเคราะห์ และการจัดวางรูปแบบผลงาน ผลลัพธ์แสดงให้เห็นว่า Claude Fable 5 ของ Anthropic ได้คะแนนรวมสูงสุด AA-Briefcase Elo ขณะที่ Claude Opus 4.8 (max) และ GLM-5.2 (max) อยู่ในอันดับสองและสามตามลำดับ แม้แต่ Claude Fable 5 ที่แข็งแกร่ง ภายใต้มาตรฐานที่เข้มงวดของภารกิจเดี่ยวที่ต้องถูกต้องทั้งหมด อัตราความสมบูรณ์แบบก็มีเพียง 3% และใน 91 ภารกิจ มี 31 ภารกิจที่ไม่มีโมเดลใดสามารถทำคะแนนเกิน 50% ได้
ในด้านโมเดลโอเพนซอร์ส GLM-5.2 (max) ของ Zhipu AI มีผลงานโดดเด่น โดยคะแนนรวมต่ำกว่า Claude Opus 4.8 (max) เพียง 90 คะแนน แต่ต้นทุนการทำงานน้อยกว่า 25% ของ Claude Opus 4.8 (max) ต้นทุนการทำงานแตกต่างกันอย่างมากระหว่างโมเดลต่างๆ โดย DeepSeek V4 Flash มีต้นทุนต่อภารกิจเพียง 0.04 ดอลลาร์สหรัฐ ในขณะที่ Claude Fable 5 ที่แพงที่สุดมีต้นทุนเกิน 31 ดอลลาร์สหรัฐ การวิเคราะห์แสดงให้เห็นว่าความสามารถในการตรวจสอบด้วยภาพมีความสำคัญอย่างยิ่งต่อการปรับปรุงคุณภาพการจัดวางรูปแบบผลงาน โดย Claude Fable 5 และ Claude Opus 4.8 (max) ซึ่งมีคะแนนการจัดวางรูปแบบสูงสุด เรียกใช้เครื่องมือดูภาพเฉลี่ย 21 ครั้งและ 12 ครั้งต่อภารกิจตามลำดับ
