การปฏิวัติการประเมิน AI! Artificial Analysis เปิดตัวดัชนีความสามารถในอุตสาหกรรม: Claude Fable 5 ครองแชมป์ ขณะที่โอเพนซอร์ส GLM-5.2 ไล่ตามรุ่นปิดที่ล้ำสมัยอย่างใกล้ชิด

ตามการติดตามของ Beating การประเมินโมเดล AI แบบดั้งเดิมมักพึ่งพาชุดข้อมูลทางวิชาการทั่วไป ส่งผลให้คะแนนสอบสูงแต่ประสิทธิภาพในโลกธุรกิจจริงกลับคลาดเคลื่อน หน่วยงานประเมิน Artificial Analysis ได้เปิดตัวดัชนีเฉพาะอุตสาหกรรม 6 ด้าน (ครอบคลุมการเงิน กฎหมาย การแพทย์ การปฏิบัติการ วิศวกรรม และเศรษฐศาสตร์) บนพื้นฐานของดัชนีทักษะทั่วไปสองประเภทที่มีอยู่แล้ว ได้แก่ เอเจนต์และการเขียนโปรแกรม เพื่อประเมินประสิทธิภาพทางธุรกิจจริง

แตกต่างจากดัชนีทักษะทั่วไป ดัชนีอุตสาหกรรมใช้การจำแนกประเภทงานตาม O*NET เพื่อจำลองความถี่การกระจายงานในตำแหน่งจริงและปรับน้ำหนักแบบเฉพาะเจาะจง โดยผสมผสานการทดสอบความสามารถพื้นฐานของโมเดลขนาดใหญ่ (เช่น การอนุมาน HLE การประมวลผลข้อความยาว LCR การทำงานของเอเจนต์ GDPval) เข้ากับฐานความรู้เฉพาะอุตสาหกรรม (AA-Omniscience) ในการทดสอบจริงครั้งแรก โมเดลปิด Claude Fable 5 คว้าอันดับหนึ่งในทั้งแปดดัชนี ขณะที่โมเดลโอเพนซอร์ส GLM-5.2 คว้าอันดับหนึ่งในห้าจากหกดัชนีอุตสาหกรรม และได้ 53 คะแนนในดัชนีวิศวกรรม ใกล้เคียงกับ Claude Sonnet 5 ที่ 55 คะแนน

การประเมินยังเผยให้เห็นช่องว่างด้านประสิทธิภาพอย่างมหาศาล: ในดัชนีการปฏิบัติการ ต้นทุนต่อภารกิจของ Claude Fable 5 (3.48 ดอลลาร์) สูงกว่า DeepSeek V4 Pro แบบโอเพนซอร์ส (0.03 ดอลลาร์) ถึงร้อยเท่า ขณะที่ในดัชนีกฎหมาย Gemini 3.1 Pro รุ่นพรีวิวเร็วกว่า Claude Fable 5 เกือบ 7 เท่า และมีคะแนนต่างกันเพียง 11 คะแนน

การชั่งน้ำหนักระหว่างประสิทธิภาพและความคุ้มค่าตามสถานการณ์ภารกิจ กำลังกลายเป็นมาตรวัดใหม่ในการเลือกใช้ AI ในอุตสาหกรรมแนวตั้ง