Alexandr Wang หัวหน้าเจ้าหน้าที่ฝ่าย AI ของ Meta ปฏิเสธทฤษฎี "การโกงคะแนน" ของ SemiAnalysis: การทดสอบแบบเก่านั้นอิ่มตัวมานานแล้ว

动察 Beating AI ข่าวด่วน สถาบันวิจัย AI ชื่อ SemiAnalysis ระบุชื่อ Gemini 3.8 Flash และ Muse Spark 1.3 ว่าเป็นหนึ่งในโมเดลที่ "benchmaxxed" ชัดเจนที่สุดในตอนนี้ หมายถึงถูกปรับแต่งเพื่อการวัดผลสาธารณะมากเกินไป โมเดลทั้งสองทำคะแนนได้ 89.4% และ 88.8% ตามลำดับใน Terminal-Bench 2.1 ซึ่งใกล้เคียงกับ GPT-6 Astra และ Claude Fable 5.1 แต่เมื่อเปลี่ยนไปใช้ Terminal-Bench 4.0 ที่เพิ่งเปิดตัวไม่นาน เหลือเพียง 19.1% และ 33.3% ในขณะที่ Astra และ Fable 5.1 ยังคงมี 57.7% และ 55.8% ตามลำดับ

SemiAnalysis สงสัยว่าปัญหาอยู่ที่การทดสอบสาธารณะถูกปรับแต่งเฉพาะเจาะจงได้ง่ายขึ้นเรื่อยๆ งานทั้งหมดใน Terminal-Bench 2.1 เปิดเผยต่อสาธารณะ แม้ผู้ผลิตโมเดลจะไม่นำข้อสอบมาฝึกโดยตรง ก็สามารถซื้อข้อมูลสภาพแวดล้อมการเรียนรู้แบบเสริมแรงที่มีความคล้ายคลึงสูงกับงานเหล่านี้ได้ โมเดลจึงเก่งขึ้นเรื่อยๆ กับการสอบชุดนี้ แต่ไม่จำเป็นต้องขยายผลไปสู่งานใหม่ อย่างไรก็ตาม SemiAnalysis ไม่ได้นำหลักฐานโดยตรงที่แสดงว่า Google หรือ Meta ซื้อข้อมูลประเภทนี้

ต่อมา Alexandr Wang หัวหน้าเจ้าหน้าที่ AI ของ Meta ได้โต้แย้ง โดยเรียกข้อโต้แย้งนี้ว่า "โง่" เขายกตัวอย่างว่า GPT-5.6 Sol ก็ลดลงจาก 88.8% ใน Terminal-Bench 2.1 เหลือ 37.3% ใน 4.0 เช่นกัน คำอธิบายของเขาคือ 2.1 อิ่มตัวแล้ว ไม่สามารถแยกแยะโมเดลชั้นนำได้อย่างมีประสิทธิภาพอีกต่อไป ในขณะที่ 4.0 ยังห่างไกลจากความอิ่มตัว จริงๆ แล้ว Terminal-Bench 4.0 ได้ลบงาน 8 รายการที่อิ่มตัว มีวิธีแก้ไขเปิดเผยต่อสาธารณะ หรือมีปัญหาอื่นๆ พร้อมทั้งแก้ไขข้อสอบ 19 ข้อ และปรับข้อจำกัดด้านทรัพยากร เช่น เวลา CPU และหน่วยความจำใหม่