มีรายงานว่า OpenAI ได้ปรับเปลี่ยนข้อมูลการประเมิน GPT-6 Astra อย่างเงียบๆ โดยบางตัวชี้วัดทำให้คู่แข่งดู "แย่ลง"

动察 Beating AI ข่าวด่วน หลัง OpenAI เปิดตัว GPT-6 Astra เมื่อวันที่ 3 กันยายน ข้อมูลเกณฑ์การประเมินโมเดลหลายรายการถูกปรับเปลี่ยนอย่างต่อเนื่อง โดยบางส่วนทำให้ Astra มีผลการทำงานดีขึ้น ขณะที่คะแนนของโมเดลคู่แข่งบางรายลดลง ก่อให้เกิดข้อกังขาจากภายนอกเกี่ยวกับการ "ปั่นอันดับ" และความโปร่งใสของการประเมิน AI

โดยอัตราการหลอน (Hallucination Rate) ของ Astra ถูกปรับลดจาก 4.2% เป็น 2% ขณะที่ GPT-5.6 Sol ลดจาก 12.2% เป็น 9.4% ต่อมาทั้งสองกลับมาอยู่ที่ 4.2% และ 12.2% ตามลำดับ ในการประเมินคณิตศาสตร์ คะแนนของ Fable 5.1 จาก Anthropic เคยลดลงจาก 87.8% เป็น 78% ปัจจุบันฟื้นกลับมาอยู่ที่ 83% ส่วน GPT-5.6 Sol ลดจาก 83% เป็น 80.5% ก่อนกลับมาอยู่ที่ 83%

นอกจากนี้ คะแนนของ Astra ในการประเมิน ARC-AGI-3 เพิ่มขึ้นจาก 98.6% ในฉบับร่างก่อนเปิดตัวเป็น 99.99% ในหน้าสุดท้าย ขณะที่คะแนนการประเมินการเขียนโปรแกรมก็ถูกปรับเพิ่มเล็กน้อยจาก 57.7% เป็น 57.9% OpenAI ระบุว่าผลการประเมินอาจได้รับผลกระทบจากปัจจัยต่างๆ เช่น เวอร์ชันโมเดล การกำหนดค่าเครื่องมือ ระดับการให้เหตุผล และการทดสอบรัน การปรับครั้งนี้มีวัตถุประสงค์เพื่อให้ข้อมูลสะท้อนประสิทธิภาพที่ดีที่สุดของโมเดลได้อย่างแม่นยำยิ่งขึ้น

อย่างไรก็ตาม นักวิจัยจากมหาวิทยาลัยสแตนฟอร์ดเห็นว่าการรันการประเมินซ้ำบ่อยครั้งอาจเกี่ยวข้องกับสิ่งที่เรียกว่า "Benchmaxxing" ซึ่งคือการปรับเงื่อนไขการทดสอบเพื่อเพิ่มคะแนนเกณฑ์มาตรฐานให้สูงสุด ผู้เชี่ยวชาญในอุตสาหกรรมชี้ว่า随着การแข่งขันของโมเดล AI ทวีความรุนแรงขึ้น ข้อมูลการประเมินจึงกลายเป็นเครื่องมือสำคัญในการวัดความสามารถของโมเดลและแย่งชิงตลาด การเพิ่มความโปร่งใสและความสามารถในการทำซ้ำของการทดสอบเกณฑ์มาตรฐานกำลังได้รับความสนใจมากขึ้นเรื่อยๆ