动察 Beating ข่าวด่วน AI บล็อกเกอร์รีวิวโมเดลใหญ่ "เจ้าแมว" ทดสอบ MiniMax M3.1 Flash แล้วพบว่าโมเดลได้คะแนนใกล้เต็มในโจทย์เก่า แต่พอเปลี่ยนเป็นโจทย์ใหม่กลับได้คะแนนใกล้ศูนย์ โมเดลใช้โทเคนหลายหมื่นต่อข้อโดยเฉลี่ย แต่โจทย์ยากบางข้อใช้เพียงประมาณ 1 หมื่นโทเคนก็ตอบถูก พฤติกรรมผิดปกตินี้ทำให้สงสัยว่าโมเดลอาจจดจำคำตอบของโจทย์บางข้อไว้ล่วงหน้า
เจ้าแมวดูแลอันดับโมเดลใหญ่ "จื้อจือ" อย่างต่อเนื่อง โดยใช้คลังโจทย์ส่วนตัวที่ไม่เปิดเผย เน้นทดสอบความสามารถด้านตรรกะ คณิตศาสตร์ และการเขียนโปรแกรม คลังโจทย์มักมีไม่เกิน 28 ข้อ 270 กรณีทดสอบ อัปเดตโจทย์บางส่วนทุกเดือน ทดสอบแต่ละข้อ 3 ครั้ง พร้อมสถิติคะแนนสูงสุดและคะแนนมัธยฐาน ครั้งนี้ M3.1 Flash ได้คะแนนมัธยฐาน 51.76 เพิ่มขึ้นกว่าสองเท่าจาก M3 รุ่นก่อนที่ 23.86 ใกล้เคียงกับ DeepSeek V4.1 Flash 1017 รุ่นล่าสุดที่ 56.03
นักพัฒนาบางคนสงสัยว่าโมเดลอาจถูกฝึกมาเฉพาะสำหรับโจทย์เก่า โดยไม่ได้เข้าใจวิธีการแก้โจทย์จริง การปรับแต่งโมเดลเพื่อเพิ่มคะแนนการประเมินโดยเฉพาะเช่นนี้เรียกว่า Benchmaxxing
