ตามการติดตามของ Beating OpenAI ได้เปิดตัวเกณฑ์มาตรฐานการประเมินผลทางชีววิทยาเชิงคำนวณชื่อ GeneBench-Pro เพื่อทดสอบความสามารถในการตัดสินใจแบบหลายขั้นตอนของ AI เอเจนต์เมื่อเผชิญกับสถานการณ์การวิจัยทางวิทยาศาสตร์ที่ซับซ้อน เช่น จีโนมิกส์และการแพทย์เชิงแปล เกณฑ์มาตรฐานใหม่นี้ประกอบด้วยคำถามทั้งหมด 129 ข้อ (ซึ่ง 82 ข้อผ่านการตรวจสอบโดยผู้เชี่ยวชาญภายนอก) โดยใช้การจำลองด้วยคอมพิวเตอร์เพื่อสร้างข้อมูลที่มีความสัมพันธ์เชิงสาเหตุที่ชัดเจน เพื่อป้องกันไม่ให้โมเดลโกงโดยใช้ทางลัดหรือปรับให้เข้ากับความชอบของผู้ตั้งคำถาม
ผลการทดสอบแสดงให้เห็นว่าโมเดลชั้นนำยังคงประสบปัญหาอย่างมากในการจัดการกับการให้เหตุผลทางวิทยาศาสตร์ที่มีความไม่แน่นอนเชิงปริมาณ GPT-5.6 Sol ที่แข็งแกร่งที่สุดทำได้เพียงอัตราความถูกต้อง 31.5% ในโหมด Pro ในขณะที่ Claude Opus 4.8 มีอัตราความถูกต้องเพียง 16.0% ทีมวิจัยชี้ให้เห็นว่าโมเดลโดยทั่วไปมีปรากฏการณ์ "พบความผิดปกติแต่ไม่สามารถแก้ไขการวิเคราะห์ที่ตามมา" ซึ่งมักเลือกวิธีการทางสถิติผิดหรือยืนหยัดในทิศทางการวิจัยที่ผิดพลาด
