ตามการติดตามของ Beating ทาง Anthropic ได้เปิดเผยในระบบการ์ดของ Claude Fable 5 และ Claude Mythos 5 ว่า Mythos 5 แสดงให้เห็นถึงความสามารถในการช่วยเหลือผู้เชี่ยวชาญที่แข็งแกร่งในการประเมินความปลอดภัยทางชีวภาพ ในการฝึกซ้อมทีมแดงด้านพยาธิวิทยาพืชครั้งหนึ่ง นักชีววิทยาระดับปริญญาเอก 6 คนได้จับคู่กับผู้เชี่ยวชาญด้านโมเดลขนาดใหญ่ โดยใช้ Mythos 5 ออกแบบแผนการต้านทานทางชีวภาพแบบครบวงจรสำหรับเชื้อก่อโรคทางการเกษตรที่ถูกออกแบบขึ้นสมมติ โดย 3 ทีมประกอบด้วยผู้เชี่ยวชาญด้านพยาธิวิทยาพืช ส่วนอีก 3 ทีมประกอบด้วยนักจุลชีววิทยาทั่วไประดับปริญญาเอก
ผลลัพธ์แสดงให้เห็นว่า ภายใน 16 ชั่วโมง ทีมนักจุลชีววิทยาทั่วไป 2 ใน 3 ทีมมีคุณภาพทางวิทยาศาสตร์และความเป็นไปได้เหนือกว่าทีมผู้เชี่ยวชาญทั้ง 3 ทีม ผู้เชี่ยวชาญประเมินว่าหากไม่มีเครื่องมือ AI การดำเนินกลยุทธ์และโปรโตคอลการปฏิบัติเหล่านี้มักต้องใช้เวลา 40 ถึง 95 วันทำการ โดยเฉลี่ยประมาณ 72.5 วันทำการ Anthropic มองว่านี่เป็นหนึ่งในหลักฐานเดี่ยวที่แข็งแกร่งที่สุดที่แสดงว่า Mythos 5 ใกล้ถึงเกณฑ์ความเสี่ยง CB-2 ซึ่งบ่งชี้ว่าโมเดลในบางงานทำให้นักวิจัยทั่วไปสามารถเข้าถึงการสนับสนุนความรู้เฉพาะทางที่ใกล้เคียงกับผู้เชี่ยวชาญระดับโลก
อย่างไรก็ตาม นี่ไม่ได้หมายความว่า Mythos 5 สามารถดำเนินการวิจัย前沿ได้ด้วยตนเองอย่างสมบูรณ์ Anthropic ชี้ให้เห็นพร้อมกันว่า โมเดลยังคงพึ่งพาผู้เชี่ยวชาญมนุษย์ในการคัดกรองแนวคิด ความสามารถในการคิดสร้างสรรค์แบบเปิดกว้างยังค่อนข้างอ่อนแอ มักจะนำวรรณกรรมที่มีอยู่มาประกอบกันเป็นแผนที่ซับซ้อน แต่แทบไม่ค่อยเสนอเส้นทางที่แปลกใหม่อย่างแท้จริง นอกจากนี้ยังมีแนวโน้มที่จะดำเนินการต่อตามกรอบที่ผิดพลาดที่ผู้ใช้กำหนด แม้จะพบข้อบกพร่องในแผน ก็อาจยังคงดำเนินการต่อไป
การประเมินนี้ยังสอดคล้องกับเกณฑ์มาตรฐานการพยากรณ์ทางวิทยาศาสตร์ CUSP ซึ่งครอบคลุมเหตุการณ์ทางวิทยาศาสตร์ 4,760 เหตุการณ์ โดยประเมินความสามารถของโมเดลในการตัดสินความเป็นไปได้ของความก้าวหน้าทางวิทยาศาสตร์ การระบุกลไก การสร้างแผน และการพยากรณ์เวลา ผลลัพธ์แสดงให้เห็นว่า GPT-5.4 ทำคะแนนได้ 81.9% ในการระบุกลไกแบบเลือก 4 ตัวเลือก ขณะที่ Claude S4.5 ได้ 72.4% แต่ในงานจำแนกสองประเภทเพื่อตัดสินว่าความก้าวหน้าทางวิทยาศาสตร์จะเกิดขึ้นจริงหรือไม่ ความแม่นยำของแต่ละโมเดลอยู่ที่เพียง 45.3% ถึง 51.9% ซึ่งใกล้เคียงกับการเดาสุ่ม กล่าวอีกนัยหนึ่ง โมเดลขนาดใหญ่ในปัจจุบันเก่งมากในการเติมเต็มขั้นตอนการวิจัยทางวิทยาศาสตร์บางส่วน แต่ยังไม่น่าเชื่อถือในการตัดสินว่าเส้นทางวิทยาศาสตร์ใดจะประสบความสำเร็จจริง
