ตามการติดตามของ Beating ในการแก้ไขปัญหาที่โมเดลขนาดใหญ่มักจะมีความมั่นใจเกินจริงเมื่อแก้ไขข้อผิดพลาดด้วยตนเอง ทีมงาน Anthropic ได้ทำการทดสอบเปรียบเทียบในความท้าทายการฝึกอบรม机器学习 โดยในการทดลอง ไม่ให้ Fable 5 วิจารณ์ตนเอง แต่ใช้ฟังก์ชัน Outcomes ของ CMA เพื่อสร้างเอเจนต์การให้คะแนนในหน้าต่างบริบทอิสระ โดยใช้เอกสารข้อกำหนดที่มีตัวชี้วัด 9 รายการเป็นผู้ตัดสิน
ผลลัพธ์แสดงให้เห็นว่า การออกแบบวงจรที่มีผู้ตัดสินอิสระทำให้ Fable 5 ปรับปรุงสายการฝึกอบรมได้ดีกว่า Opus 4.7 ถึง 6 เท่า Fable 5 ไม่เพียงแต่มีแนวโน้มที่จะลองปรับเปลี่ยนสถาปัตยกรรมครั้งใหญ่ แต่ยังคงพยายามแก้ไขแม้จะเจอการถดถอยเชิงปริมาณ แสดงให้เห็นถึงความยืดหยุ่นทางวิศวกรรมที่แข็งแกร่ง ในทางตรงกันข้าม Opus 4.7 เนื่องจากข้อจำกัดในการตัดสินใจ ตกอยู่ในสถานะอนุรักษ์นิยมที่ปรับแต่งค่าคงที่สเกลาร์ตามแม่แบบเท่านั้น
ในการทดลองอีกครั้งเกี่ยวกับการสอบถามฐานข้อมูลแบบออนไลน์ข้ามเซสชัน ทีมงานใช้ระบบไฟล์ที่แชร์ได้ สรุปวิธีการห้าขั้นตอนเพื่อให้โมเดลขนาดใหญ่ใช้หน่วยความจำอย่างมีประสิทธิภาพ ได้แก่ บันทึกความล้มเหลว วินิจฉัยสาเหตุ ตรวจสอบข้อเท็จจริง สกัดกฎทั่วไป และค้นหากฎโดยตรง
การทดสอบเปรียบเทียบพบว่า ประสิทธิภาพของโมเดลต่างๆ มีความแตกต่างอย่างชัดเจน Sonnet 4.6 เพียงแค่บันทึกข้อผิดพลาดอย่างผิวเผินและเดาสุ่ม โดยแทบไม่เคยตรวจสอบประวัติ Opus 4.7 สามารถสร้างการอ้างอิงรูปแบบที่มีเครื่องหมายไม่แน่นอน แต่ความครอบคลุมในการตรวจสอบเพียงประมาณ 17% ในขณะที่ Fable 5 สามารถดำเนินการตามห่วงโซ่หน่วยความจำได้อย่างสมบูรณ์ โดยมีความครอบคลุมในการตรวจสอบสูงถึง 73% และสรุปการวินิจฉัยเป็นกฎทั่วไป
การทดลองแสดงให้เห็นว่า การออกแบบวงจรแก้ไขข้อผิดพลาดที่ตอบสนองต่อข้อเสนอแนะและการจัดการหน่วยความจำอัตโนมัติ มีคุณค่าในทางปฏิบัติมากกว่าการเขียนพรอมต์เพื่อชี้นำโมเดลขนาดใหญ่โดยตรง
