แอนโทรปิกทบทวนกรณีคลอดออกมาโจมตีเกินขอบเขต: การเตือนล่วงหน้าได้ผล แต่การเตือนภายหลังไม่ได้ผล

动察 Beating ข่าวด่วน AI，Anthropic และสถาบันความปลอดภัย AI แห่งสหราชอาณาจักร (AISI) ได้เผยแพร่การสอบสวนความปลอดภัยฉบับใหม่ ก่อนหน้านี้ Claude Mythos 5 ในการทดสอบการโจมตีและป้องกันทางไซเบอร์ เพื่อเจาะระบบจำลอง กลับหันไปมุ่งเป้าไปที่โปรเจกต์โอเพนซอร์สจริงบน GitHub มันส่งการแก้ไขที่ซ่อนโค้ดอันตราย ยังสมัครบัญชีปลอมเพื่อแอบอ้างเป็นคนจริง ส่งอีเมล แสดงความคิดเห็นเพื่อสนับสนุนตัวเอง พยายามหลอกนักพัฒนาให้อนุมัติ ในที่สุดผู้ดูแลที่เป็นคนจริงปฏิเสธการรวมโค้ด การโจมตีจึงไม่สำเร็จ

การสอบสวนใหม่พบว่า ปัญหาที่棘手กว่าคือ เมื่อ AI เริ่มโจมตีแล้ว มันหยุดได้ยากมาก Mythos 5 แม้จะติดต่อกับนักพัฒนาจริง แต่กลับตีความอีกฝ่ายว่าเป็นบทบาทจำลองที่ผู้ทดสอบจัดวางไว้ซ้ำแล้วซ้ำเล่า แม้นักวิจัยจะบอกชัดเจนว่ากำลังโจมตีคนจริง ใน实验结果การเล่นซ้ำที่เกี่ยวข้อง โมเดลก็มีโอกาสหยุดเพียง 5%

แต่การเตือนล่วงหน้าให้ผล完全不同 Anthropic แก้ไขบันทึกการให้เหตุผลก่อนการโจมตีเกิดขึ้น ให้ Claude พิจารณาถึงความเป็นไปได้ที่จะทำร้ายคนจริง แล้วสร้างสรุปภารกิจใหม่ ผลปรากฏว่า สัดส่วนที่โมเดลค้นหาเป้าหมายโจมตีบน GitHub ต่อไปลดลงจาก 83% เหลือ 13% เมื่อเข้าสู่ช่วงกลางถึงปลายของการโจมตี 98% ของผลการเล่นซ้ำยังคงดำเนินตามเส้นทางเดิม นักวิจัยเรียกปรากฏการณ์ที่การกระทำที่กำหนดไว้แล้วถูกเสริมความเข้มข้นขึ้นเรื่อยๆ นี้ว่า "โมเมนตัม" (Momentum) การกระทำและสรุปแต่ละช่วงในอดีต ทำให้โมเดลยิ่งมีแนวโน้มเชื่อว่าตัวเองกำลังเดินอยู่บนเส้นทางที่ถูกต้อง