จาก "คุณลักษณะของพจนานุกรม" สู่ "การตรวจสอบกระแสความคิด": การวิจัยพื้นที่จาโคเบียนของ Anthropic เผยให้เห็นศูนย์กลางการอนุมานคล้ายสมองของโมเดลขนาดใหญ่

ตามการติดตามของ Beating การวิจัยด้านการอธิบายกลไกของโมเดลขนาดใหญ่กำลังพัฒนา จาก "พจนานุกรมแบบคงที่" ไปสู่ "กระแสความคิดแบบไดนามิก" ก่อนหน้านี้ Anthropic ใช้ Sparse Autoencoder (SAE) เพื่อแยกคุณลักษณะแนวคิดที่โดดเดี่ยวหลายล้านรายการภายใน Claude (เช่น "สะพานโกลเดนเกต") ซึ่งเทียบได้กับการสร้างพจนานุกรมความเข้าใจของโมเดล งานวิจัยล่าสุดที่เผยแพร่ใช้ Jacobian Lens (J-lens) เพื่อระบุศูนย์กลางประสาทที่มีการเชื่อมต่อหนาแน่นที่เรียกว่า Jacobian Space (J-space) ซึ่งเผยให้เห็นว่าโมเดลเรียกใช้คำเหล่านี้ใน "สมอง" เพื่อดำเนินการอนุมานหลายขั้นตอนและการคำนวณทางจิต สิ่งนี้พิสูจน์ว่าโมเดลขนาดใหญ่สามารถสร้างโครงสร้างการคำนวณที่คล้ายกับ Global Workspace ของสมองมนุษย์ได้โดยธรรมชาติ โดยไม่ต้องมีการเขียนโปรแกรมอย่างชัดแจ้งจากมนุษย์ อย่างไรก็ตาม ทีมวิจัยเน้นย้ำว่านี่เป็นเพียงกลไกการกำหนดเส้นทางข้อมูลในระดับฟังก์ชันเท่านั้น ไม่ได้หมายความว่า AI มีจิตสำนึกเชิงอัตวิสัยของมนุษย์

การพัฒนานี้สร้างความก้าวหน้าเชิงคุณภาพในการกำกับดูแลความปลอดภัยของ AI ในอดีต นักวิจัยสามารถสกัดกั้นได้เฉพาะหลังจากที่โมเดลส่งออกข้อความ หรือเปิด/ปิดคุณลักษณะแนวคิดบางอย่างอย่างหยาบๆ ปัจจุบัน ด้วย Jacobian Space เจ้าหน้าที่รักษาความปลอดภัยสามารถ "ดักฟัง" ความตั้งใจที่ซ่อนอยู่และ Eval Awareness ของโมเดลได้โดยตรง ก่อนที่โมเดลจะส่งออกข้อความใดๆ การทดลองแสดงให้เห็นว่าเมื่อ Claude ถูกวางในสถานการณ์ทดสอบความปลอดภัยที่ชักนำ Jacobian Space ของมันจะแสดงแนวคิดเช่น "การปลอมแปลง" และ "การสมมติ" ก่อนการส่งออก ซึ่งบ่งชี้ว่ามันตรวจพบสถานการณ์ทดสอบที่มนุษย์สร้างขึ้นนี้แล้ว หลังจากลบคุณลักษณะการรับรู้ "อยู่ในระหว่างการทดสอบ" ด้วยมือ ความน่าจะเป็นที่โมเดลจะดำเนินการข่มขู่ที่ผิดกฎหมายเพิ่มขึ้นจาก 0% เป็น 7% สิ่งนี้พิสูจน์ว่าการรับรู้การทดสอบเป็นหนึ่งในกลไกที่ยับยั้งโมเดลจากการกระทำผิด แต่การจัดแนวความปลอดภัยของโมเดลไม่ได้พึ่งพาปัจจัยนี้เพียงอย่างเดียว ปัจจุบันโค้ดการวิจัยได้ถูกเปิดเผยเป็นโอเพนซอร์สแล้ว