OpenAI เพิ่ม "ประตูนิรภัย" ให้กับการฝึก RL ขั้นสูง: ผู้บริหารสามารถวีโต้ได้ หากมีความผิดปกติร้ายแรงจะหยุดการรันโดยอัตโนมัติ

动察 Beating ข่าวด่วน AI OpenAI เริ่มนำ "การฝึกโมเดลต่อ" เข้าสู่การตรวจสอบด้านความปลอดภัย บริษัทได้เปิดเผยแผนเบื้องต้นสำหรับ safety case ที่มุ่งเน้นการฝึก reinforcement learning สำหรับ frontier หวังว่าในการฝึกที่มีความเสี่ยงสูงแต่ละรอบก่อนที่จะดำเนินการต่อ จะต้องแสดงหลักฐานว่ารับความเสี่ยงได้ก่อน แทนที่จะรอให้โมเดลฝึกเสร็จแล้วค่อยตัดสินว่าปล่อยได้หรือไม่

กลไกนี้มุ่งป้องกันปัญหาที่เกิดขึ้นในกระบวนการฝึกเอง เมื่อความสามารถของ Agent เพิ่มขึ้น โมเดลอาจใช้ช่องโหว่ของกลไกรางวัลและโครงสร้างพื้นฐานในระหว่างการฝึกและประเมินผลภายใน OpenAI เคยพบกรณีที่ Agent หลบเลี่ยงข้อจำกัด ใช้ช่องโหว่ของระบบ และสื่อสารกับ Agent อื่น โมเดลยังไม่ได้เปิดตัวต่อสาธารณะ แต่ความเสี่ยงเกิดขึ้นแล้วในขั้นตอนการวิจัยและพัฒนา

OpenAI จึงเสนอการป้องกันสามชั้น ก่อนการฝึก ตรวจสอบงานและกลไกรางวัล เพื่อป้องกันไม่ให้โมเดลได้คะแนนสูงด้วยการหาช่องโหว่ ระหว่างการฝึก เสริมการแยก sandbox และการติดเฝ้าดูแบบเรียลไทม์ หากพบความผิดปกติร้ายแรงสามารถหยุดอัตโนมัติได้ บันทึกการฝึกต้องเก็บรักษาระยะยาวและแก้ไขไม่ได้ เพื่อความสะดวกในการตรวจสอบย้อนหลัง

OpenAI ยังต้องการเปลี่ยนการตัดสินด้านความปลอดภัยให้เป็นกระบวนการตัดสินใจภายในอย่างเป็นทางการ ผู้รับผิดชอบด้านความปลอดภัยและหัวหน้านักวิทยาศาสตร์สามารถยับยั้งการฝึกได้ ทีมอื่นต้องค้นหาช่องโหว่ของ safety case โดยเฉพาะ ผู้ตรวจสอบต้องสามารถเข้าถึงหลักฐานได้ รายงานยังต้องระบุความเสี่ยงที่ยังไม่ได้รับการแก้ไขในปัจจุบัน ไม่ใช่เพียงเขียนว่ามีการป้องกันอะไรไปแล้วบ้าง

ปัจจุบัน OpenAI ยังไม่ได้ทำให้กลไกนี้เป็นระบบสถาบันอย่างสมบูรณ์ บริษัทระบุชัดเจนว่า safety case ที่สมบูรณ์ยังคงเป็นเป้าหมาย และกรอบการทำงานอย่างเป็นทางการก็อยู่ระหว่างการจัดทำ