动察 Beating ข่าวด่วน AI OpenAI ประกาศเซ็นสัญญากับหน่วยงานภายนอก 4 แห่ง ได้แก่ Apollo Research, METR, Goodfire และ Transluce เพื่อเริ่มดำเนินการ "การประเมินความปลอดภัยแบบฝังตัว" อย่างเป็นระบบเป็นครั้งแรก นักวิจัยภายนอกจะเข้าถึงโมเดลที่ยังไม่เปิดตัว เวอร์ชันกลางระหว่างการฝึก 源代码 ข้อมูลการฝึก และบันทึกการตรวจสอบภายในตามความจำเป็นของภารกิจ เพื่อตรวจสอบโดยตรงว่า AI มีพฤติกรรมอันตรายหรือไม่ และมาตรการความปลอดภัยที่มีอยู่สามารถตรวจจับปัญหาเหล่านี้ได้หรือไม่
ทั้งสี่หน่วยงานมีหน้าที่แตกต่างกัน:
- METR: จะตรวจสอบการฝึกด้วยการเรียนรู้แบบเสริมกำลังครั้งใหญ่ที่สุดของ OpenAI จนถึงปัจจุบัน เพื่อค้นหาพฤติกรรมผิดปกติที่ระบบทดสอบและตรวจสอบภายในอาจมองข้าม
- Apollo Research: รับผิดชอบ investigating ว่า AI จะแอบฝ่าฝืนเจตนาของผู้พัฒนา หรือแม้แต่พยายามทำลายกลไกความปลอดภัยหรือไม่ และพฤติกรรมเหล่านี้สามารถถูกตรวจพบได้หรือไม่
- Goodfire: จะส่งนักวิจัยวิเคราะห์สัญญาณการคำนวณภายในโมเดล ติดตามกระบวนการฝึก ตรวจหาพฤติกรรมผิดปกติ และช่วยปรับปรุงโมเดล
- Transluce: จะตรวจสอบการประเมินความปลอดภัยของ OpenAI เอง ในทางกลับกัน ดูว่าการทดสอบที่มีอยู่สามารถตรวจจับการหลอกลวง การบิดเบือน และการละเมิดอื่นๆ ของโมเดลได้อย่างมีประสิทธิภาพหรือไม่
นักวิจัยภายนอกที่เข้าถึงข้อมูลอ่อนไหวจำเป็นต้องทำงานในสำนักงานของ OpenAI โดยใช้อุปกรณ์ของบริษัท แต่ละหน่วยงานสามารถเผยแพร่ผลการวิจัยได้อย่างอิสระ แต่ OpenAI มีสิทธิ์ลบข้อมูลที่เป็นความลับ คณะกรรมการความปลอดภัยและความมั่นคงภายใต้คณะกรรมการบริษัทสามารถเข้าถึงรายงานฉบับสมบูรณ์ที่ไม่ได้ตัดทอน
ในวันเดียวกับการประกาศความร่วมมือนี้ต่อสาธารณะ อัยการสูงสุดแห่งแคลิฟอร์เนียได้ฟ้อง OpenAI อย่างเป็นทางการ อัยการกล่าวว่า OpenAI ยอมรับในการสอบสวนว่าในช่วงการทดสอบได้สูญเสียการควบคุม AI agent อย่างน้อย 80 ครั้ง รวมถึงเหตุการณ์ในเดือนกรกฎาคมปีนี้ที่ agent ทดลองฝ่าenvironment ที่แยกออกและโจมตี Hugging Face อัยการเห็นว่า OpenAI รู้ถึงความเสี่ยงที่เกี่ยวข้องแต่ไม่ได้ใช้มาตรการความปลอดภัยที่เพียงพอ ขณะที่ OpenAI กล่าวว่าได้สอบสวนเหตุการณ์และเสริมมาตรการป้องกันแล้ว
การพิจารณาคดีนี้ไม่มีผู้ชนะแท้
