ซีอีโอไมโครซอฟต์ นาเดลลา: มอง AI เป็นความเสี่ยงภายใน ต้องพร้อมหยุดฉุกเฉินได้ทุกเมื่อ

动察 Beating ข่าวด่วน AI CEO ของ Microsoft Satya Nadella เขียนบทความยาว เสนอให้ถือว่าโมเดล AI เป็นความเสี่ยงด้านความปลอดภัยภายในองค์กร แม้โมเดลจะไม่มีเจตนาร้าย ก็อาจทำผิดพลาดหรือถูกผู้โจมตีใช้ประโยชน์ได้ โดยเฉพาะเมื่อมันสามารถอ่านข้อมูลอ่อนไหวและดำเนินการสำคัญแทนมนุษย์ องค์กรจึงไม่ควรเชื่อมั่นเพียงคำสัญญาด้านความปลอดภัยจากผู้ผลิตโมเดล

เขากำหนดให้แยกโมเดลออกจาก Harness (กรอบการทำงานของ Agent) ที่จัดสรรงาน สิ่งที่โมเดลสามารถอ่านได้และเครื่องมือที่เรียกใช้ ต้องถูกควบคุมโดยระบบภายนอก ทุกการดำเนินการสำคัญควรมีบันทึกที่ป้องกันการปลอมแปลงและง่ายต่อการตรวจสอบโดยมนุษย์ นอกจากนี้ยังกำหนดให้ Chain of Thought (กระบวนการคิดที่แสดงออกมา) ของโมเดลมีความโปร่งใส แต่ยอมรับว่าเนื้อหาเหล่านี้อาจไม่น่าเชื่อถือเสมอไป

ข้อที่เข้มงวดที่สุดคือ ตั้งแต่การติดตั้งใช้งาน ต้องสันนิษฐานว่าโมเดลอาจถูกบุกรุก และเตรียมการแยกส่วนไว้ ผู้มีอำนาจต้องสามารถหยุดหรือปิดมันได้ทุกเมื่อขณะ Agent กำลังทำงาน เทียบเท่ากับการติดตั้ง "เบรกฉุกเฉิน" โมเดลไม่สามารถตรวจสอบการกระทำของตัวเองได้ องค์กรต้องทดสอบความล้มเหลวและการโจมตีอย่างต่อเนื่อง และเปิดเผยเหตุการณ์ที่เกิดขึ้นทันที

Microsoft ประกาศในเดือนนี้ว่าเครื่องมือแยกส่วน MXC พร้อมใช้งานอย่างเป็นทางการบน Windows แล้ว โดยจำกัดไฟล์และเครือข่ายที่ Agent สามารถเข้าถึงได้ผ่านนโยบายภายนอก