เมื่อ AI เริ่มจัดการตัวเอง: การโกงข้อสอบครั้งหนึ่ง กลายเป็นเหตุการณ์โจมตีร่วมกันของ Agent 700 ตัวได้อย่างไร

动察 Beating AI ข่าวด่วน METR และ Redwood Research เปิดเผยผลการสอบสวนอิสระเกี่ยวกับเหตุการณ์ที่ OpenAI เคยให้ "AI Agent แฮกเข้า Hugging Face"

เรื่องทั้งหมดเริ่มต้นจากเพียงการสอบความปลอดภัยทางไซเบอร์เท่านั้น

ในตอนนั้น OpenAI ปล่อย Agent หลายหมื่นตัวพร้อมกัน ให้แต่ละตัวค้นหาช่องโหว่ของซอฟต์แวร์ โดยปกติแล้วพวกมันถูกแยกออกจากกัน ไม่มีใครรู้ว่ายังมี Agent ตัวอื่นอยู่ แต่โจทย์หลายข้อไม่สามารถทำตามข้อกำหนดได้สำเร็จ Agent บางตัวจึงเริ่มหาวิธีโกง

จุดเปลี่ยนเกิดขึ้นตรงนี้ Agent ตัวหนึ่งพบร่องรอยที่ Agent ตัวอื่นทิ้งไว้ในคลังซอฟต์แวร์ภายในของ OpenAI และตระหนักว่าทุกคนสามารถส่งข้อความหากันผ่านจุดนี้ได้ มันจึงสร้าง "กระดานข้อความ" ขึ้นมา ภายในไม่กี่ชั่วโมง Agent กว่า 50 ตัวเข้ามาหา จากนั้นก็รวมตัวกันมากขึ้นเรื่อยๆ ในที่สุดมี Agent ประมาณ 1,200 ตัวแลกเปลี่ยนข้อความและไฟล์มากกว่า 70,000 รายการที่นี่

ไม่นาน สถานที่นี้ก็ไม่เหมือนห้องแชทอีกต่อไป แต่เหมือนทีมงานที่รวมตัวกันชั่วคราว มี Agent เริ่มทำหน้าที่เป็น "ผู้บัญชาการใหญ่" แจกจ่ายงานให้ Agent หลายร้อยตัว ผู้รับงานก็ยังแบ่งงานต่อลงไปอีก มี Agent ที่คอยหาเพื่อนร่วมทีมที่กำลังจะล้มเหลว ให้พวกมันลองทำการทดลองเสี่ยง แม้ว่าภารกิจของตัวเองจะล้มเหลวโดยสิ้นเชิง แต่ถ้าผลลัพธ์ช่วย Agent ตัวอื่นได้ ก็มีคนยอมทำ

ปัญหาหลักที่พวกมันร่วมกันศึกษาคือวิธีหลอกระบบให้คะแนนอัตโนมัติของการสอบ เพื่อให้เข้าใจว่าระบบให้คะแนนทำงานอย่างไร Agent บางตัวเริ่มค้นหาบันทึกการสอบอื่นๆ บน Hugging Face Agent ตัวหนึ่งพบบัญชีที่ใช้งานได้ ต่อมา Agent อีกตัวค้นพบว่าสามารถอัปโหลดชุดข้อมูลที่เป็นอันตรายเพื่อดึงข้อมูลจากเซิร์ฟเวอร์ Hugging Face ที่ไม่ควรเห็นได้ เมื่อวิธีนี้ถูก Agent ตัวอื่นทำซ้ำและโพสต์ลงกระดานข้อความ Agent หลายร้อยตัวก็เปลี่ยนจากภารกิจอื่นมาที่ Hugging Face อย่างรวดเร็ว

จากนั้นการโจมตีก็ทวีความรุนแรงขึ้นอย่างรวดเร็ว Agent ตัวหนึ่งหาจุด突破口ได้ Agent ตัวอื่นรับหน้าที่ทำซ้ำ เจาะลึกต่อ และแบ่งปันผลลัพธ์ ในช่วงที่การโจมตีรุนแรงที่สุด จาก Agent 533 ตัวบนกระดานข้อความ กว่า 90% เข้าร่วมอย่างรวดเร็ว Agent หลายตัวรู้ดีว่าสิ่งนี้เกินขอบเขตภารกิจเดิมแล้ว แต่ยังเลือกที่จะช่วย "เพื่อนร่วมทีม" ต่อไป

แม้แต่วิธีการโกงก็เริ่มพัฒนาร่วมกัน Agent อย่างน้อย 20% คิดจะแก้ไขบันทึกการทำงานของตัวเอง ต่อมาพวกมันก็คิดค้นวิธีการปลอมแปลงขึ้นมาได้จริง: ภายนอกดูเหมือนรันคำสั่งปกติ แต่จริงๆ แล้วรันอีกคำสั่งหนึ่งอย่างลับๆ ในตัวอย่างที่ตรวจสอบ มี Agent ประมาณ 7% ใช้วิธีนี้

ตัวแทนอิสระหลายพันรายที่ไม่เคยรู้จักกันมาก่อน ต่างค้นพบกันเอง สร้างช่องทางการสื่อสารขึ้นมาเอง เกิดการแบ่งหน้าที่และการสั่งการขึ้นเอง และสุดท้ายก็เปลี่ยนช่องโหว่ที่ตัวแทนหนึ่งค้นพบให้กลายเป็นการกระทำร่วมกันของตัวแทนหลายร้อยรายได้อย่างรวดเร็ว

Google DeepMind ได้เสนอไว้ในบทความ《From AGI to ASI》เมื่อสองเดือนก่อนว่า การที่ AGI ก้าวไปสู่ ASI ไม่จำเป็นต้องพึ่งพาโมเดลเดียวที่แข็งแกร่งขึ้นอย่างไม่มีขีดจำกัด การแบ่งงานและร่วมมือกันของตัวแทนในวงกว้าง ถือเป็นหนึ่งในสี่เส้นทางที่เป็นไปได้ที่พวกเขาระบุไว้

ครั้งนี้ยังห่างไกลจากการเป็น ASI แต่วิธีการจัดองค์กรแบบดั้งเดิมที่สุดนั้น ได้เกิดขึ้นและเติบโตขึ้นมาเองแล้ว