แอนโทรปิกเตือน: AI อาจเข้าสู่ระยะเร่งตัวเองในไม่ช้า กว่ามนุษย์จะรู้ตัวอาจสายเกินไป

动察 Beating ข่าวด่วน AI, Anthropic ในเอกสารชี้แจงการเสนอขายหุ้นต่อสาธารณะ (IPO) ฉบับปรับปรุงเมื่อวันที่ 2 พฤศจิกายน ได้เตือนว่า AI อาจก้าวข้ามเกณฑ์สำคัญที่เกี่ยวข้องกับ "การปรับปรุงตนเองแบบเรียกซ้ำ" (RSI) ในไม่ช้า ทำให้ความเร็วในการวิจัยและพัฒนา AI เพิ่มขึ้นอย่างมาก ในอดีตก็เคยมีกรณีที่ไม่สามารถตรวจจับความเร่งของการพัฒนาที่เพิ่มขึ้นอย่างมีนัยสำคัญได้ทันเวลา จนกระทั่งความเร่งนั้นเกิดขึ้นแล้วจึงพบเห็น

ปัจจุบัน Claude ได้มีส่วนร่วมในการเขียนโค้ด การทำการทดลอง และการประมวลผลข้อมูลการฝึกอบรม ช่วยในการพัฒนาโมเดลรุ่นถัดไปที่แข็งแกร่งยิ่งขึ้น โมเดลใหม่สามารถย้อนกลับมาเร่งการวิจัยและพัฒนาที่ตามมา ก่อให้เกิดวงจรที่เพิ่มความเร็วอย่างต่อเนื่อง

ตามนโยบายความปลอดภัยของ Anthropic การก้าวข้ามเกณฑ์สำคัญนี้มีสองกรณี:
1. AI สามารถทำงานของทีมวิจัย AI ทั้งหมดได้ด้วยต้นทุนที่ใกล้เคียงกัน;
2. หรือทำให้ความเร็วของความก้าวหน้าทางเทคโนโลยี AI อย่างน้อยเพิ่มขึ้นเป็นสองเท่า บีบอัดความก้าวหน้าที่เดิมต้องใช้เวลาสองปีให้เหลือเพียงหนึ่งปี

เมื่อ AI เข้าไปเกี่ยวข้องกับการวิจัยและพัฒนาของตัวเองมากขึ้นเรื่อยๆ ความสามารถของโมเดลอาจเติบโตเร็วกว่าการอัปเดตของการประเมินความปลอดภัย การวิจัยด้านการจัดแนว และมาตรการป้องกัน Anthropic ยังไม่ถือว่าโมเดลที่มีอยู่ในปัจจุบันใดบรรลุระดับนี้ การเตือนครั้งนี้ส่วนใหญ่basedบนการประมาณการภายในและการคาดการณ์โมเดลในอนาคต ขณะนี้กำลังพิจารณาแก้ไขนโยบายความปลอดภัย เพื่อให้แน่ใจว่ากระบวนการวิจัยและพัฒนาที่สำคัญยังคงอยู่ภายใต้การกำกับดูแลและการควบคุมของมนุษย์