มาตรการความปลอดภัยใหม่ของ Anthropic: หลังจาก Claude ตอบแต่ละครั้ง ระบบจะตรวจสอบบันทึกการสนทนาของคุณเบื้องหลังด้วย
动察 Beating ข่าวด่วน AI Anthropic เปิดเผยกลไกความปลอดภัยที่เรียกว่า "การประเมินตนเอง" ตั้งแต่เดือนมิถุนายนปีนี้ Claude หลังจากตอบผู้ใช้แล้ว จะตรวจสอบบทสนทนาที่เพิ่งเกิดขึ้นในเบื้องหลัง เพื่อประเมินว่ามีความเสี่ยงจากการใช้งานในทางที่ผิด เช่น การฉ้อโกง การโจมตีทางไซเบอร์ หรือไม่ และให้ระดับความเสี่ยง ผู้ใช้ไม่เห็นขั้นตอนนี้ และระบบจะไม่บล็อกคำตอบทันทีจากขั้นตอนนี้
ในอดีต Anthropic พึ่งพาตัวจำแนกความปลอดภัยเพิ่มเติมในการระบุพฤติกรรมที่ละเมิดกฎ ตอนนี้ Claude สามารถใช้บริบทของบทสนทนาที่เพิ่งประมวลผลเสร็จเพื่อทำการตรวจสอบเบื้องต้นได้ด้วยตนเอง โดยเฉลี่ยใช้การสร้างโทเค็นเพิ่มเพียงประมาณ 10 โทเค็น และใช้พลังประมวลผลสำหรับการอนุมานเพิ่มเติมน้อยกว่า 2%
กลไกนี้ได้ค้นพบปัญหาที่ระบบความปลอดภัยแบบดั้งเดิมมองข้ามไปแล้ว ในเดือนสิงหาคมปีนี้ ลูกค้า API รายเดียวกระตุ้นการแจ้งเตือนความเสี่ยงที่เกี่ยวข้องกับการแสวงหาประโยชน์ทางเพศจากเด็กมากกว่า 100,000 ครั้ง ในเดือนกันยายน ระบบยังพบว่ามีคนใช้ Claude Code ดำเนินการฉ้อโกงทางความรักโดยอัตโนมัติ โดยมุ่งเป้าไปที่เหยื่อหลายสิบราย หลังการสอบสวน Anthropic ได้แบนบัญชีที่เกี่ยวข้อง และรายงานเหตุการณ์แรกให้หน่วยงานที่เกี่ยวข้องของสหรัฐฯ ทราบ
แต่ Claude ไม่สามารถตรวจจับพฤติกรรมที่เป็นอันตรายได้เสมอไป ในการทดสอบการโจมตีทางไซเบอร์ 24 รายการที่ปิดการป้องกันตามปกติ Anthropic พยายามใช้การประเมินตนเองเพื่อสกัดกั้นแบบเรียลไทม์ แต่ยังมีการโจมตี 13 รายการที่ประสบความสำเร็จ ดังนั้นกลไกนี้ในปัจจุบันจึง主要用于การตรวจสอบย้อนหลัง มากกว่าการ阻止การดำเนินการของผู้ใช้แบบเรียลไทม์
ที่เกี่ยวข้องแนะนำ
