Cua ทดสอบการใช้งาน AI ควบคุมคอมพิวเตอร์ผ่านเบื้องหลัง: อัตราความสำเร็จของตัวเอง 58% ขณะที่ browser-use เพียง 3%

动察 Beating ข่าวด่วน AI，Cua ร่วมกับ Scale AI เปิดตัวการทดสอบการควบคุมคอมพิวเตอร์ Cua Driver Bench โดยกำหนดให้ AI Agent ต้องควบคุมซอฟต์แวร์อยู่เบื้องหลัง โดยต้องไม่แย่งเมาส์และคีย์บอร์ดของผู้ใช้ และต้องไม่เปิดหน้าต่างเด้งขึ้นมารบกวนการทำงาน

ในการทดสอบบน macOS อัตราการผ่านแบบสมบูรณ์ของ Cua Driver อยู่ที่ 58% ขณะที่ Codex Computer Use อยู่ที่ 33% Vercel agent-desktop อยู่ที่ 20% และ browser-use มีเพียง 3%

จุดแข็งของ Cua มาจากการควบคุมหน้าต่างที่อยู่เบื้องหลังโดยตรง เครื่องมือควบคุมคอมพิวเตอร์ทั่วไปมักจำลองการคลิกและการพิมพ์ของมนุษย์ ซึ่งจำเป็นต้องสลับหน้าต่างเป้าหมายขึ้นมาอยู่ด้านหน้า แต่ Cua ใช้ประโยชน์จากอินเทอร์เฟซการช่วยการเข้าถึงของ macOS ในการค้นหาปุ่มและช่องกรอกข้อมูลของแอปที่อยู่เบื้องหลังและดำเนินการได้โดยตรง อีกทั้งยังสามารถจับภาพหน้าต่างแยกได้โดยไม่จำเป็นต้องย้ายหน้าต่างขึ้นมาอยู่ชั้นบนสุด

ช่องว่างนี้เห็นได้ชัดเป็นพิเศษในกรณีของ browser-use ในการทดสอบ 40 ครั้ง มันทำภารกิจสำเร็จ 32 ครั้ง แต่ในจำนวนนั้น 31 ครั้งรบกวนผู้ใช้ สุดท้ายมีเพียง 1 ครั้งที่ผ่านแบบสมบูรณ์ ส่วน Cua แม้จะทำสำเร็จเพียง 25 ครั้ง แต่ 23 ครั้งไม่รบกวนผู้ใช้ และในการทดสอบไม่เคยแย่งโฟกัสคีย์บอร์ดเลยแม้แต่ครั้งเดียว

เครื่องมือทั้งหมดใช้ Claude Sonnet 5.5 โดยเป็นการเปรียบเทียบเครื่องมือควบคุมคอมพิวเตอร์ ไม่ใช่ตัวโมเดลเอง การทดสอบครอบคลุมภารกิจด้านเบราว์เซอร์ อีเมล ปฏิทิน และสเปรดชีต โดยแต่ละรายการต้องทำให้สำเร็จขณะที่ผู้ใช้พิมพ์อย่างต่อเนื่อง