โมเดลหลักของ Google อย่าง Gemini 3.5 Flash รองรับการควบคุมคอมพิวเตอร์แบบเนทีฟ ปลดล็อกระบบอัตโนมัติของเอเจนต์อัจฉริยะระดับองค์กร

ตามการติดตามของ Beating Google ได้รวมฟังก์ชัน Computer Use เป็นเครื่องมือในตัว โดยผสานเข้ากับโมเดลหลัก Gemini 3.5 Flash โดยตรง

ก่อนการผสานแบบเนทีฟ นักพัฒนาต้องเรียกใช้โมเดล Computer Use เฉพาะของ Gemini 2.5 เพื่อดำเนินงานตัวแทน (Agent) หลังจากการผสานแบบเนทีฟ นักพัฒนาและผู้ใช้ในองค์กรสามารถควบคุมอุปกรณ์ผ่านโมเดลหลักได้โดยตรงผ่าน Gemini API หรือแพลตฟอร์ม Gemini Enterprise Agent Platform ของ Google Cloud (เดิมคือแพลตฟอร์ม Vertex AI) ซึ่งช่วยลดความซับซ้อนของสถาปัตยกรรมการพัฒนาตัวแทน (Agent)

เครื่องมือ Computer Use ในตัวจะรับภาพหน้าจอจากเบราว์เซอร์ อุปกรณ์เคลื่อนที่ หรือสภาพแวดล้อมเดสก์ท็อป เพื่อทำการรับรู้ทางภาพและอนุมานขั้นตอน จากนั้นจะส่งคำสั่งปฏิบัติการ เช่น การคลิกเมาส์ การป้อนข้อมูลด้วยแป้นพิมพ์ การเลื่อน滚轮 และการนำทางเมนู เพื่อทำงานอัตโนมัติแบบยาว เช่น การทดสอบซอฟต์แวร์อย่างต่อเนื่อง หรือการรวบรวมข้อมูลข้ามหน้าเว็บ เพื่อความสะดวกในการดีบักและตรวจสอบ โมเดลจะแนบฟิลด์ "intent" (เจตนา) กับคำสั่งที่สร้างขึ้น เพื่ออธิบายตรรกะของแต่ละขั้นตอน

เพื่อรับมือกับความเสี่ยงจากการฉีดพรอมต์ (Prompt Injection) ที่ตัวแทนอาจพบในสภาพแวดล้อมเครือข่ายจริง Google ได้ฝึกโมเดลด้วยการฝึกฝนแบบต่อต้าน (Adversarial Training) โดยตรง และมีมาตรการป้องกันสองทางเลือก: บังคับให้มีการอนุมัติจากมนุษย์สำหรับการดำเนินการที่ไม่สามารถย้อนกลับได้ เช่น การชำระเงินหรือการลบไฟล์ และหากพบคำสั่งฉีดทางอ้อมในภาพหน้าจอ ระบบจะตัดการทำงานโดยอัตโนมัติ

ปัจจุบัน Browserbase มีสภาพแวดล้อมสาธิตออนไลน์ (gemini.browserbase.com) และ Google ยังได้เปิดซอร์สโค้ดอ้างอิงที่ชื่อ computer-use-preview บน GitHub พร้อมกัน