อาลีบาบาพัฒนา GUI Agent ถึงรุ่นที่สาม: Qwen เริ่มสามารถใช้โทรศัพท์มือถือ คอมพิวเตอร์ และบรรทัดคำสั่งได้พร้อมกัน

动察 Beating AI ข่าวด่วน อาลีบาบาเปิดตัวโมเดลพื้นฐานเอเจนต์ GUI ใหม่ Qwen-UI-Agent มันสามารถมองเห็นหน้าจอโดยตรง คลิกปุ่ม พิมพ์ข้อความ และใช้งานโทรศัพท์มือถือ คอมพิวเตอร์ และเว็บไซต์ได้ เมื่อเจองานที่เหมาะกับการประมวลผลผ่านคำสั่ง ก็สามารถรัน CLI ได้โดยตรง ไม่จำเป็นต้องทำทุกอย่างด้วยเมาส์ทีละจุด

อาลีบาบาพัฒนา GUI Agent มานานกว่าสองปีแล้ว ในปี 2024 Mobile-Agent เน้นให้โมเดลดูภาพหน้าจอมือถือ แล้วควบคุมการคลิกและเลื่อน ต่อมา GUI-Owl และ MAI-UI เริ่มฝึกการทำงาน GUI เข้าไปในโมเดลโดยตรง และขยายไปยังคอมพิวเตอร์ Qwen-UI-Agent นำโทรศัพท์มือถือ คอมพิวเตอร์ เว็บไซต์ DeepSearch และบรรทัดคำสั่งมารวมไว้ในเอเจนต์เดียว

ตัวอย่างเช่น ค้นหารถไฟความเร็วสูง คำนวณเวลาถึงบริษัท แล้วไปสร้างการประชุมใน DingTalk มันสามารถทำงานข้ามหลายแอปได้จนจบกระบวนการ เมื่อทำการวิเคราะห์ข้อมูล ก็สามารถค้นหาข้อมูลออนไลน์ก่อน แล้วใช้บรรทัดคำสั่งประมวลผลข้อมูล สุดท้ายสร้างไฟล์ Excel, PPT และ Word

โมเดลหลักพัฒนาต่อจากการฝึก Qwen3.5-27B ในการทดสอบอุปกรณ์จริงที่อาลีบาบาสร้างเอง MobileWorld-Real ทำคะแนนได้ 92.2% สูงกว่า GPT-5.6 Sol, Claude Opus 4.8 และ Gemini 3.1 Pro ในการทดสอบเดียวกัน