ผู้ช่วยมือถือ Doubao เวอร์ชัน iPhone ปรากฏขึ้นแล้ว? นักพัฒนาได้สาธิตการใช้ Opus 5.5 ควบคุม iPhone

动察 Beating ข่าวด่วน AI นักพัฒนา Finn Voorhees ได้สาธิต AI Agent ที่สามารถควบคุม iPhone ได้โดยตรง เขาเพียงส่งข้อความเดียว สั่งให้ Agent ค้นหาตั๋วเครื่องบิน Ryanair ที่ถูกที่สุดสำหรับเที่ยวบินไปลอนดอนในวันถัดไป จากนั้น Agent ก็เปิด Ryanair ด้วยตัวเอง กรอกจุดหมาย เลือกวันที่ ค้นหาราคาตั๋ว และสุดท้ายกลับมาที่หน้าจอแชทเพื่อรายงานผลลัพธ์ ตลอดกระบวนการไม่มีคอมพิวเตอร์เข้าร่วม

Agent ชุดนี้ทำงานอยู่ในแอปแชท iPhone ชื่อ PiChat ที่ Finn พัฒนาขึ้น โดยใช้ PiDurableKit ที่เขาเปิดซอร์สไว้ก่อนหน้านี้เป็นพื้นฐาน ผ่าน JavaScriptCore ของ Apple ในการรัน Pi Agent บนมือถือ รับผิดชอบการเรียกใช้โมเดล การทำงานของเครื่องมือ และการจัดการงาน ในวิดีโอใช้ Claude Opus 5.5 การประมวลผลโมเดลยังคงอยู่บนคลาวด์ เพื่อให้ Agent ทำงานต่อได้หลังจากสลับไปแอปอื่น PiChat ยังใช้กลไกงานเบื้องหลังของ Apple และบันทึกความคืบหน้าผ่าน SQLite เพื่อให้กู้คืนได้หลังการหยุดชะงัก

โค้ดควบคุมข้ามแอปที่สำคัญที่สุดยังไม่เปิดเผย ในวิดีโอเมื่อเปิด iPhone Control ระบบต้องการให้ใส่รหัสผ่านล็อกหน้าจอ เพื่อเปิดใช้งาน XCTest UI Automation XCTest เป็นเฟรมเวิร์กทดสอบอินเทอร์เฟซของ Apple สามารถจำลองการแตะ การปัด และการพิมพ์ข้อความ โครงการโอเพนซอร์ส TouchSynthesis ใช้ประโยชน์จากอินเทอร์เฟซส่วนตัวของ XCTest เพื่อให้ iPhone สร้างเหตุการณ์สัมผัสด้วยตัวเอง โดยไม่ต้องควบคุมจากคอมพิวเตอร์แบบเรียลไทม์ อย่างไรก็ตาม Finn ยังไม่ได้ยืนยันว่าใช้วิธีนี้หรือไม่