Codex สามารถควบคุม iPhone ได้โดยตรงแล้ว นักพัฒนาปล่อยเครื่องมือทั้งชุดเป็นโอเพนซอร์ส

动察 Beating ข่าวด่วน AI อดีตผู้จัดการผลิตภัณฑ์ฝั่งเดสก์ท็อปของ Doubao Zhong Erxin ได้เปิดซอร์ส iPhone Use ทำให้ Codex สามารถควบคุม iPhone จริงได้โดยตรง ผู้ใช้เพียงสั่งงานด้วยภาษาธรรมชาติ Codex ก็สามารถเปิดแอป อ่านหน้าเว็บ คลิก ปัด พิมพ์ภาษาจีน และยังค้นหาและจัดระเบียบรายการได้อีกด้วย กระบวนการทำงานทั้งหมดสามารถดูแบบเรียลไทม์ได้จากแถบด้านข้างของ Codex

โปรเจกต์นี้ใช้ WebDriverAgent (WDA) ของ Appium เป็นพื้นฐาน ซึ่งเป็นเครื่องมือ自动化มือถือที่อิงกับเฟรมเวิร์กทดสอบ XCTest ของ Apple นักพัฒนาติดตั้ง WDA บน iPhone ผ่าน Xcode ก่อน จากนั้นผ่านบริการ MCP บน Mac ส่งคำสั่งของ Codex ไปยังมือถือ ให้ WDA ดำเนินการคลิก พิมพ์ และอื่นๆ ไม่ต้องเจลเบรก และไม่ต้องติดตั้ง Appium Server แยกต่างหาก

เพื่อลดค่าใช้จ่ายในการที่ AI ต้องดูภาพหน้าจอซ้ำๆ iPhone Use จะอ่านข้อมูลตัวควบคุมอินเทอร์เฟซที่ระบบจัดให้ก่อน โดยระบุข้อความ ตำแหน่ง และสถานะของปุ่มโดยตรง หากเจอตัวควบคุมที่ไม่สามารถระบุได้หรือถูกบัง จะกลับไปใช้ภาพหน้าจอให้โมเดลตัดสินพิกัดการคลิก นอกจากนี้ยังรองรับการดำเนินการต่อเนื่องแบบกลุ่มเพื่อลดจำนวนครั้งในการเรียกโมเดล ภาพแบบเรียลไทม์บนแถบด้านข้างได้มาจากสตรีมหน้าจอแยกของ WDA จึงไม่ต้องจับภาพหน้าจอซ้ำ

ปัจจุบันบทเรียนอย่างเป็นทางการของ iPhone Use ยังคงกำหนดให้เชื่อมต่อมือถือผ่าน USB การใช้งานครั้งแรกต้องลงนามและติดตั้ง WDA ผ่าน Xcode Apple รองรับการดีบักแบบไร้สาย และ WDA ก็สามารถเข้าถึงผ่านเครือข่ายได้ แต่โปรเจกต์นี้ยังไม่ได้จัดเตรียมโซลูชันการตั้งค่าการเชื่อมต่อไร้สายที่สมบูรณ์