ไม่ต้องเจลเบรก ไม่ต้องติดตั้งแอปบน iPhone โปรเจกต์โอเพนซอร์ส Poki ให้ AI ควบคุม iPhone ของคุณโดยตรง

动察 Beating ข่าวด่วน AI นักพัฒนา Joseph Zhou ได้เปิดซอร์ส Poki ทำให้ AI Agent อย่าง Codex, Claude Code สามารถควบคุม iPhone จริงได้โดยตรง

ปัจจุบันมีโปรเจกต์ iPhone Use อยู่ไม่น้อย บางตัวติดตั้งโปรแกรมทดสอบผ่าน XCTest/WDA บางตัวอาศัยฮาร์ดแวร์ภายนอกจำลองการทำงาน

Poki ใช้เส้นทางที่แตกต่างออกไป: เรียกใช้บริการนักพัฒนาอุปกรณ์ของ Apple โดยตรง อ่านแผนผัง控件การเข้าถึงแบบเนทีฟของ iPhone ดึงข้อมูลปุ่ม ข้อความ และตำแหน่ง แล้วส่งคำสั่งแตะ ปัด พิมพ์ หรือแม้แต่บีบนิ้วซูมด้วยสองนิ้วไปยังโทรศัพท์

วิธีนี้ทำให้ AI ไม่ต้องเดาพิกัดจากภาพหน้าจอในทุกขั้นตอน และไม่ต้องติดตั้งโปรแกรมทดสอบบน iPhone หลังจากจับคู่ผ่าน USB ครั้งแรกแล้ว ยังสามารถควบคุมแบบไร้สายได้ภายในเครือข่ายท้องถิ่นเดียวกัน

นอกจากเชื่อมต่อ Codex, Claude Code ผ่าน MCP แล้ว Poki ยังมี Agent ที่ทำงานบน Mac ในตัว สามารถสั่งงานผ่านเทอร์มินัลหรือ iMessage ได้ มันจดจำขั้นตอนการทำงานที่เคยดำเนินการสำเร็จและผ่านการตรวจสอบได้ เมื่อเจองานเดิมในครั้งถัดไปก็ใช้ซ้ำได้ทันที บางงานถึงขั้นไม่ต้องเรียกโมเดลอีกครั้ง อย่างไรก็ตาม Mac ยังต้องเปิดทำงานอยู่

การทำงานบนเครื่องจริงในตอนนี้ยังค่อนข้างช้า ผู้เขียนทดสอบบน iPhone ที่รัน iOS 27.3 กับช่องค้นหาในแอปแชท การแตะข้อความติดต่อกัน 12 ครั้งได้ผลทั้งหมด แต่แต่ละครั้งใช้เวลาประมาณ 8 วินาที การกรอกช่องข้อความใช้เวลาประมาณ 15 วินาที และบางปุ่มยังแตะไม่ได้ตามปกติ

จุดเด่นของ Poki คือสามารถอ่าน控件ของระบบได้โดยตรง รองรับการทำงานแบบไร้สายและการสัมผัสหลายจุด แต่ต้องใช้ Xcode แบบเต็ม โหมดนักพัฒนา และ UI Automation โดยพึ่งพาอินเทอร์เฟซนักพัฒนาของ Apple ในระดับพื้นฐาน การอัปเกรดระบบในอนาคตอาจส่งผลต่อความเข้ากันได้