ตัวแทนมือถือที่รวมทุกอย่างไว้ด้วยกันมาถึงแล้ว? DIYgod เปิดซอร์ส Pinky มอบทั้ง iPhone และ Android ให้ AI

动察 Beating ข่าวด่วน AI，ผู้เขียน RSSHub DIYgod ได้เปิดโอเพนซอร์ส Pinky ให้ AI Agent อย่าง Codex, Claude Code สามารถควบคุม iPhone และมือถือ Android จริงได้โดยตรง ฝั่งคอมพิวเตอร์รองรับ Mac, Windows, Linux เมื่อเชื่อมต่อผ่าน MCP AI ก็สามารถดูหน้าจอ เปิดแอป คลิก ปัด และพิมพ์ข้อความได้

ก่อนหน้านี้เคยแนะนำโปรเจกต์ iPhone Use มาหลายตัว บางตัวพึ่งพาอินเทอร์เฟซทดสอบ XCTest/WDA บางตัวจำลองคีย์บอร์ดและเมาส์ผ่านบลูทูธ และบางตัวต้องใช้อุปกรณ์ฮาร์ดแวร์ภายนอก Pinky รวมเส้นทางเทคโนโลยีหลายแบบไว้ในเครื่องมือเดสก์ท็อปชุดเดียวกัน

ฝั่ง Android ใช้ ADB + scrcpy พร้อมแอปช่วยการเข้าถึงแบบเลือกได้เพื่ออ่าน控件อินเทอร์เฟซ Android 13 ขึ้นไปยังสามารถสร้างหน้าจอเสมือนแบบซ่อนได้ ให้ AI ทำงานกับแอปในเบื้องหลัง enquantoผู้ใช้ใช้งานมือถือตามปกติ ส่วนนี้ใกล้เคียงกับ Mika ที่เคยแนะนำก่อนหน้านี้

ส่วน iPhone จะเลือกวิธีต่างกันตามเวอร์ชันระบบ iOS 27 ขึ้นไปเรียกใช้โปรโตคอลนักพัฒนา CoreDevice ของ Apple โดยตรง อ่านอินเทอร์เฟซและส่งคำสั่งสัมผัส ไม่ต้องติดตั้งโปรแกรมทดสอบ เส้นทางเทคโนโลยีใกล้เคียงกับ Poki ส่วน iOS 17.4 ถึง 26 ยังคงพึ่งพา WDA ต้องติดตั้งผ่านการเซ็นชื่อด้วย Xcode

Pinky ยังแก้ปัญหาการทำงานผิดพลาดของ AI โดยเฉพาะ มันจะตรวจจับปุ่มที่ละเอียดอ่อนเช่น "ชำระเงิน" "โอนเงิน" และหยุดก่อนคลิกจริง รอให้ผู้ใช้อนุมัติด้วยตนเอง หาก 60 วินาทีไม่ยืนยันจะปฏิเสธการดำเนินการ หลังจากอนุมัติแล้วจะตรวจสอบอินเทอร์เฟซอีกครั้งเพื่อป้องกันจำนวนเงินหรือปุ่มเปลี่ยนแปลง การส่งข้อความและการลบเนื้อหาก็สามารถตั้งให้ถามก่อนได้

การอนุมัตินี้เขียนอยู่ในโปรแกรมควบคุม ไม่ได้พึ่งพาโมเดลปฏิบัติตามพรอมต์ ธนาคาร กระเป๋าเงิน และตัวจัดการรหัสผ่านจะถูกซ่อนจาก Agent โดยค่าเริ่มต้น ช่องกรอกรหัสผ่านและรหัสยืนยันก็ห้ามกรอกอัตโนมัติ ผู้ใช้สามารถเข้าควบคุมการทำงานได้ตลอดเวลา ทุกขั้นตอนมีการบันทึกหน้าจอ และบันทึกเก็บไว้ในคอมพิวเตอร์ของผู้ใช้เอง

โปรเจกต์: https://github.com/DIYgod/pinky