ตามการติดตามของ Dongcha Beating โครงการการศึกษาด้านโอเพนซอร์สของ OpenAI ชื่อ Plant Talk ได้ผสานรวม Realtime API, โมเดลวิทัศน์แบบหลายโหมด และไมโครคอนโทรลเลอร์ Arduino เข้าด้วยกัน ทำให้ต้นไม้ในร่มมีความสามารถในการรับรู้สภาพแวดล้อมและสนทนาด้วยเสียง
โครงการนี้รองรับการสนทนาด้วยเสียงแบบฟูลดูเพล็กซ์ที่มีความหน่วงต่ำระหว่างผู้ใช้กับต้นไม้ผ่านกล้องเว็บแคมและไมโครโฟนของคอมพิวเตอร์ และสามารถเชื่อมต่อเซ็นเซอร์วัดความชื้นในดินแบบคาปาซิทีฟและเซ็นเซอร์วัดแสง LM393 ผ่าน Arduino บทบาท AI ของต้นไม้ (เช่น บทบาทเริ่มต้น George) จะรับข้อมูลฮาร์ดแวร์ผ่านการเรียกใช้ฟังก์ชัน (Function Calling) เมื่อผู้ใช้ถามว่าต้นไม้ขาดน้ำหรือแสงหรือไม่ AI จะเรียกใช้เครื่องมือเพื่ออ่านค่าทางกายภาพแบบเรียลไทม์ รวมกับภาพที่ถ่ายจากกล้องเพื่อประเมินความแห้งของต้นไม้ จำนวนกิ่งก้าน และระยะสูงสุด (รองรับการใช้เหรียญ 25 เซ็นต์เป็นตัวเปรียบเทียบขนาด) และตอบกลับด้วยเสียงในรูปแบบของต้นไม้ที่มีบุคลิกเหมือนมนุษย์
ในด้านความปลอดภัยและการออกแบบอินเทอร์เฟซ เซิร์ฟเวอร์ Express ฝั่งแบ็กเอนด์จะมอบหมายการเชื่อมต่อ WebRTC ไปยังฟรอนต์เอนด์อย่างปลอดภัยผ่านการขอคีย์ชั่วคราวของไคลเอนต์ (Ephemeral Token) เพื่อหลีกเลี่ยงการรั่วไหลของคีย์หลัก API ฝั่งไคลเอนต์ การจดจำภาพและการสังเกตตามเวลาจะใช้ Responses API ร่วมกับรูปแบบ Zod เพื่อให้ได้ผลลัพธ์ที่มีโครงสร้าง นอกจากนี้ ในคลังโค้ดยังมีคู่มือการทำงานสำหรับเอเจนต์ AI ชื่อ AGENTS.md ซึ่งแนะนำผู้ช่วย AI ให้ค่อยๆ นำผู้ใช้ผ่านการตั้งค่าสภาพแวดล้อมซอฟต์แวร์และการประกอบฮาร์ดแวร์
