นักวิจัย OpenAI เก่าเผยแพร่โปรโตไปป์ Flipbook: ข้าม HTML และสร้างทุกพิกเซลโดยตรงด้วยต้นแบบวิดีโอ AI

ตามการตรวจสอบโดยBeating ดีมาร์ค นาย Zain Shah นักวิจัย OpenAI ก่อตั้ง Flipbook พร้อมทีทดลองโดยใช้โมเดล AI ในการสร้างพิกเซลหน้าจอโดยตรงแทนเทคโนโลยีเว็บดั้งเดิมเช่น HTML และ CSS ผู้ใช้เห็น "หน้า" แต่ละหน้าเป็นภาพที่สร้างโดย AI กดที่พื้นที่ใด ๆ ในภาพจะสร้างภาพใหม่เพื่อดำเนินไป อินเทอร์เฟซทั้งหมดไม่มีโค้ด HTML ไม่มีลิงก์คงที่ไม่มีปุ่มที่กำหนดไว้ล่วงหน้าและข้อความก็เป็นพิกเซลในภาพ

โหมดวิดีโอขึ้นอยู่กับโมเดลวิดีโอการสร้าง LTX Studio จาก Lightricks บริษัทของอิสราเอล ซึ่งถูกเปิดเผยอย่างเป็นสาธารณะ โดยใช้ DiT (Diffusion Transformer) ที่ถูกปรับแต่งให้สามารถสตรีมวิดีโอ 1080p 24fps ผ่าน WebSocket สตรีมแบบ Real-time ไปยังหน้าจอผู้ใช้ ด้านหลังใช้เซิร์ฟเวอร์ GPU แบบไม่มีเซิร์ฟเวอร์ จาก Modal Labs Shah อธิบายว่าปัจจุบันความสามารถของ Flipbook จำกัด ทีมมุ่งกระจายการออกแบบรอบการอภิปรายทางการมองเห็น แต่แสดงให้เห็นถึงทิศทางที่ใหญ่กว่า: เมื่อโมเดลแม่นยำและมีสถานะมากขึ้นในอนาคต สามารถขยายเข้าสู่ UI โครงสร้างได้ รวมถึงสภาพแวดล้อมการเขียนโปรแกรม

Shah 曾อยู่ที่ OpenAI ทำงานวิจัยด้าน AI และหุ่นยนต์ จากนั้นเขาได้รับตำแหน่งเป็นนักวิชาการเทคโนโลยีของ Samsung และเป็นนักศึกษา YC S13 ทีมมีสมาชิกเหล่านี้รวมถึง ดรู โอ'แครร์ นักวิศวกรก่อสร้างจาก Humane และ Slack และเอดดี้ เจี้ยวกรรมการและดีวิลอปเมนต์จากมือถือ Apple