โมเดลล่าสุดของ OpenAI ชื่อ Astra ใช้สถาปัตยกรรมแบบไบต์: คำนวณซ้ำในเลเยอร์เดียวกันของ Transformer

动察 Beating AI ข่าวด่วน OpenAI กำลังจะเปิดตัว Astra ซึ่งใช้สถาปัตยกรรมการให้เหตุผลแบบวนซ้ำที่เรียกว่า recurrent depth หรือที่รู้จักกันในชื่อ looped transformer โดย Transformer ทั่วไปเมื่อสร้าง Token หนึ่งตัว จะผ่านชั้นเครือข่ายหลายชั้นแบบคงที่ แต่ Astra สามารถให้ข้อมูลชุดเดียวกันผ่านชั้นเดียวกันซ้ำๆ หลายรอบก่อนจะส่งออกผลลัพธ์

เส้นทางนี้ ByteDance เคยเปิดเผยต่อสาธารณะเมื่อปีที่แล้ว ทีม Seed เปิดตัว Ouro ซึ่งเป็น Looped Language Model ที่ให้กลุ่มชั้น Transformer ทำงานวนซ้ำ เพื่อเพิ่มการคำนวณภายในโมเดล โดยไม่ต้องสร้าง chain of thought ที่ยาวขึ้นเรื่อยๆ ก็สามารถเพิ่มปริมาณการคำนวณเชิงเหตุผลได้ โมเดลขนาดเล็กจึงสามารถใช้การคำนวณมากขึ้นเพื่อให้ได้ผลลัพธ์ใกล้เคียงกับโมเดลขนาดใหญ่

สถาปัตยกรรมนี้ยังนำมาซึ่งปัญหาด้านความปลอดภัย การให้เหตุผลบางส่วนเกิดขึ้นในสถานะซ่อนภายใน ซึ่งมนุษย์ไม่เห็นบันทึกข้อความทั้งหมด ทำให้ยากต่อการตรวจสอบผ่าน chain of thought ว่าโมเดลละเมิดกฎหรือไม่ ดังนั้น OpenAI จึงจำกัดระดับการใช้ recurrent depth ของ Astra เพื่อให้ยังคงมี chain of thought ที่อ่านได้ และเตรียมเพิ่มการตรวจสอบ CoT เพิ่มเติม