Ilya Sutskever หัวหน้านักวิทยาศาสตร์ของ OpenAI ตอบโต้ข้อโต้แย้งเรื่อง Astra: สถาปัตยกรรมใหม่ไม่ได้ทำให้โมเดลกลายเป็นกล่องดำโดยฉับพลัน

動察 Beating AI ข่าวด่วน OpenAI หัวหน้านักวิทยาศาสตร์ Jakub Pachocki ได้โต้แย้งการตีความบางส่วนจากภายนอกเกี่ยวกับสถาปัตยกรรมแบบวนซ้ำของ Astra เขากล่าวว่า รวมถึง Astra ด้วย โมเดล前沿ปัจจุบันของ OpenAI มีความลึกของกราฟการคำนวณต่างจาก GPT-4 อย่างมากที่สุดเพียง 2 เท่า ไม่ได้เพิ่มขึ้นหลายระดับขนาดนั้นอย่างกะทันหัน

これはส่วนใหญ่เป็นการตอบสนองต่อรายงานก่อนหน้านี้ของ The Information รายงานดังกล่าวเปิดเผยว่า Astra ใช้ recurrent depth โดยให้ชุด Transformer layer ชุดเดียวกันคำนวณซ้ำๆ การอนุมานบางส่วนจึงสามารถเกิดขึ้นภายในโมเดลได้ โดยไม่จำเป็นต้องเขียนเป็น chain of thought ทั้งหมด ซึ่ง引发了ความกังวลว่าโมเดลจะยากต่อการตรวจสอบมากขึ้นหรือไม่

Pachocki ยอมรับว่า การตรวจสอบ CoT นั้นเปราะบางจริง และกำลังพัฒนาไปในทิศทางที่ยากต่อการตรวจสอบมากขึ้น แต่เขาระบุชัดเจนว่า สาเหตุไม่ได้ขึ้นอยู่กับการเปลี่ยนแปลงสถาปัตยกรรมของโมเดล OpenAI เก็บรักษาและใช้การตรวจสอบ CoT ตั้งแต่โมเดล推理รุ่นแรก และปัจจุบันยังคงจัดให้การเสริมความสามารถนี้เป็นเป้าหมายการวิจัยหลัก