ตามการติดตามของ Beating สถาบันประเมิน ARC-AGI-3 อย่าง ARC Prize ก่อนหน้านี้กำหนดให้โมเดลทั้งหมดใช้ชุดคำสั่งเรียกใช้งานแบบเดียวกัน เพื่อป้องกันไม่ให้ผู้ผลิตใช้เฟรมเวิร์กที่ปรับแต่งเฉพาะเพื่อเพิ่มคะแนน ซึ่งจะช่วยให้เห็นความสามารถที่แท้จริงของโมเดลได้ชัดเจนยิ่งขึ้น
ในการตอบสนองต่อข้อโต้แย้งเกี่ยวกับการทดสอบของ OpenAI ท่าทีอย่างเป็นทางการเริ่มผ่อนคลายลง ARC Prize ยอมรับว่าการเก็บรักษาประวัติการอนุมานและการบีบอัดบริบทที่ยาวเกินไปสามารถช่วยเพิ่มประสิทธิภาพของโมเดลในการจัดการงานที่ยาวนาน และได้เริ่มศึกษาวิธีการเพิ่มฟังก์ชันดังกล่าวเข้าไปในการประเมินอย่างเป็นทางการแล้ว
François Chollet ผู้ก่อตั้ง ARC-AGI กำหนดขอบเขตว่า: เฟรมเวิร์กที่พัฒนาขึ้นเฉพาะสำหรับ ARC ยังคงไม่สามารถใช้ได้ แต่การตั้งค่าทั่วไปที่ผู้ใช้ API ทุกคนสามารถเข้าถึงได้นั้นสามารถพิจารณาได้ เขาเห็นว่าการตั้งค่าที่แต่ละฝ่ายใช้และค่าใช้จ่ายที่เกิดขึ้นควรเปิดเผยต่อสาธารณะ
เมื่ออนุญาตให้ใช้หน่วยความจำและการจัดการบริบทที่ผู้ผลิตมีในตัวแล้ว ARC-AGI-3 จะไม่เปรียบเทียบเฉพาะโมเดลอีกต่อไป แต่จะรวมถึงความสามารถทางวิศวกรรมเบื้องหลัง API ของแต่ละฝ่ายด้วย
