ตามการติดตามของ Beating ทีม Seed ของ ByteDance ได้เปิดตัวเกณฑ์มาตรฐานเอเจนต์อัจฉริยะ EdgeBench เพื่อศึกษาประสิทธิภาพการเรียนรู้สภาพแวดล้อมของ AI ในภารกิจระยะยาว 12 ถึง 72 ชั่วโมง หลังจากวิเคราะห์บันทึกการทำงานของเอเจนต์มากกว่า 38,000 ชั่วโมง ทีมวิจัยพบว่าเส้นโค้งการเรียนรู้ของ AI สามารถคาดการณ์ได้สูง โดยประสิทธิภาพของเอเจนต์จะเพิ่มขึ้นตามระยะเวลาการโต้ตอบที่ยาวนานขึ้น และสอดคล้องกับเส้นโค้ง log-sigmoid อย่างแม่นยำ นักวิจัยใช้ทฤษฎีการค้นหากราฟเพื่ออธิบายรูปแบบนี้ โดยมองว่าความก้าวหน้าของเอเจนต์เปรียบเสมือนการขยายขอบเขตบนแผนที่ทักษะ ทีม Seed ได้เปิดเผยกรอบการทดสอบเกณฑ์มาตรฐานและภารกิจแรก 51 ภารกิจเป็นโอเพนซอร์สแล้ว
ในทางตรงกันข้าม สถาบันวิจัย Epoch AI ได้เผยแพร่ผลการประเมิน EBR-bench ในวันเดียวกัน ซึ่งได้ข้อสรุปที่แตกต่างกัน ในการทดสอบสภาพแวดล้อมเกมกระดาน แม้จะมีคู่มือกลยุทธ์ให้ AI ก็แทบไม่แสดงพฤติกรรมการเรียนรู้และการปรับปรุงตนเองหลังจากลองซ้ำหลายครั้ง ความแตกต่างนี้ชี้ให้เห็นว่าศักยภาพการเรียนรู้ด้วยตนเองของ AI ได้รับผลกระทบอย่างมากจากสภาพแวดล้อมของภารกิจและการออกแบบลูปฟีดแบ็ก ในสถานการณ์ที่ต้องการการตอบสนองสภาพแวดล้อมอย่างต่อเนื่อง เช่น วิศวกรรมระดับระบบหรือการสำรวจทางวิทยาศาสตร์ เอเจนต์สามารถสร้างข้อได้เปรียบสะสมได้ แต่ในเกมแบบไม่ต่อเนื่องที่มีกลยุทธ์ซับซ้อน การเรียนรู้ในขณะทำงานในปัจจุบันยังคงเป็นเรื่องยาก
