ตามการติดตามของ Beating พบว่า Cognition ได้เปิดตัวชุดประเมินโค้ดอัจฉริยะรุ่นใหม่ชื่อ FrontierCode ซึ่งเน้นการประเมิน "ความสามารถในการผสานรวม" (Mergeability) ของโค้ดที่ AI สร้างขึ้น แทนที่จะวัดเพียงความถูกต้องในการทำงานเท่านั้น ชุดประเมินนี้พัฒนาร่วมกับผู้ดูแลโครงการโอเพนซอร์ส 36 โครงการ เช่น Celery, Budibase, uppy และ Mattermost โดยแต่ละภารกิจใช้เวลาพัฒนากว่า 40 ชั่วโมง เพื่อตรวจสอบคุณภาพการทดสอบโค้ด มาตรฐานการออกแบบ ขอบเขตการแก้ไข และมาตรฐานรูปแบบ
FrontierCode แบ่งออกเป็นสามระดับ ได้แก่ Extended (150 ภารกิจ), Main (100 ภารกิจ) และ Diamond (50 ภารกิจที่ยากที่สุด) ในชุดภารกิจ Diamond ที่มีความยากสูง โมเดลขนาดใหญ่ในปัจจุบันยังมีพื้นที่ให้พัฒนาอีกมาก: Claude Opus 4.8 ที่ทำผลงานดีที่สุดได้คะแนนเพียง 13.4%, GPT-5.5 ได้ 6.3%, Gemini 3.1 Pro ได้ 4.7% ขณะที่โมเดลโอเพนซอร์สที่ทำผลงานดีที่สุดอย่าง Kimi K2.6 ได้คะแนนเพียง 3.8%
เพื่อป้องกันไม่ให้โมเดลขนาดใหญ่ใช้วิธีการโกงหรือ投机ผ่านการทดสอบ ชุดประเมินจึง引入了กลไกการประเมินหลายอย่าง รวมถึงการทดสอบย้อนกลับที่กำหนดให้การทดสอบที่ตัวแทนเขียนต้องล้มเหลวเมื่อรันกับโค้ดที่มีข้อบกพร่องดั้งเดิม รวมถึงข้อจำกัดด้านขอบเขตที่จำกัดจำนวนไฟล์และบรรทัดที่แก้ไข ทีมพัฒนายังออกแบบเครื่องมือ mutagent ที่ใช้โมเดลขนาดใหญ่เพื่อปรับสภาพแวดล้อมการทดสอบแบบไดนามิกให้รองรับความแตกต่างในการดำเนินงานที่สมเหตุสมผล ลดอัตราการตัดสินผิดพลาดของชุดประเมินให้เหลือเพียงหนึ่งในห้าของ SWE-Bench Pro
