ตามการติดตามของ Beating ยูนิคอร์นฟินเทค Ramp ได้เปิดตัวเกณฑ์มาตรฐานการทดสอบส่วนตัวสำหรับเอเจนต์ AI โค้ดดิ้ง前沿ที่เรียกว่า Ramp SWE-Bench Ramp SWE-Bench ประกอบด้วยงานพัฒนาแบ็กเอนด์ 80 รายการที่มาจากสภาพแวดล้อมการผลิตจริงของ Ramp โดยมีเป้าหมายเพื่อแก้ปัญหาการรั่วไหลของข้อมูลและความอิ่มตัวของตัวชี้วัดที่เกิดจากการฝึกอบรมล่วงหน้าของโมเดลในชุดข้อมูลประเมินสาธารณะ
งานทดสอบทั้งหมดถูกดึงมาจากคำขอ Pull Request (PR) จริงที่ผู้ช่วย AI โค้ดดิ้งภายในของ Ramp อย่าง Inspect นำไปใช้ในสภาพแวดล้อมการผลิตสำเร็จ แต่ละงานจะสร้างฐานโค้ดก่อนการส่ง PR ขึ้นมาใหม่ โดยเก็บโค้ดที่รวมและทดสอบแล้วเป็นมาตรฐานทองคำ และดึงความตั้งใจดั้งเดิมของวิศวกรจากการสนทนากับ Inspect มาเป็นพรอมต์ การประเมินใช้สภาพแวดล้อมแซนด์บ็อกซ์ mini-swe-agent โดยมีเกณฑ์ผ่านคือการรันครั้งเดียวผ่านการทดสอบทั้งหมดโดยไม่ทำลายฟังก์ชันที่มีอยู่ (pass@1)
จากผลการประเมินแนวนอนของ 14 โมเดลที่เผยแพร่ Claude Fable 5 ที่เพิ่งเปิดตัวโดย Anthropic ครองอันดับหนึ่งด้วยอัตราการแก้ไข 87.5% Claude Opus 4.7 และ GPT-5.5 อยู่อันดับสองร่วมกันด้วยอัตราการแก้ไข 83.75% แม้ว่า Claude Opus 4.8 จะมีอัตราการแก้ไข 77.5% แต่เวลาเฉลี่ยในการรันงานครั้งเดียวลดลงเหลือ 8 นาที 30 วินาที และต้นทุนการรันครั้งเดียวเพียง 1.09 ดอลลาร์สหรัฐ ซึ่งน้อยกว่า 40% ของต้นทุนการรันของ Fable 5 แสดงให้เห็นถึงความคุ้มค่าที่ดีเยี่ยม
ข้อมูลการทดสอบยังเผยให้เห็นการแลกเปลี่ยนระหว่างราคาและประสิทธิภาพของโมเดลต่างๆ โมเดลในประเทศ Kimi K2.6 และ GLM 5.1 มีอัตราการแก้ไขใกล้เคียงกันที่ 72.5% และ 71.25% ตามลำดับ แต่ต้นทุนเฉลี่ยของ Kimi K2.6 อยู่ที่ 0.69 ดอลลาร์สหรัฐ ซึ่งถูกกว่า GLM 5.1 ประมาณ 34% ในกลุ่มโมเดลน้ำหนักเบา GPT-5.4 Mini มีอัตราการแก้ไข 58.75% นำหน้า Claude Haiku 4.5 ประมาณ 10 จุดเปอร์เซ็นต์ และทั้งต้นทุนเฉลี่ยและจำนวนขั้นตอนลดลงครึ่งหนึ่ง Ramp ชี้ให้เห็นว่าเมื่อโมเดลเข้าสู่การใช้งานจริง การแลกเปลี่ยนระหว่างประสิทธิภาพ ความเร็ว และต้นทุนกำลังกลายเป็นปัจจัยสำคัญในการนำไปใช้ในทางวิศวกรรม
