lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

Ramp เปิดตัวเกณฑ์มาตรฐานส่วนตัว SWE-Bench: Claude Fable 5 คว้าชัยชนะด้วยอัตราชนะ 87.5%

ตามการติดตามของ Beating ยูนิคอร์นฟินเทค Ramp ได้เปิดตัวเกณฑ์มาตรฐานการทดสอบส่วนตัวสำหรับเอเจนต์ AI โค้ดดิ้ง前沿ที่เรียกว่า Ramp SWE-Bench Ramp SWE-Bench ประกอบด้วยงานพัฒนาแบ็กเอนด์ 80 รายการที่มาจากสภาพแวดล้อมการผลิตจริงของ Ramp โดยมีเป้าหมายเพื่อแก้ปัญหาการรั่วไหลของข้อมูลและความอิ่มตัวของตัวชี้วัดที่เกิดจากการฝึกอบรมล่วงหน้าของโมเดลในชุดข้อมูลประเมินสาธารณะ

งานทดสอบทั้งหมดถูกดึงมาจากคำขอ Pull Request (PR) จริงที่ผู้ช่วย AI โค้ดดิ้งภายในของ Ramp อย่าง Inspect นำไปใช้ในสภาพแวดล้อมการผลิตสำเร็จ แต่ละงานจะสร้างฐานโค้ดก่อนการส่ง PR ขึ้นมาใหม่ โดยเก็บโค้ดที่รวมและทดสอบแล้วเป็นมาตรฐานทองคำ และดึงความตั้งใจดั้งเดิมของวิศวกรจากการสนทนากับ Inspect มาเป็นพรอมต์ การประเมินใช้สภาพแวดล้อมแซนด์บ็อกซ์ mini-swe-agent โดยมีเกณฑ์ผ่านคือการรันครั้งเดียวผ่านการทดสอบทั้งหมดโดยไม่ทำลายฟังก์ชันที่มีอยู่ (pass@1)

จากผลการประเมินแนวนอนของ 14 โมเดลที่เผยแพร่ Claude Fable 5 ที่เพิ่งเปิดตัวโดย Anthropic ครองอันดับหนึ่งด้วยอัตราการแก้ไข 87.5% Claude Opus 4.7 และ GPT-5.5 อยู่อันดับสองร่วมกันด้วยอัตราการแก้ไข 83.75% แม้ว่า Claude Opus 4.8 จะมีอัตราการแก้ไข 77.5% แต่เวลาเฉลี่ยในการรันงานครั้งเดียวลดลงเหลือ 8 นาที 30 วินาที และต้นทุนการรันครั้งเดียวเพียง 1.09 ดอลลาร์สหรัฐ ซึ่งน้อยกว่า 40% ของต้นทุนการรันของ Fable 5 แสดงให้เห็นถึงความคุ้มค่าที่ดีเยี่ยม

ข้อมูลการทดสอบยังเผยให้เห็นการแลกเปลี่ยนระหว่างราคาและประสิทธิภาพของโมเดลต่างๆ โมเดลในประเทศ Kimi K2.6 และ GLM 5.1 มีอัตราการแก้ไขใกล้เคียงกันที่ 72.5% และ 71.25% ตามลำดับ แต่ต้นทุนเฉลี่ยของ Kimi K2.6 อยู่ที่ 0.69 ดอลลาร์สหรัฐ ซึ่งถูกกว่า GLM 5.1 ประมาณ 34% ในกลุ่มโมเดลน้ำหนักเบา GPT-5.4 Mini มีอัตราการแก้ไข 58.75% นำหน้า Claude Haiku 4.5 ประมาณ 10 จุดเปอร์เซ็นต์ และทั้งต้นทุนเฉลี่ยและจำนวนขั้นตอนลดลงครึ่งหนึ่ง Ramp ชี้ให้เห็นว่าเมื่อโมเดลเข้าสู่การใช้งานจริง การแลกเปลี่ยนระหว่างประสิทธิภาพ ความเร็ว และต้นทุนกำลังกลายเป็นปัจจัยสำคัญในการนำไปใช้ในทางวิศวกรรม

举报 แก้ไข/รายงาน
ที่เกี่ยวข้องแนะนำ
จากการเขียนโค้ดไปจนถึงการตรวจสอบโค้ด AI เริ่มเข้าสู่พื้นที่ตรวจสอบทางวิศวกรรมแล้ว
ไม่ใช่การโจมตีของแฮกเกอร์ แต่เป็น AI ที่ "ทำงานอย่างจริงจัง" แล้วข้ามเส้นของตัวเองไป
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น