lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

Databricks ใช้โค้ดเบสจริงทดสอบ Agent, GLM 5.2 ติดอันดับท็อปเทียร์แรก

ตามการติดตามของ Beating Databricks ได้เผยแพร่การประเมิน AI Agent สำหรับเขียนโปรแกรมภายใน โดยใช้ Pull Request จริงจากฐานโค้ดหลายล้านบรรทัดของตนเองเป็นชุดทดสอบ

การประเมินนี้ไม่ได้ใช้ SWE-Bench โดยตรง Databricks เห็นว่าชุดโจทย์สาธารณะอาจถูกป้อนเข้าสู่ข้อมูลฝึกสอน และไม่ใกล้เคียงกับงานวิศวกรรมจริงมากพอ

งานทดสอบมาจาก Pull Request ที่ถูกผสานล่าสุด ครอบคลุมภาษา Python, Go, TypeScript, Scala และอื่นๆ ทีมงานได้กรอง Pull Request ที่มาจากบอท โค้ดที่สร้างโดย AI และโค้ดที่สร้างอัตโนมัติออกไป โดยคงไว้เฉพาะงานที่สามารถตรวจสอบผลลัพธ์ได้

ผลลัพธ์แสดงให้เห็นว่า Agent สำหรับเขียนโปรแกรมสามารถแบ่งออกเป็นสามระดับคร่าวๆ ระดับสูงสุดไม่เพียงรวมถึงโมเดลของ OpenAI และ Anthropic แต่ยังรวมถึงโมเดลโอเพนซอร์สด้วย GLM 5.2 อยู่ในระดับแนวหน้า โดยมีคุณภาพใกล้เคียงกับ Opus 4.8 และมีต้นทุนต่องานอยู่ที่ 1.28 ดอลลาร์สหรัฐ ซึ่งต่ำกว่า Opus 4.8 ที่ 1.94 ดอลลาร์สหรัฐ

การประเมินยังพบว่าราคาต่อ Token ไม่สามารถสะท้อนต้นทุนจริงได้โดยตรง Sonnet 5 มีราคาต่อ Token ถูกกว่า แต่ในชุดงานนี้ใช้เวลาทำงานนานกว่าและอ่านข้อมูลมากกว่า ส่งผลให้ต้นทุนต่องานสูงขึ้นแทน

โครงสร้างเครื่องมือก็มีความสำคัญเช่นกัน โมเดลเดียวกันเมื่อเปลี่ยนเฟรมเวิร์ก Agent ที่แตกต่างกัน ต้นทุนต่องานอาจแตกต่างกันมากกว่า 2 เท่า แต่คุณภาพของงานที่เสร็จสมบูรณ์เปลี่ยนแปลงไม่มากนัก

แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น