Underdog อัด Qwen3.8-27B เหลือ 7.89GB: ทดสอบการเรียกใช้เครื่องมือด้วยตนเองเกินต้นฉบับ

动察 Beating ข่าวด่วน AI, ผู้ช่วย AI ภายในเครื่อง Underdog ที่ลงทุนโดย a16z เปิดตัว Saluki 27B สร้างขึ้นจาก Alibaba Qwen3.8-27B โมเดลใช้การควอนไทซ์ประมาณ 2-bit ขนาดลดลงจากเวอร์ชันความแม่นยำเต็มประมาณ 54GB เหลือ 7.89GB ทางบริษัทกล่าวว่าแล็ปท็อปที่มี RAM 16GB ก็สามารถรันได้ และรองรับการติดตั้งผ่านเครื่องมือที่มีอยู่เช่น llama.cpp น้ำหนักโมเดลเปิดให้ใช้ภายใต้สัญญาอนุญาต Apache 2.0

Saluki ใช้ผลงานการควอนไทซ์จาก ISTA-DASLab ของสถาบันวิทยาศาสตร์และเทคโนโลยีออสเตรีย ห้องปฏิบัติการนี้เคยบีบอัด Qwen3.8-27B เหลือประมาณ 8.4GB มาก่อน Underdog ลดขนาดเพิ่มเติมจากพื้นฐานนี้ และเน้นปรับปรุงประสิทธิภาพการเรียกใช้เครื่องมือ

ในคำถามทดสอบการเรียกใช้เครื่องมือ 120 ข้อที่คัดเลือกจาก BFCL, Saluki ตอบถูก 88 ข้อ, เวอร์ชันควอนไทซ์ของ ISTA ตอบถูก 76 ข้อ, เวอร์ชันต้นฉบับ 54GB ตอบถูก 84 ข้อ ในงานแก้ไขปัญหา GitHub จริง 50 งาน, Saluki แก้ไขได้ 30 งาน, เวอร์ชันต้นฉบับแก้ไขได้ 33 งาน

ทางบริษัทกล่าวว่า Saluki ในการประเมิน 9 รายการรักษาคะแนนได้เฉลี่ย 96% ของเวอร์ชันต้นฉบับ แต่ผลลัพธ์แตกต่างกันมากในแต่ละงาน การแข่งขันคณิตศาสตร์และการ推理เชิงซ้อนได้คะแนนเพียงประมาณ 83% และ 85% ของเวอร์ชันต้นฉบับตามลำดับ