Haiku 5.5 ได้คะแนนรีวิวอิสระ 43 คะแนน: นำหน้า GPT-6 Luna อย่างห่างไกล แต่การใช้ Token ในระดับสูงสุดเกิน 3 เท่า

动察 Beating ข่าวด่วน AI สถาบันประเมินผลบุคคลที่สาม Artificial Analysis เปิดเผยผลการทดสอบ Claude Haiku 5.5 โมเดลใหม่ได้คะแนน 43 คะแนนในดัชนีสติปัญญาแบบรวม เพิ่มขึ้น 26 คะแนนจาก 17 คะแนนของรุ่นก่อนหน้า แซงหน้า GPT-6 Luna ที่ 38 คะแนน, GLM-5.3 Flash ที่ 42 คะแนน และใกล้เคียงกับ Kimi K3 ที่ 44 คะแนน ดัชนีนี้รวมการทดสอบ 10 รายการ เช่น การเขียนโปรแกรม งานวิชาชีพ และการให้เหตุผลทางวิทยาศาสตร์

อย่างไรก็ตาม คะแนนสูงมาพร้อมกับการใช้ token จำนวนมาก ที่ระดับการให้เหตุผลสูงสุด Haiku 5.5 ส่งออกเฉลี่ยประมาณ 162,000 tokens ต่องานประเมิน ซึ่งเป็น 3.2 เท่าของ GPT-6 Luna ทั้งสองมีราคา API พื้นฐานเท่ากัน แต่ต้นทุนต่องานประมาณการของ Haiku 5.5 อยู่ที่ประมาณ 0.21 ดอลลาร์ ขณะที่ Luna อยู่ที่เพียง 0.07 ดอลลาร์ เมื่อปรับ Haiku 5.5 จากระดับรองสูงสุดเป็นสูงสุด คะแนนรวมเพิ่มขึ้นเพียง 2 คะแนน แต่ปริมาณการส่งออกเพิ่มขึ้นประมาณ 80%

หลังจากลดความเข้มข้นของการให้เหตุผล ช่องว่างลดลงอย่างชัดเจน Haiku 5.5 ได้ 38 คะแนนที่ระดับ high ส่งออกเฉลี่ยประมาณ 55,000 tokens ต่องาน ใกล้เคียงกับ GPT-6 Luna ที่ระดับสูงสุดซึ่งได้ 38 คะแนนและ 50,000 tokens นักพัฒนาสามารถปรับความเข้มข้นของการให้เหตุผลเพื่อลดการใช้ token ที่ไม่จำเป็น

Haiku 5.5 ก็ไม่ได้นำในทุกด้าน ในการประเมินงานอัตโนมัติ AutomationBench-AA ได้เพียง 35% ตามหลัง Luna ที่ 53% อย่างไรก็ตาม ในระหว่างการทดสอบ โมเดลมีปัญหาปฏิเสธที่จะทำงานมากเกินไป Anthropic กำลังแก้ไข และ Artificial Analysis วางแผนที่จะทดสอบใหม่ นอกจากนี้ ต้นทุนต่องานของ Haiku 5.5 ที่เปิดเผยในปัจจุบันยังไม่รวมค่าธรรมเนียมเพิ่มสำหรับ context ยาว ค่าใช้จ่ายจริงอาจสูงกว่านี้