Arena เปิดตัว AutoEval: AI จำลองการให้คะแนนแบบมนุษย์ก่อน โมเดลใหม่ได้คะแนนภายใน 1 ชั่วโมง

ตามการติดตามของ 动察 Beating แพลตฟอร์มการประเมินโมเดลขนาดใหญ่ Arena ได้เปิดตัว AutoEval ซึ่งใช้โมเดลรางวัล (โมเดลการให้คะแนนที่เรียนรู้จากความชอบของมนุษย์จริง) เพื่อจำลองการโหวตของผู้ใช้ และสร้างคะแนนอันดับสำหรับโมเดลใหม่ได้อย่างรวดเร็ว หลังจากที่โมเดลใหม่ออกวางจำหน่าย ไม่ต้องรอการสะสมคะแนนโหวตจริงจากผู้ใช้เป็นเวลาหลายวัน โดย最快ใช้เวลาไม่ถึง 1 ชั่วโมงก็สามารถได้รับอันดับโดยประมาณได้ คะแนนนี้จะถูกระบุว่าเป็น AutoEval และจะถูกปรับแก้ด้วยผลการโหวตจริงจากผู้ใช้ในภายหลัง

ระบบนี้ฝึกฝนจากข้อมูลความชอบของผู้ใช้จริงหลายล้านชุด ในการประเมิน AutoEval จะเปรียบเทียบคุณภาพคำตอบของโมเดลต่างๆ และคำนวณคะแนนตามกฎการจัดอันดับเดิมของ Arena ปัจจุบันรองรับการประเมินโมเดลข้อความ ภาพ การสร้างภาพ และโค้ด

การทดสอบย้อนหลังของ Arena แสดงให้เห็นว่าความสัมพันธ์ระหว่าง AutoEval กับอันดับจริงจากผู้ใช้ในภายหลังสูงกว่า 0.98 เมื่อโมเดลสองตัวมีคะแนนต่างกันจริงมากกว่า 10 คะแนน ความแม่นยำในการตัดสินแพ้ชนะสูงกว่า 90% และเมื่อต่างกันมากกว่า 15 คะแนน ความแม่นยำถึง 100% แต่เมื่อความแตกต่างของโมเดลน้อยกว่า 5 คะแนน ยังคงยากที่จะแยกแยะได้อย่างเสถียร