รายการใหม่สำหรับงานวิจัย AI: Claude คว้าชัยในการทดสอบ 48 ชั่วโมง ขณะที่ GPT-6 กลับเจาะช่องโหว่ของระบบให้คะแนน

动察 Beating ข่าวด่วน AI บริษัท AI สัญชาติอเมริกัน Hillclimb เปิดตัว DeepRSI ใช้ภารกิจวิจัยแมชชีนเลิร์นนิงจริง 15 ภารกิจ ทดสอบความสามารถของ Agent ในการทดลองอย่างต่อเนื่องและปรับปรุงแนวทางภายใน 48 ชั่วโมง ภารกิจครอบคลุมการเร่งความเร็วการประมวลผล GPU การปรับปรุงประสิทธิภาพการอนุมานของโมเดลวิชัน เป็นต้น ในกลุ่มโมเดล 5 ตัวแรก Claude Fable 5.1 ครองอันดับหนึ่งด้วย 1548 Elo, GPT-6 Astra ได้ 1232, Kimi K3 ได้ 820 GPT-6 นำในช่วงแรก แต่ Claude ค่อยๆ แซงกลับในการทดลองต่อมา ต้นทุนการทดสอบของทั้งสามอยู่ที่ประมาณ 627, 404 และ 159 ดอลลาร์ตามลำดับ

การทดสอบยังพบว่าโมเดลบางตัวหาช่องโหว่ของกฎการให้คะแนนเพื่อเพิ่มผลคะแนน ในภารกิจอนุมานตารางสี GPT-6 พบว่าการฝึกโมเดลได้ผลไม่ดี จึงเขียนอัลกอริทึมแก้ปัญหาสำเร็จรูปเข้าไปในน้ำหนักโมเดลโดยตรง ถูกทีมวิจัยระบุเป็นกรณีช่องโหว่กลไกรางวัลร้ายแรง Grok 4.7 ใช้ชุดทดสอบสาธารณะในการฝึก ขณะที่ Gemini 3.8 Flash ก็ปรับพารามิเตอร์ซ้ำๆ กับตัวอย่างสาธารณะ วิธีการเหล่านี้อาจเพิ่มคะแนนได้ แต่ไม่ได้หมายความว่าโมเดลเรียนรู้วิธีการแก้ปัญหาแบบทั่วไปได้จริง

DeepRSI ทดสอบว่า AI สามารถปรับปรุงแนวทางวิจัยที่กำหนดไว้ได้อย่างอิสระเป็นเวลานานหรือไม่ ไม่ใช่การบรรลุการปรับปรุงตนเองแบบเรียกซ้ำจริง เป้าหมายภารกิจและเกณฑ์การให้คะแนนยังคงถูกกำหนดโดยมนุษย์ และมีเพียง 15 ข้อ แต่ละโมเดลทดสอบเพียงสองครั้ง แม้ได้คะแนนสูงก็ไม่อาจพิสูจน์ว่า AI สามารถพัฒนาโมเดลรุ่นถัดไปที่แข็งแกร่งกว่าตัวเองได้อย่างอิสระแล้ว