动察 Beating AI ข่าวด่วน บริษัทข้อมูล AI ชื่อ Idler ระดมทุนรอบ Seed มูลค่า 9 ล้านดอลลาร์สหรัฐ นำโดย Paradigm ร่วมด้วย Y Combinator, Long Journey Ventures และอื่นๆ โดยบริษัทนี้主要负责สร้างการประเมินผล benchmark และสภาพแวดล้อมการเรียนรู้แบบเสริมกำลังให้กับบริษัทโมเดลชั้นนำ ทำให้ AI ทำงานซ้ำๆ รับฟีดแบ็กในสถานการณ์ที่ใกล้เคียงกับการทำงานจริง แล้วนำไปฝึกต่อ
ก่อนหน้านี้ Idler เน้นด้าน Coding เป็นหลัก ในปีที่ผ่านมาได้สร้างชุดการประเมินผลและสภาพแวดล้อมการฝึก编程หลายพันชุดให้กับห้องปฏิบัติการ AI ชั้นนำ ข้อมูลสาธารณะจาก YC ยังแสดงให้เห็นว่า Idler ได้เซ็นสัญญามูลค่าหลายล้านดอลลาร์กับห้องปฏิบัติการโมเดลพื้นฐานชั้นนำแล้ว
ตอนนี้บริษัทเริ่มขยายวิธีการนี้ไปสู่การทำงานจริงในองค์กร benchmark สาธารณะตัวแรกชื่อ ShelfLife ซึ่งเปลี่ยนบริษัทค้าปลีกที่ดำเนินงานจริงให้เป็น "Digital Twin" เว็บไซต์อย่างเป็นทางการปัจจุบันมี 200 งาน ข้อมูลมาจากบันทึกการดำเนินงานจริงเกือบสิบปีของบริษัทนี้ Claude Opus 5 มีอัตราผ่านสูงสุดที่ 69.0% ส่วน GPT-5.6 Sol อยู่ที่ 55.7%
Idler ยังใช้ 41 งานจาก ShelfLife ในการฝึกหลังการเทรน (post-training) ให้กับ NVIDIA Nemotron 3 Nano ซึ่งเพิ่มคะแนนใน Finance Agent Benchmark จาก 30.0% เป็น 41.8%
นอกจากการค้าปลีก Idler เริ่มสร้างสภาพแวดล้อมการทำงานจริงในด้านกฎหมายองค์กรและอื่นๆ โดยมีเป้าหมายเพื่อผลักดันการฝึกโมเดลจาก "การทำโจทย์" ไปสู่ "การทำงานจริง" ต่อไป
