AI ฝึกงาน 7 เดือนแซงมนุษย์จริง: ตำแหน่งบัญชี Fable 5.1 อัตราความสำเร็จ 72%

动察 Beating ข่าวด่วน AI บริษัทสตาร์ทอัพ AI Agent NeoCognition เปิดตัว ApprenticeBench เพื่อทดสอบว่า AI สามารถเรียนรู้งานได้ด้วยตัวเองเหมือนพนักงานใหม่หรือไม่ เวอร์ชันแรกให้ Agent เข้าสู่บริษัทก่อสร้างจำลองในแคลิฟอร์เนียเพื่อทำงานบัญชีเจ้าหนี้ โดยเริ่มจากอ่านใบแจ้งหนี้ย้อนหลังครึ่งปี คู่มือบริษัท และบทเรียน Odoo จากนั้นประมวลผลใบแจ้งหนี้ 100 ใบต่อเนื่องเป็นเวลา 7 เดือน ซึ่งระหว่างนั้นยังเจอกับการเปลี่ยนแปลงกฎและข้อเสนอแนะจากหัวหน้า

Fable 5.1 มีอัตราความสำเร็จสุดท้าย 72% GPT-6 Astra อยู่ที่ 68% ขณะที่ผู้ทดสอบมนุษย์ที่ดีที่สุดทำได้เพียง 51% งานไม่ได้มีแค่การบันทึกใบแจ้งหนี้ แต่ยังรวมถึงการค้นหาข้อผิดพลาด การจัดสรรต้นทุน การติดต่อซัพพลายเออร์ การดำเนินการอนุมัติ และการเรียนรู้กฎภายในบริษัทจากบันทึกประวัติและข้อเสนอแนะ โมเดลทั้งสองทำคะแนนจากการใช้งาน GUI โดยตรงได้สูงกว่าการเรียก API เล็กน้อย ความสูญเสียประสิทธิภาพที่เคยพบบ่อยใน Computer Use แทบหายไปแล้ว

อย่างไรก็ตาม การ "เหนือกว่ามนุษย์" เกิดขึ้นเฉพาะในตำแหน่งจำลองนี้เท่านั้น และกลุ่มตัวอย่างมนุษย์มีเพียง 2 คน ค่าใช้จ่ายก็สูงกว่า โดย Fable 5.1 เฉลี่ย 18.23 ดอลลาร์ต่องาน ขณะที่มนุษย์ประมาณ 7.21 ดอลลาร์ ยิ่งมนุษย์ทำก็ยิ่งเร็ว แต่ Agent กลับช้าลงเพราะยิ่งจดจำข้อมูลมากขึ้น