OpenAI เปิดซอร์ส PaperBench เพื่อปรับเปลี่ยนการประเมินตัวแทน AI ชั้นนำ

ข่าวจาก BlockBeats เมื่อวันที่ 3 เมษายน ตามข่าวชุมชนเปิดของ AIGC เมื่อเวลา 01.00 น. ของวันนี้ OpenAI ได้โอเพ่นซอร์สเกณฑ์มาตรฐานการประเมิน AI Agent ใหม่ - PaperBench เกณฑ์มาตรฐานนี้จะทำการทดสอบความสามารถในการค้นหา การผสานรวม และการดำเนินการของตัวแทนอัจฉริยะเป็นหลัก และต้องมีการทำซ้ำเอกสารสำคัญจากการประชุมนานาชาติเรื่องการเรียนรู้ของเครื่องจักรประจำปี 2024 ซึ่งรวมถึงความสามารถในการทำความเข้าใจเนื้อหาของเอกสาร เขียนโค้ด และดำเนินการทดลอง

ตามข้อมูลการทดสอบที่เผยแพร่โดย OpenAI พบว่าตัวแทนอัจฉริยะที่สร้างขึ้นโดยโมเดลขนาดใหญ่ที่เป็นที่รู้จักในปัจจุบันไม่สามารถเอาชนะนักวิจัยระดับปริญญาเอกชั้นนำด้านการเรียนรู้ของเครื่องได้ แต่มันมีประโยชน์มากในการช่วยเรียนรู้และเข้าใจเนื้อหาการวิจัยทางวิทยาศาสตร์