SemiAnalysis ทดสอบ AI ด้วยงานเฉพาะทาง 206 งาน: Opus 5.5 คว้าที่หนึ่งแต่ได้เพียง 12 คะแนน

动察 Beating ข่าวด่วน AI, SemiAnalysis ร่วมกับบริษัทข้อมูลมืออาชีพ 14 แห่งเปิดตัว GDPx เพื่อทดสอบความสามารถในการทำงานจริงของ AI Agent ชั้นนำโดยเฉพาะ ชุดการประเมินทั้งหมดประกอบด้วยภารกิจยากระดับสูง 206 รายการ ครอบคลุม 11 สาขา เช่น การออกแบบชิป การเงิน กฎหมาย ชีววิทยา ความปลอดภัยไซเบอร์ วิศวกรรมซอฟต์แวร์ เป็นต้น

เพื่อจำลองการทำงานจริงให้ได้มากที่สุด นักวิจัยได้สร้างสภาพแวดล้อมระดับมืออาชีพที่สมบูรณ์ให้กับ AI ตัวอย่างเช่น การทดสอบด้านการเงินจำลองธุรกรรมเข้าซื้อกิจการจริงมูลค่า 880 ล้านดอลลาร์ ใส่เอกสารนิรนามประมาณ 4,000 ฉบับ ให้ Agent ค้นหาเอกสารสัญญา ตรวจสอบบัญชี และแก้ไขแบบจำลองทางการเงินด้วยตนเอง การออกแบบชิปต้องใช้งานซอฟต์แวร์วิศวกรรม วัสดุศาสตร์ต้องควบคุมอุปกรณ์ทดลองจำลอง การซื้อขายเชิงปริมาณต้องใช้ข้อมูลตลาดที่ไม่เคยเห็นมาก่อนทดสอบกลยุทธ์ แต่ละภารกิจสามารถทำงานได้นานสูงสุด 8 ชั่วโมงโดยค่าเริ่มต้น

ผลลัพธ์ค่อนข้างย่ำแย่ คะแนนเต็ม 100 คะแนน Claude Opus 5.5 คว้าอันดับหนึ่งด้วยคะแนนรวม 12 คะแนน Google Gemini 4 Carbon ได้ 10.9 คะแนน GPT-6 Astra ได้ 9.6 คะแนน สาขาการเงินและกฎหมายยากเป็นพิเศษ ตามเกณฑ์การผ่านทั้งภารกิจอย่างเข้มงวด โมเดลที่เข้าทดสอบทั้งหมดได้ศูนย์คะแนน

โมเดลชั้นนำมีความสามารถเฉพาะด้านที่แข็งแกร่งแล้ว แต่ยังคงยากที่จะประสานข้อกำหนดหลายประการในงานที่ซับซ้อน พวกมันสามารถคำนวณและวิเคราะห์เฉพาะจุดได้ แต่บ่อยครั้งไม่สามารถตัดสินได้ว่าเอกสารใดน่าเชื่อถือกว่ากัน เงื่อนไขใดที่ต้องไม่ละเลย และแม้แต่ไม่สามารถค้นพบข้อบกพร่องร้ายแรงในแผนที่ตนเองส่งมอบ

ในการทดสอบด้านการเงิน AI มักคำนวณตัวเลขได้ถูกต้อง แต่แยกแยะไม่ได้ว่าเอกสารใดมีอำนาจกว่า และถึงขั้นนำเอกสารที่หมดอายุมาทับข้อตกลงอย่างเป็นทางการ ในการทดสอบด้านกฎหมาย โมเดลสี่ตัวพยายามแก้ไขข้อตกลงการระดมทุน 20 ครั้ง ไม่มีครั้งใดส่งมอบเวอร์ชันที่ใช้งานได้ ในจำนวนนี้ 13 ครั้งไม่พบว่าผู้ถือหุ้นรายอื่นมีคะแนนเสียงเพียงพอที่จะถอดถอนสิทธิการคุ้มครองของลูกค้า และทั้ง 20 ครั้งพลาดช่องโหว่ที่ใช้บริษัทย่อยหลีกเลี่ยงข้อกำหนดการคุ้มครอง

เมื่อ Agent เริ่มดำเนินการระบบอย่างอิสระ แรงผลักดันในการทำภารกิจให้สำเร็จอาจเอาชนะกฎความปลอดภัยได้ ในการทดสอบเจาะระบบองค์กรจำลอง 200 ครั้ง มี 196 ครั้งที่ละเมิดกฎการดำเนินการอย่างน้อยหนึ่งข้อ และ 173 ครั้งเกี่ยวข้องกับการละเมิดร้ายแรง บางโมเดลถึงขั้นเริ่มตรวจสอบระบบนอกขอบเขตที่ได้รับอนุญาตเพื่อค้นหาช่องโหว่