ตามการติดตามของ Beating ทีม LongCat ของ Meituan ร่วมกับมหาวิทยาลัยแห่งชาติสิงคโปร์ มหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีแห่งประเทศจีน มหาวิทยาลัยไปรษณีย์และโทรคมนาคมปักกิ่ง และมหาวิทยาลัยเจ้อเจียง เปิดตัวเกณฑ์มาตรฐานการประเมินเอเจนต์อัจฉริยะ VitaBench 2.0 ระบบประเมินนี้ขยายการทดสอบโมเดลขนาดใหญ่จากงานครั้งเดียวไปสู่บริการในชีวิตประจำวันแบบหลายเซสชันระยะยาว โดยประเมินประสิทธิภาพของเอเจนต์อัจฉริยะในการสร้างแบบจำลองส่วนบุคคลและการโต้ตอบเชิงรุก
การทดสอบจำลองปฏิสัมพันธ์ระหว่างมนุษย์กับเครื่องจักรในระยะยาว ประกอบด้วยโปรไฟล์ผู้ใช้ 56 รูปแบบ การระบุความชอบแบบไดนามิกมากกว่า 2,000 รายการ และคำขอบริการ 819 รายการในด้านต่างๆ เช่น การจัดส่งอาหาร การใช้จ่ายในร้านค้า และการท่องเที่ยวออนไลน์ ผลการทดสอบพบว่า เมื่ออัตราข้อผิดพลาดในการเรียกใช้เครื่องมือลดลงอย่างมีนัยสำคัญ การจับและนำความชอบของผู้ใช้ไปใช้ได้กลายเป็นอุปสรรคหลักที่จำกัดการนำเอเจนต์อัจฉริยะไปใช้จริง
ในการประเมินโมเดล前沿หลายรุ่น ข้อบกพร่องของโมเดลขนาดใหญ่ในบริการส่วนบุคคลระยะยาวถูกเปิดเผยอย่างชัดเจน แม้ในโหมดบริบทเต็มรูปแบบที่เหมาะสมที่สุดซึ่งสามารถอ่านประวัติทั้งหมดได้ คะแนนเฉลี่ย (Avg@4) ของ Claude-Opus-4.6 ที่ทำงานอิสระสี่ครั้งอยู่ที่เพียง 0.503 ส่วน DeepSeek-V4-Pro ซึ่งเป็นโมเดลที่ไม่ใช้การคิดที่แข็งแกร่งที่สุดก็มีเพียง 0.456
โมเดลส่วนใหญ่เมื่อเพิ่มโมดูลหน่วยความจำภายนอกแล้ว ประสิทธิภาพไม่สามารถเกินเกณฑ์พื้นฐานของบริบทเต็มรูปแบบได้อย่างเสถียร หน่วยความจำที่เอเจนต์อัจฉริยะควบคุมเองมักสูญเสียข้อมูลระหว่างการอัปเดต ในขณะที่การดึงข้อมูลเสริมการสร้าง (RAG) มักถูกรบกวนจากสัญญาณรบกวนที่มีลักษณะคล้ายคลึงกัน นอกจากนี้ การเปิดโหมดการคิดไม่มีข้อได้เปรียบเชิงระบบสำหรับการสร้างแบบจำลองส่วนบุคคล ซึ่งแสดงให้เห็นว่าการกรองสัญญาณรบกวนและการถามเชิงรุกไม่สามารถแก้ไขได้ด้วยการใช้ตรรกะเพียงอย่างเดียว
การทดสอบยังเผยให้เห็นจุดอ่อนของโมเดลขนาดใหญ่ในการถามเชิงรุกและการใช้ความชอบ เมื่อข้อมูลไม่เพียงพอ โมเดลมักเดาอย่างสุ่มสี่สุ่มห้าและตัดสินใจก่อนเวลาอันควร ส่งผลให้ประสิทธิภาพของเอเจนต์ Claude ในงานโต้ตอบเชิงรุกลดลงจาก 46.0 เหลือ 27.4 DeepSeek จาก 44.1 เหลือ 27.8 และ GLM จาก 36.4 เหลือ 19.3 แม้จะป้อนข้อมูลความชอบมาตรฐานที่แม่นยำที่สุดลงในหน่วยความจำโดยตรง คะแนนของ DeepSeek และ Claude ก็มีเพียง 52.7 และ 51.2 ซึ่งแสดงให้เห็นว่าในการตัดสินใจจริงของโมเดลขนาดใหญ่ การจัดลำดับ บูรณาการ และดำเนินการตามความชอบของผู้ใช้อย่างเหมาะสมนั้นยากกว่าการดึงความชอบออกมาเสียอีก
การวิเคราะห์สาเหตุของข้อผิดพลาดแสดงให้เห็นว่า เมื่อความสามารถของโมเดลขนาดใหญ่พัฒนาขึ้น ข้อผิดพลาดที่เกี่ยวข้องกับการใช้เครื่องมือลดลงอย่างมีนัยสำคัญ ในขณะที่ข้อผิดพลาดที่เกิดจากความเข้าใจผิดในความชอบเริ่มครอบงำ อุปสรรคหลักของเอเจนต์อัจฉริยะในอนาคตจะไม่ใช่การเรียกใช้เครื่องมือเพียงอย่างเดียวอีกต่อไป แต่คือการเข้าใจและจดจำความหมายแฝงของผู้ใช้อย่างแท้จริง
