ตามการติดตามของ Beating เอเจนต์โมเดลขนาดใหญ่มักจะพัฒนาตนเองผ่านการอัปเดต "อุปกรณ์" ภายนอก (Harness ซึ่งรวมถึงพรอมต์ ความทรงจำ ทักษะ และเครื่องมือ) งานวิจัยล่าสุดที่เผยแพร่โดยมหาวิทยาลัยแห่งรัฐเพนซิลเวเนีย มหาวิทยาลัยแคลิฟอร์เนีย ซานตาครูซ และ Amazon ภายใต้ชื่อ Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents ได้แยกกระบวนการวิวัฒนาการออกเป็นสองมิติเป็นครั้งแรก ได้แก่ "การอัปเดตอุปกรณ์" ของตัววิวัฒนาการ และ "การได้รับประโยชน์จากอุปกรณ์" ของฝ่ายปฏิบัติการ การทดสอบแบบไขว้ชี้ให้เห็นว่าความสามารถในการอัปเดตอุปกรณ์มีลักษณะ "ราบเรียบ" อย่างชัดเจนบนความสามารถพื้นฐานของโมเดล ความแตกต่างของผลประโยชน์ที่ได้จากการอัปเดตอุปกรณ์ระหว่างโมเดลต่างๆ มีสูงสุดเพียง 3.1% และทักษะที่อัปเดตโดย Qwen3.5-9B ซึ่งมีขนาด 9B นั้น มีโครงสร้างโปรแกรมที่เทียบเท่าในระดับสูงกับ Claude Opus 4.6 ซึ่งเป็นรุ่นเรือธง ซึ่งแสดงให้เห็นว่าเมื่อพัฒนาระบบวิวัฒนาการตนเอง ไม่จำเป็นต้องใช้โมเดลต้นทุนสูงในบทบาทของตัววิวัฒนาการ
ในทางตรงกันข้าม ความสามารถของเอเจนต์ในการได้รับประโยชน์จากอุปกรณ์มีแนวโน้ม "ไม่เป็นเอกภาพ" โมเดลระดับสูงมีประสิทธิภาพใกล้ถึงขีดจำกัดแล้ว ในขณะที่โมเดลที่อ่อนแอกว่า (เช่น Qwen3-32B) แม้จะมีพื้นที่ในการปรับปรุงมากที่สุด แต่กลับได้รับประโยชน์น้อยที่สุด งานวิจัยชี้ให้เห็นถึงความล้มเหลวสองรูปแบบหลักในโมเดลที่อ่อนแอ ประการแรกคือ "ความล้มเหลวในการเปิดใช้งานอุปกรณ์" โดยโมเดลที่อ่อนแอมีอัตราการโหลดทักษะในเกณฑ์มาตรฐาน SkillsBench เพียง 25.1% ในขณะที่โมเดลที่แข็งแกร่งมีอัตราการโหลดสูงถึงประมาณ 96% ประการที่สองคือ "ความล้มเหลวในการปฏิบัติตามอุปกรณ์" เมื่อเส้นทางการดำเนินงานระยะยาวขยายออกไป ความสามารถในการปฏิบัติตามคำสั่งของโมเดลที่อ่อนแอจะลดลงอย่างรวดเร็วจาก 0.52 ในช่วงเริ่มต้นการโหลด เหลือเพียง 0.13
การค้นพบที่ล้ำสมัยนี้สร้างเสียงสะท้อนอย่างแรงกล้าต่อ Elvis Sar (@omarsar0) นักวิจัย AI ชื่อดัง Elvis Sar ชี้ให้เห็นว่าในการทดลองของเขากับเอเจนต์การเขียนโค้ดและงานระยะยาว เขาสังเกตเห็นปรากฏการณ์ที่เหมือนกันทุกประการ: โมเดลที่ทรงพลังกว่าไม่ได้วิวัฒนาการเป็นเอเจนต์ที่ดีกว่าเสมอไป งานวิจัยนี้ให้แนวทางสำคัญสำหรับการออกแบบสถาปัตยกรรมระบบเอเจนต์ โดยชี้ให้เห็นว่าควรจัดสรรงบประมาณการคำนวณให้กับเอเจนต์ปฏิบัติการ และเน้นย้ำในการฝึกอบรมเอเจนต์ถึงความสามารถในการปลุกอุปกรณ์ด้วยตนเองและการปฏิบัติตามคำสั่งระยะยาว
