ตามการติดตามของ Beating หน่วยงานประเมิน Artificial Analysis ได้เปิดตัวเกณฑ์มาตรฐานฮาร์ดแวร์สำหรับเอเจนต์ (Agent) ตัวแรกของอุตสาหกรรมที่ชื่อว่า AA-AgentPerf การประเมินแบบดั้งเดิมเปรียบเสมือนการวิ่งระยะสั้นแบบถาม-ตอบครั้งเดียว ซึ่งวัดเฉพาะความเร็วในการตอบสนอง ในขณะที่ภารกิจของเอเจนต์เปรียบเสมือนการวิ่งผลัด ซึ่ง AI ต้องแยกย่อยเป้าหมายด้วยตนเอง และทำงานวนซ้ำในการอ่านเขียนไฟล์ แก้ไขโค้ด และรันการทดสอบ การโต้ตอบที่บ่อยครั้งนี้สร้างความท้าทายอย่างสูงต่อความจุหน่วยความจำของเซิร์ฟเวอร์และประสิทธิภาพการจัดสรร เกณฑ์มาตรฐานนี้ใช้การเล่นซ้ำเส้นทางการเขียนโปรแกรมจริง โดยใช้ "จำนวนเอเจนต์พร้อมกันที่รองรับต่อเมกะวัตต์ของพลังงาน" เป็นตัวชี้วัดประสิทธิภาพการใช้พลังงานหลัก ซึ่งมุ่งตรงไปที่ปัญหาคอขวดด้านพลังงานและเงินทุนของศูนย์ข้อมูล
การทดสอบรอบแรกใช้โมเดลโอเพนซอร์ส DeepSeek V4 Pro ที่มีพารามิเตอร์ 1.6 ล้านล้าน ผลลัพธ์แสดงให้เห็นว่าระบบตู้แช่เย็นแบบของเหลว Blackwell ของ NVIDIA รุ่น GB300 NVL72 สามารถรองรับเอเจนต์พร้อมกันได้ 61,400 ตัวต่อเมกะวัตต์ของพลังงาน ในขณะที่รุ่นก่อนหน้า Hopper HGX H200 รองรับได้เพียง 2,600 ตัว ซึ่งเพิ่มประสิทธิภาพการใช้พลังงานมากกว่า 20 เท่า ความจุพร้อมกันต่อการ์ดจอเดี่ยวก็เพิ่มขึ้น 41 เท่าเช่นกัน ทำให้ภายใต้งบประมาณพลังงานที่เท่ากัน ศูนย์ข้อมูลสามารถรองรับขนาดเอเจนต์พร้อมกันได้มากกว่า 20 เท่า ซึ่งช่วยลดต้นทุนการใช้งานแอปพลิเคชันต่างๆ เช่น การเขียนโปรแกรมอัตโนมัติและบริการลูกค้าได้อย่างมาก
ในผลลัพธ์รอบแรก AMD Instinct MI355X ยังคงตามหลังอยู่ ผู้ประเมินชี้ให้เห็นว่าการกำหนดค่าของ AMD และ H200 ใช้เฟรมเวิร์กโอเพนซอร์สทั่วไปอย่าง vLLM ในการสร้าง โดยไม่ได้ปรับแต่งอย่างลึกซึ้ง เมื่อมีการปรับเฟรมเวิร์กบริการและเคอร์เนลย่อยให้เหมาะสม ประสิทธิภาพของ AMD ยังมีพื้นที่ให้ปรับปรุงอีก ปัจจุบัน ผู้ให้บริการอนุมานผล เช่น Together AI ได้เริ่มปรับใช้ DeepSeek V4 Pro บน Blackwell แล้ว เพื่อให้การสนับสนุนการอนุมานแบบเรียลไทม์สำหรับเครื่องมือเขียนโปรแกรมเอเจนต์อย่าง Cursor