NVIDIA เปิดตัวเทคโนโลยีหน่วยความจำ NVHBM แบนด์วิดท์เพิ่มขึ้น 30% การใช้พลังงานลดลง 15%

BlockBeats รายงานว่า เมื่อวันที่ 27 สิงหาคม NVIDIA ได้เปิดตัวเทคโนโลยี NVHBM สำหรับโครงสร้างพื้นฐาน AI รุ่นถัดไป NVHBM เป็นฐานไดย์ HBM แบบกำหนดเองที่ออกแบบและตรวจสอบร่วมกับผู้ผลิตชิปหน่วยความจำรายใหญ่ โดยจะให้บริการแก่ผู้ให้บริการคลาวด์ไฮเปอร์สเกลและองค์กร AI เนทีฟที่พัฒนาเร่งความเร็ว AI แบบกำหนดเอง (XPU) ผ่านทาง NVLink Fusion

เมื่อเทียบกับ HBM4e มาตรฐาน NVHBM สามารถให้แบนด์วิดท์หน่วยความจำเพิ่มเติมสูงสุด 30% ต่อสแตก ลดการใช้พลังงาน HBM ลงสูงสุด 15% และปลดปล่อยพื้นที่ไดย์ประมวลผลสำหรับ XPU ได้สูงสุด 25% NVIDIA กล่าวว่าการปรับปรุงข้างต้นช่วยให้ตัวเร่งความเร็วแบบกำหนดเองรองรับโมเดล AI ที่ใหญ่ขึ้น อ่าน KV cache ได้เร็วขึ้น และเพิ่มประสิทธิภาพการฝึกอบรมและการอนุมานขนาดใหญ่

NVHBM ออกแบบอินเทอร์เฟซหน่วยความจำทางกายภาพใหม่ โดยย้ายคอนโทรลเลอร์หน่วยความจำเข้าไปในสแตก HBM แบบ 3D และรวม PHY แบบกำหนดเอง ทำให้พื้นที่ PHY และพื้นที่โดยรอบลดลงสูงสุด 67% พร้อมลดความซับซ้อนของการเดินสายอินเทอร์โพเซอร์ พื้นที่ชิปที่ปลดปล่อยออกมาสามารถใช้เพิ่มเอ็นจินเมทริกซ์ แคช เครือข่าย และฟังก์ชันอื่นๆ ที่เฉพาะเจาะจงต่อเวิร์กโหลด

ในระดับแร็ค ชิปเล็ต NVLink Fusion สามารถเชื่อมต่อ XPU แบบกำหนดเองเข้ากับเครือข่าย NVLink และเชื่อมต่อ CPU ผ่าน NVLink-C2C NVIDIA ระบุว่าเมื่อรวม NVHBM กับ NVLink Fusion ประสิทธิภาพแบบ end-to-end ต่อ XPU จะเพิ่มขึ้นประมาณ 30% พร้อมอนุญาตให้ XPU แบบกำหนดเองทำงานร่วมกับ GPU ของ NVIDIA ในระบบคอมพิวเตอร์แบบเฮเทอโรจีเนียส อย่างไรก็ตาม ทางบริษัทยังไม่ได้เปิดเผยกำหนดการเชิงพาณิชย์ที่เฉพาะเจาะจงในบทความนี้