TL;DR

·ความต้องการจัดเก็บข้อมูลของ AI ไม่ได้จำกัดอยู่แค่ HBM การฝึกฝนต้องใช้ระบบหน่วยความจำทั้งหมดตั้งแต่ HBM, DRAM ของระบบ ไปจนถึง SSD และพื้นที่จัดเก็บแบบแบ่งปัน

·อุปสรรคที่แท้จริงของการอนุมานเกิดขึ้นในขั้นตอนการถอดรหัส KV Cache จะเติบโตพร้อมกับความยาวของบริบทและจำนวนผู้ใช้พร้อมกัน ความจุหน่วยความจำอาจจำกัดขนาดการใช้งานเชิงพาณิชย์ได้เร็วกว่าน้ำหนักของโมเดล

·Agent ยิ่งขยายแรงกดดันด้านการจัดเก็บข้อมูล การเรียกใช้หลายขั้นตอนจะสร้างบริบทซ้ำๆ เรียกใช้เครื่องมือภายนอก และเพิ่มความต้องการ CPU, DRAM และ KV Cache

·ระหว่าง HBM และ SSD แบบดั้งเดิมกำลังเกิดชั้นใหม่หลายชั้น รวมถึง CXL, "Storage Next" และ CMX โดยมีเป้าหมายเพื่อรองรับข้อมูลการอนุมานที่ขยายตัวอย่างต่อเนื่องด้วยต้นทุนที่ต่ำลง

·เส้นทางเทคโนโลยีใหม่ไม่ได้ทั้งหมดจะนำไปใช้ได้จริง HBF, zHBM, NVHBM, ZAM และ PIM ต่างเผชิญปัญหาด้านการระบายความร้อน อัตราผลผลิต ความเข้ากันได้ของระบบนิเวศ หรือการจัดสรรผลประโยชน์ในห่วงโซ่อุปทาน

·เบิร์นสไตน์ยังคงมองบวกต่อซัมซุงอิเล็กทรอนิกส์, SK ไฮนิกซ์, ไมครอน, แซนดิสก์, ซีเกท และเวสเทิร์นดิจิทัล โดยคงเรตติ้ง "ต่ำกว่าตลาด" สำหรับคิโอเซีย

ในช่วงสองปีที่ผ่านมา เรื่องเล่าของตลาดการจัดเก็บข้อมูล AI เกือบทั้งหมดหมุนรอบ HBM แต่เมื่อโมเดลขนาดใหญ่เปลี่ยนจากการฝึกฝนไปสู่การอนุมานขนาดใหญ่ การเพิ่ม HBM เพียงอย่างเดียวไม่สามารถแก้ปัญหาทั้งหมดได้อีกต่อไป

เบิร์นสไตน์ในรายงานการจัดเก็บข้อมูลทั่วโลกล่าสุดชี้ให้เห็นว่า ภาระงาน AI ที่แตกต่างกันมีความต้องการหน่วยความจำที่แตกต่างกันอย่างชัดเจน: การฝึกฝนเน้นพลังการคำนวณและแบนด์วิดท์ ขั้นตอนการถอดรหัสในการอนุมานพึ่งพาความจุมากขึ้น RAG ต้องการฐานข้อมูลขนาดใหญ่ ในขณะที่เวิร์กโฟลว์ Agent จะเพิ่มภาระให้กับทั้งเซิร์ฟเวอร์แบบดั้งเดิมและเซิร์ฟเวอร์ AI พร้อมกัน

นี่หมายความว่า การเปลี่ยนแปลงที่ AI นำมาจะถูกส่งผ่านจาก HBM ลงไปยัง DRAM ของระบบ, SSD, HDD และแม้แต่การจัดเก็บข้อมูลแบบเทป รอบๆ "กำแพงหน่วยความจำ" ห่วงโซ่อุตสาหกรรมเริ่มแทรกผลิตภัณฑ์ใหม่ระหว่างชั้นเดิม เพื่อค้นหาความสมดุลใหม่ระหว่างประสิทธิภาพ ความจุ และต้นทุน

ขีดจำกัดของขนาดการอนุมาน อาจขึ้นอยู่กับ KV Cache

ในขั้นตอนการฝึกฝนโมเดลขนาดใหญ่ GPU และ HBM ยังคงอยู่ในตำแหน่งศูนย์กลาง

การฝึกฝนต้องอ่านพารามิเตอร์ของโมเดลและข้อมูลกลางบ่อยครั้ง โดยมีความต้องการสูงทั้งด้านพลังการคำนวณและแบนด์วิดท์หน่วยความจำ แต่การฝึกฝนโมเดลขนาดใหญ่ไม่ได้พึ่งพา HBM เพียงอย่างเดียว: ชุดข้อมูลดิบต้องถูกเก็บไว้ในสื่อจัดเก็บข้อมูลที่มีต้นทุนต่ำกว่า ก่อนที่ข้อมูลจะเข้าสู่ GPU โดยปกติต้องใช้ DRAM ของระบบและ SSD ในเครื่องเพื่อทำแคชและประมวลผลล่วงหน้า การฝึกฝนที่กินเวลาหลายสัปดาห์หรือหลายเดือนยังต้องบันทึกจุดตรวจสอบเป็นระยะ เพื่อป้องกันไม่ให้งานต้องเริ่มใหม่ทั้งหมดจากความล้มเหลวของฮาร์ดแวร์หรือซอฟต์แวร์

ดังนั้น การฝึกฝนขนาดใหญ่ครั้งหนึ่งจะเรียกใช้ระบบทั้งหมดตั้งแต่ HBM, DRAM ของระบบ ไปจนถึง SSD ในเครื่องและพื้นที่จัดเก็บข้อมูลเครือข่าย

เมื่อเข้าสู่ขั้นตอนการอนุมาน (Inference) ความต้องการหน่วยความจำจะยิ่งแตกต่างกันมากขึ้น

การอนุมานโดยทั่วไปสามารถแบ่งออกเป็นสองขั้นตอน ได้แก่ การเติมข้อมูลล่วงหน้า (Prefill) และการถอดรหัส (Decode) ขั้นตอน Prefill มีหน้าที่ประมวลผลอินพุตของผู้ใช้และสร้าง Token แรก โดยส่วนใหญ่ดำเนินการคำนวณเมทริกซ์ขนาดใหญ่ ซึ่งเน้นไปที่ "ข้อจำกัดด้านพลังประมวลผล" ในขั้นตอนนี้ อัตราการใช้งาน GPU และแบนด์วิดท์ HBM มีความสำคัญมากขึ้น โดยตัวชี้วัดที่ใช้บ่อยคือความหน่วงของ Token แรก

ขั้นตอน Decode แตกต่างออกไป โมเดลต้องสร้าง Token ทีละตัว และเรียกใช้ข้อมูลที่สร้างก่อนหน้านี้เมื่อสร้าง Token ใหม่ เพื่อหลีกเลี่ยงการคำนวณซ้ำ ระบบมักจะเก็บข้อมูลเหล่านี้ไว้ใน KV Cache

KV Cache มีคุณลักษณะสำคัญสองประการ: ความจุจะเพิ่มขึ้นแบบเส้นตรงตามความยาวของบริบท (Context) และผู้ใช้แต่ละคนจำเป็นต้องมีแคชแยกกัน ดังนั้น เมื่อบริบทยาวขึ้นและจำนวนผู้ใช้พร้อมกันเพิ่มขึ้น ปัจจัยทั้งสองจะผลักดันการใช้หน่วยความจำให้สูงขึ้นร่วมกัน

Bernstein มองว่า ในการใช้งาน AI ขนาดใหญ่ หน่วยความจำที่ KV Cache ใช้ อาจเกินน้ำหนักของโมเดล และกลายเป็นปัจจัยหลักที่จำกัดจำนวนผู้ใช้พร้อมกันและหน้าต่างบริบท จำนวนผู้ใช้ที่โมเดลสามารถให้บริการได้และความยาวของบริบทที่คงไว้ได้ จะส่งผลโดยตรงต่อขนาดของรายได้

จากมุมมองนี้ จุดแข่งขันในยุคการอนุมานไม่ได้มีเพียงแค่จำนวนการคำนวณที่ชิปทำได้ แต่ยังรวมถึงความสามารถของระบบในการจัดเก็บและอ่านบริบทที่ขยายตัวอย่างต่อเนื่องด้วยต้นทุนที่ต่ำเพียงใด

RAG และ Agent ผลักดันความต้องการไปสู่หน่วยความจำแบบดั้งเดิม

ความแพร่หลายของ RAG และ Agent ทำให้ความต้องการจัดเก็บข้อมูล AI แพร่กระจายออกไปนอกเหนือจาก HBM มากขึ้น

RAG ประกอบด้วยสองขั้นตอนหลัก ได้แก่ การสร้างฐานข้อมูลและการค้นหาฐานข้อมูล ในการสร้างฐานข้อมูล ระบบต้องประมวลผลข้อมูลที่ไม่มีโครงสร้างจำนวนมาก เช่น PDF, เว็บเพจ, โค้ด จากนั้นแปลงเป็นเวกเตอร์และดัชนีที่สามารถค้นหาได้ กระบวนการนี้พึ่งพา SSD ความจุสูงและ DRAM ของระบบเป็นหลัก โดยบทบาทของ HBM ค่อนข้างจำกัด

หลังจากสร้างฐานข้อมูลแล้ว คำค้นหาของผู้ใช้จะถูกแปลงเป็นเวกเตอร์ก่อน จากนั้นจึงจับคู่กับเนื้อหาในฐานข้อมูล การสร้างเวกเตอร์สามารถทำได้อย่างรวดเร็วใน GPU และ HBM แต่การค้นหาจริงมักพึ่งพา DRAM ของระบบมากกว่า ผลการค้นหาจะถูกรวมกับคำถามของผู้ใช้ แล้วเข้าสู่กระบวนการ Prefill และ Decode ตามปกติ

ภาระที่เกิดจากเวิร์กโฟลว์ของ Agent นั้นหนักหน่วงยิ่งกว่า

การสนทนาแบบดั้งเดิมมักเป็นการเรียกใช้ครั้งเดียวในรูปแบบ "อินพุต—โมเดล—เอาต์พุต" แต่ Agent จำเป็นต้องแบ่งเป้าหมายออกเป็นหลายขั้นตอน เรียกใช้โมเดลอื่นหรือเครื่องมือภายนอก เก็บผลลัพธ์ระหว่างกลาง และวางแผนใหม่ตามข้อเสนอแนะ ผลลัพธ์ที่เกิดจากการเรียกใช้แต่ละครั้งอาจกลายเป็นอินพุตสำหรับการเรียกใช้โมเดลครั้งถัดไป

สิ่งนี้จะเพิ่มความต้องการสองประเภทพร้อมกัน: ในด้านหนึ่ง การเรียกใช้เครื่องมือและงานที่ไม่ใช่ AI ต้องการ CPU และหน่วยความจำระบบมากขึ้น อีกด้านหนึ่ง การส่งต่อบริบทระหว่างโมเดลหลายตัวอย่างต่อเนื่องจะขยายภาระของ prefill, decoding และ KV Cache อย่างรวดเร็ว

ดังนั้น การพัฒนาของแอปพลิเคชัน Agent ไม่ได้เป็นผลดีต่อ GPU และ HBM เท่านั้น แต่ยังอาจผลักดันความต้องการ DRAM สำหรับเซิร์ฟเวอร์ SSD ระดับองค์กร และสื่อจัดเก็บข้อมูลต้นทุนต่ำอีกด้วย

ระหว่าง HBM และ SSD กำลังเกิดชั้นหน่วยความจำใหม่

สถาปัตยกรรมหน่วยความจำของเซิร์ฟเวอร์แบบดั้งเดิมสามารถแบ่งคร่าวๆ ได้เป็นแคชภายในโปรเซสเซอร์ DRAM ระบบ SSD ในเครื่อง และพื้นที่จัดเก็บข้อมูลแบบแบ่งใช้ เซิร์ฟเวอร์ AI ได้เพิ่ม HBM เข้าไปในโครงสร้างนี้ แต่ HBM มีความจุจำกัดและต้นทุนค่อนข้างสูง จึงยากที่จะรองรับข้อมูลทั้งหมด

แนวทางแก้ไขปัจจุบันของห่วงโซ่อุตสาหกรรมคือการเพิ่มผลิตภัณฑ์ใหม่ระหว่างชั้นต่างๆ

CXL พยายามรวมหน่วยความจำที่กระจายอยู่ทางกายภาพให้เป็นทรัพยากรร่วมกัน ทำให้ CPU, GPU และอุปกรณ์ขยายสามารถเรียกใช้ DRAM ได้อย่างยืดหยุ่นมากขึ้น ผลิตภัณฑ์บางส่วนยังใช้ DRAM หรือ SRAM เป็นแคชร่วมกับ NAND เพื่อลดต้นทุนพร้อมกับลดความหน่วงในการเข้าถึง

"Storage Next" ที่ขับเคลื่อนโดย NVIDIA พยายามย้ายการจัดการพื้นที่จัดเก็บข้อมูลบางส่วนจาก CPU ไปยัง GPU และทำให้ NAND มีความหน่วง IOPS และขนาดการเข้าถึงข้อมูลที่ใกล้เคียงกับ DRAM มากขึ้น SSD ซีรีส์ GP ที่เปิดตัวโดย Kioxia บนพื้นฐาน XL-FLASH เป็นตัวแทนของทิศทางนี้

CMX มุ่งเน้นไปที่ KV Cache เป็นหลัก โดยติดตั้ง SSD ในโหนดข้อมูลอิสระและเชื่อมต่อกับโหนดคำนวณผ่าน DPU, อีเทอร์เน็ต และชิปสวิตช์ เป้าหมายคือการแชร์บริบทการอนุมานระหว่าง GPU ต่างๆ ลดการจัดเก็บซ้ำซ้อน และ突破ขีดจำกัดความจุหน่วยความจำของเซิร์ฟเวอร์เครื่องเดียว

แนวทางเหล่านี้ชี้ไปที่แนวโน้มเดียวกัน: ระบบ AI ไม่สามารถเก็บข้อมูลที่ใช้งานอยู่ทั้งหมดไว้ใน HBM เป็นเวลานานได้ จำเป็นต้องกระจายข้อมูลไปยังชั้นต่างๆ ตามความถี่ในการเข้าถึงและข้อกำหนดด้านความหน่วง

ข้อมูลร้อนยังคงอยู่ใน HBM บริบทบางส่วนถูกย้ายไปยัง DRAM ระบบหรือ SSD ประสิทธิภาพสูง และข้อมูลที่เย็นกว่าจะถูกเลื่อนลงไปยัง SSD ทั่วไป HDD หรือแม้แต่เทป ยิ่งชั้นหน่วยความจำละเอียดมากเท่าใด ระบบก็ยิ่งมีโอกาสสร้างสมดุลระหว่างประสิทธิภาพและต้นทุนมากขึ้นเท่านั้น

เทคโนโลยีใหม่เกิดขึ้นอย่างหนาแน่น แต่การนำไปใช้เชิงพาณิชย์ยังคงมีความไม่แน่นอน

รอบๆ "กำแพงหน่วยความจำ" ห่วงโซ่อุตสาหกรรมได้เสนอเส้นทางใหม่หลายเส้นทางแล้ว

แผน zHBM ของซัมซุงมีเป้าหมายที่จะวาง HBM ซ้อนอยู่เหนือโปรเซสเซอร์ เพื่อลดระยะทางการส่งข้อมูลให้สั้นลงอีก อย่างไรก็ตาม การออกแบบนี้จำเป็นต้องจัดการกับความร้อนที่เกิดจาก GPU และยังกำหนดข้อกำหนดที่สูงขึ้นเกี่ยวกับอัตราผลผลิตและต้นทุนของการเชื่อมแบบไฮบริดระดับเวเฟอร์

NVHBM ที่英伟达ผลักดัน จะให้英伟达เป็นผู้ออกแบบไดย์พื้นฐาน และอาจผลิตโดย TSMC แนวทางนี้มีศักยภาพในการลดการใช้พลังงานและเพิ่มแบนด์วิดท์ แต่ก็อาจลดทอนคุณค่าในการออกแบบและผลิตไดย์พื้นฐาน HBM ของผู้ผลิตหน่วยความจำลง เมื่อผลิตภัณฑ์มีการกำหนดมาตรฐาน มูลค่าเพิ่มบางส่วนอาจย้ายจากผู้ผลิตหน่วยความจำไปยัง英伟达และโรงงานผลิตเวเฟอร์

HBF ที่ซานดิสก์และ SK ไฮนิกซ์ผลักดัน หวังที่จะใช้ NAND เพื่อให้ได้แบนด์วิดท์ใกล้เคียงกับ HBM พร้อมกับได้รับความจุที่มากขึ้นและต้นทุนต่อหน่วยที่ต่ำลง อย่างไรก็ตาม NAND และ DRAM ยังคงมีความแตกต่างอย่างมีนัยสำคัญในด้านความหน่วงและประสิทธิภาพ HBF จำเป็นต้องข้ามผ่านหลายระดับเทคโนโลยี ความยากในการนำไปใช้งานจริงจึงไม่ต่ำ

ZAM ของอินเทลพยายามหมุนไดย์ DRAM 90 องศา เพื่อปรับปรุงการระบายความร้อน โดยมีเป้าหมายที่จะนำไปใช้ได้จริงภายในปีงบประมาณ 2029 ส่วน HBC ของควอลคอมม์ใช้ LPDDR และบรรจุภัณฑ์แบบดั้งเดิม เพื่อหลีกเลี่ยงต้นทุน CoWoS ด้วยการแลกกับประสิทธิภาพบางส่วน

นอกจากนี้ PIM พยายามเพิ่มความสามารถในการคำนวณลงในชิปหน่วยความจำโดยตรง เพื่อลดการเคลื่อนย้ายข้อมูลระหว่างโปรเซสเซอร์และหน่วยความจำ แต่สิ่งนี้จะเปลี่ยนแปลงสถาปัตยกรรมการคำนวณที่มีอยู่ ต้องให้โปรเซสเซอร์ ซอฟต์แวร์ และเครือข่ายปรับตัวร่วมกัน และยังจะกระทบต่อระบบการแบ่งงานระหว่างชิปลอจิกและชิปหน่วยความจำที่เติบโตเต็มที่แล้ว Bernstein มองว่าการนำไปใช้ในอุตสาหกรรมยังคงมีจำกัด

จากมุมมองนี้ การที่จำนวนแนวทางใหม่เพิ่มขึ้นอย่างรวดเร็วไม่ได้หมายความว่าทุกเส้นทางจะสามารถสร้างตลาดขนาดใหญ่ได้ ความสามารถในการเข้ากันได้กับระบบนิเวศซอฟต์แวร์และฮาร์ดแวร์ที่มีอยู่ การมีความได้เปรียบด้านต้นทุน และการที่ฝ่ายต่างๆ ในห่วงโซ่อุปทานสามารถบรรลุความสมดุลทางผลประโยชน์ได้ จะเป็นตัวกำหนดผลลัพธ์เชิงพาณิชย์ขั้นสุดท้าย

ผู้ได้รับประโยชน์จาก AI ด้านหน่วยความจำ ไม่ได้มีเพียงผู้ผลิต HBM เท่านั้น

จากมุมมองการลงทุน การประเมินของ Bernstein ค่อนข้างชัดเจน: แรงผลักดันของ AI ต่ออุตสาหกรรมหน่วยความจำกำลังกระจายจากผลิตภัณฑ์ระดับไฮเอนด์จำนวนน้อยไปสู่หลายระดับมากขึ้น

HBM ยังคงเป็นแกนหลักของการฝึกอบรมและการอนุมานประสิทธิภาพสูง ซัมซุง อิเลคทรอนิกส์ SK ไฮนิกซ์ และไมครอนจะยังคงได้รับประโยชน์จากความต้องการหน่วยความจำแบนด์วิดท์สูง แต่เมื่อขนาดการอนุมานขยายใหญ่ขึ้น ความสำคัญของระบบ DRAM และ NAND จะเพิ่มขึ้น การล้นของ KV Cache ฐานข้อมูล RAG และข้อมูลกลางจำนวนมากที่ Agent สร้างขึ้น จะเพิ่มความต้องการ SSD และหน่วยความจำแบบใช้ร่วมกันด้วย

ข้อมูลที่เย็นลงกว่านี้จะยังคงลดลงต่อไป Bernstein ระบุว่า การเติบโตของข้อมูลที่เกิดจาก AI เริ่มเป็นประโยชน์ต่อ HDD แล้ว ในบางสถานการณ์ เนื่องจากความจุของ NAND และ HDD ไม่เพียงพอ ความต้องการเทปแม่เหล็กซึ่งเดิมใช้เพื่อการจัดเก็บถาวรเป็นหลักก็เพิ่มขึ้นเช่นกัน

รายงานยังคงให้คะแนน " outperform " แก่ Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate และ Western Digital โดย Samsung Electronics, SK Hynix และ Micron เกี่ยวข้องกับ DRAM และ HBM, SanDisk ได้รับประโยชน์จาก NAND และ HBF ส่วน Seagate และ Western Digital เกี่ยวข้องกับการจัดเก็บความจุสูงต้นทุนต่ำ ส่วน Kioxia ได้รับการจัดอันดับ " underperform "

อย่างไรก็ตาม คุณค่าหลักของรายงานนี้ไม่ได้อยู่ที่การรวบรวมตัวย่อเทคโนโลยีใหม่ๆ แต่เป็นการนิยามขอบเขตของตลาดการจัดเก็บข้อมูล AI ใหม่

ในยุคการฝึกฝน คอขวดหลักอยู่ที่ GPU และ HBM ในยุคการอนุมานและ Agent คอขวดเริ่มกระจายไปทั่วทั้งระบบหน่วยความจำ การแข่งขันด้านโครงสร้างพื้นฐาน AI ในอนาคต ไม่เพียงแต่ขึ้นอยู่กับว่าชิปประมวลผลได้เร็วแค่ไหน แต่ยังขึ้นอยู่กับว่าข้อมูลสามารถไหลเวียนระหว่าง HBM, DRAM, NAND และพื้นที่จัดเก็บร่วมกันได้อย่างมีประสิทธิภาพด้วยต้นทุนที่ต่ำเพียงพอหรือไม่

ยินดีต้อนรับสู่ชุมชนทางการของ BlockBeats:

กลุ่ม Telegram สมัครสมาชิก: https://t.me/theblockbeats

กลุ่ม Telegram พูดคุย: https://t.me/BlockBeats_App

บัญชี Twitter ทางการ: https://twitter.com/BlockBeatsAsia