Claude งัดคูเมือง CUDA 20 ปีของ NVIDIA ได้ในสามวัน? Anthropic ให้ Mythos พอร์ตโค้ดระดับล่างของ GPU ด้วยตัวเอง

动察 Beating ข่าวด่วน AI, Anthropic เปิดเผยในงานโรดโชว์ IPO ว่า Claude Mythos Preview ใช้เวลาเพียง 3 วัน ทำให้โมเดล Claude รุ่นหนึ่งรันส่วนการคำนวณสำคัญบน GPU ของ AMD ได้สำเร็จ เคอร์เนล GPU ที่จำเป็นเกือบทั้งหมดถูกพอร์ตหรือเขียนขึ้นโดย Claude เอง โดยมีการแทรกแซงจากมนุษย์น้อยมาก Anthropic กล่าวว่า ในอดีตการเชื่อมต่อกับแพลตฟอร์มชิปใหม่มักต้องใช้วิศวกรหลายสิบคนและใช้เวลา 6 ถึง 12 เดือน

หนึ่งในข้อได้เปรียบที่ยากที่สุดในการทดแทนของ NVIDIA คือ CUDA

CUDA คือแพลตฟอร์มการคำนวณบน GPU ที่ NVIDIA เปิดตัวในปี 2006 ถึงปี 2018 เฟรมเวิร์กการเรียนรู้เชิงลึกกระแสหลักอย่าง PyTorch และ TensorFlow ได้ใช้ CUDA และไลบรารีการคำนวณที่เกี่ยวข้องอย่างแพร่หลาย NVIDIA ยังได้ปรับปรุงเครื่องมือสำหรับการสื่อสารหลายการ์ด การดีบัก และการเพิ่มประสิทธิภาพอย่างต่อเนื่อง นักพัฒนาสามารถใช้ GPU ได้อย่างมีประสิทธิภาพโดยไม่ต้องเขียนโปรแกรมระดับล่างจำนวนมากตั้งแต่ต้น

เมื่อโปรแกรมการฝึกและอนุมาน AI มากขึ้นเรื่อยๆ ถูกพัฒนารอบ CUDA NVIDIA จึงสะสมโค้ดและเครื่องมือสำเร็จรูปจำนวนมาก นักพัฒนาที่เลือก NVIDIA มักเป็นเพราะซอฟต์แวร์ได้รับการปรับให้เข้ากันแล้ว แม้ AMD จะสร้าง GPU ที่มีประสิทธิภาพสูง ลูกค้าที่ต้องการเปลี่ยนไปใช้ก็ยังต้องเผชิญกับปัญหาการย้ายโค้ด การทดสอบความเข้ากันได้ และการเพิ่มประสิทธิภาพ

MI355X ของ AMD มาพร้อมหน่วยความจำแบนด์วิดท์สูง 288GB การกำหนดฮาร์ดแวร์ไม่ถือว่าอ่อน ปัญหาคือเคอร์เนล GPU ที่เขียนสำหรับ NVIDIA เมื่อเปลี่ยนไปใช้ AMD อาจไม่สามารถรันได้โดยตรง แม้จะรันได้ ประสิทธิภาพก็อาจไม่เป็นที่น่าพอใจ วิศวกรยังต้องปรับโค้ดตามสถาปัตยกรรมชิปของ AMD และทดสอบผลการคำนวณและความเร็วในการรันซ้ำแล้วซ้ำเล่า

AMD ได้เปิดตัวเครื่องมืออย่าง ROCm และ HIPIFY เพื่อช่วยนักพัฒนาย้ายโปรแกรม CUDA เครื่องมือเขียนโปรแกรมข้ามแพลตฟอร์มอย่าง Triton ก็ช่วยลดความยากในการย้ายเช่นกัน แต่การคำนวณระดับล่างที่ซับซ้อนยังต้องอาศัยการปรับแต่งจากมนุษย์จำนวนมาก

ครั้งนี้ Anthropic ให้ Mythos รับงานส่วนหนึ่ง โดยพอร์ตหรือเขียนเคอร์เนล GPU ใหม่ด้วยตัวเอง ตามคำอธิบายในแผนภูมิโรดโชว์ ภายใน 3 วัน มันทำให้ส่วนการประมวลผลพรอมต์ของโมเดล Claude รุ่นหนึ่งมีประสิทธิภาพใช้งานได้บน AMD MI355X

อันที่จริง Anthropic ลดการพึ่งพาผู้ผลิตชิปรายเดียวมาตั้งแต่เนิ่นๆ เอกสารชี้ชวนเปิดเผยว่า บริษัทใช้เวลาหลายปีสร้างระบบจัดสรรพลังการคำนวณที่ครอบคลุม GPU ของ NVIDIA, GPU ของ AMD, TPU ของ Google และ Trainium ของ Amazon ซึ่งสามารถเลือกชิปต่างๆ ได้ตามราคาและประสิทธิภาพ

ในเดือนกรกฎาคมปีนี้ Anthropic ยังได้บรรลุความร่วมมือกับ AMD โดยวางแผนที่จะเริ่มติดตั้ง GPU รุ่นใหม่ของ AMD ตั้งแต่ครึ่งแรกของปี 2027 ด้วยขนาดสูงสุดถึง 2GW ทั้งสองฝ่ายจะใช้ Claude เพื่อเร่งการพัฒนา ROCm และการปรับปรุงประสิทธิภาพ GPU ขณะที่ AMD ให้คำมั่นว่าจะลงทุนใน Anthropic สูงสุด 5 พันล้านดอลลาร์ในอนาคต

นักลงทุน Marcelo P. Lima เชื่อว่าคูเมืองของ CUDA ของ NVIDIA ได้หายไปแล้ว แต่นักวิเคราะห์ Ben Pouladian มีมุมมองที่แตกต่างออกไป: การให้โมเดลประมวลผลบางส่วนบน AMD กับการทำให้ทั้งระบบมีประสิทธิภาพที่เสถียร คุ้มค่า และสามารถแข่งขันได้ในการติดตั้งขนาดใหญ่ ยังมีความแตกต่างกันมาก