动察 Beating ข่าวด่วน AI AMD ประกาศเสร็จสิ้นการเข้าซื้อกิจการบริษัทชิป AI สัญชาติแคนาดา Taalas ทั้งสองฝ่ายบรรลุข้อตกลงเมื่อเดือนสิงหาคมปีนี้ มูลค่าธุรกรรมสูงสุดประมาณ 2.9 พันล้านดอลลาร์ โดยมีมูลค่าสูงสุด 1.4 พันล้านดอลลาร์ที่จะต้องจ่ายเมื่อเป็นไปตามเงื่อนไขที่กำหนด
Taalas เดินเส้นทางที่แตกต่างจาก GPU ทั่วไปโดยสิ้นเชิง: ในระหว่างการผลิตชิป พารามิเตอร์ของโมเดล AI จะถูกฝังลงในวงจรโดยตรง
GPU ทั่วไปจำเป็นต้องอ่านพารามิเตอร์ของโมเดลจากหน่วยความจำกราฟิกซ้ำแล้วซ้ำเล่า Taalas นำการจัดเก็บและประมวลผลมารวมไว้ด้วยกัน ลดการเคลื่อนย้ายข้อมูล และยังประหยัดหน่วยความจำแบนด์วิดท์สูง (HBM) ที่มีราคาแพงตลอดจนการบรรจุที่ซับซ้อนที่เกี่ยวข้อง
ในเดือนกุมภาพันธ์ปีนี้ Taalas เปิดตัวชิปตัวแรก HC1 ซึ่งออกแบบมาเพื่อรันโมเดล Llama 3.1 8B ของ Meta โดยเฉพาะ จากการทดสอบอย่างเป็นทางการ ภายใต้เงื่อนไขอินพุตและเอาต์พุตอย่างละ 1000 Token ความเร็วในการสร้างสำหรับผู้ใช้ single user อยู่ที่ประมาณ 17,000 Token ต่อวินาที ใกล้เคียงกับ 9 เท่าของ Cerebras ในขณะนั้น
แต่การออกแบบนี้ก็แลกมาด้วยความยืดหยุ่น GPU ทั่วไปสามารถโหลดโมเดลที่แตกต่างกันได้ตลอดเวลา แม้ HC1 จะรองรับการปรับแต่ง LoRA แต่การเปลี่ยนโมเดลพื้นฐานยังคงต้องแก้ไขมาสก์การผลิตและผลิตชิปใหม่ ระยะเวลาที่ Taalas ระบุคือประมาณสองเดือน
HC1 ยังใช้การควอนไทซ์ 3-bit และ 6-bit ที่ก้าวร้าว แม้จะบีบอัดพารามิเตอร์ของโมเดลอย่างมาก แต่ก็สูญเสียคุณภาพของโมเดลบางส่วนไป ปัจจุบันผลลัพธ์ 17,000 Token ต่อวินาทีมาจาก Llama 3.1 8B เท่านั้น ประสิทธิภาพจริงของโมเดลที่ใหญ่กว่ายังคงต้องรอการพิสูจน์
AMD เตรียมนำเทคโนโลยีนี้ไปรวมไว้ในผลิตภัณฑ์ตัวเร่ง AI ในอนาคต ใช้งานร่วมกับ Instinct GPU ที่มีอยู่ เพื่อให้ชิปเฉพาะทางรับผิดชอบงานการอนุมานความถี่สูงของโมเดลคงที่
