lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

AMD เสร็จสิ้นการเข้าซื้อกิจการ Taalas มูลค่าประมาณ 2.9 พันล้านดอลลาร์: ฝังโมเดล AI ลงในชิป สร้างโทเค็น 17,000 ต่อวินาที

动察 Beating ข่าวด่วน AI AMD ประกาศเสร็จสิ้นการเข้าซื้อกิจการบริษัทชิป AI สัญชาติแคนาดา Taalas ทั้งสองฝ่ายบรรลุข้อตกลงเมื่อเดือนสิงหาคมปีนี้ มูลค่าธุรกรรมสูงสุดประมาณ 2.9 พันล้านดอลลาร์ โดยมีมูลค่าสูงสุด 1.4 พันล้านดอลลาร์ที่จะต้องจ่ายเมื่อเป็นไปตามเงื่อนไขที่กำหนด


Taalas เดินเส้นทางที่แตกต่างจาก GPU ทั่วไปโดยสิ้นเชิง: ในระหว่างการผลิตชิป พารามิเตอร์ของโมเดล AI จะถูกฝังลงในวงจรโดยตรง


GPU ทั่วไปจำเป็นต้องอ่านพารามิเตอร์ของโมเดลจากหน่วยความจำกราฟิกซ้ำแล้วซ้ำเล่า Taalas นำการจัดเก็บและประมวลผลมารวมไว้ด้วยกัน ลดการเคลื่อนย้ายข้อมูล และยังประหยัดหน่วยความจำแบนด์วิดท์สูง (HBM) ที่มีราคาแพงตลอดจนการบรรจุที่ซับซ้อนที่เกี่ยวข้อง


ในเดือนกุมภาพันธ์ปีนี้ Taalas เปิดตัวชิปตัวแรก HC1 ซึ่งออกแบบมาเพื่อรันโมเดล Llama 3.1 8B ของ Meta โดยเฉพาะ จากการทดสอบอย่างเป็นทางการ ภายใต้เงื่อนไขอินพุตและเอาต์พุตอย่างละ 1000 Token ความเร็วในการสร้างสำหรับผู้ใช้ single user อยู่ที่ประมาณ 17,000 Token ต่อวินาที ใกล้เคียงกับ 9 เท่าของ Cerebras ในขณะนั้น


แต่การออกแบบนี้ก็แลกมาด้วยความยืดหยุ่น GPU ทั่วไปสามารถโหลดโมเดลที่แตกต่างกันได้ตลอดเวลา แม้ HC1 จะรองรับการปรับแต่ง LoRA แต่การเปลี่ยนโมเดลพื้นฐานยังคงต้องแก้ไขมาสก์การผลิตและผลิตชิปใหม่ ระยะเวลาที่ Taalas ระบุคือประมาณสองเดือน


HC1 ยังใช้การควอนไทซ์ 3-bit และ 6-bit ที่ก้าวร้าว แม้จะบีบอัดพารามิเตอร์ของโมเดลอย่างมาก แต่ก็สูญเสียคุณภาพของโมเดลบางส่วนไป ปัจจุบันผลลัพธ์ 17,000 Token ต่อวินาทีมาจาก Llama 3.1 8B เท่านั้น ประสิทธิภาพจริงของโมเดลที่ใหญ่กว่ายังคงต้องรอการพิสูจน์


AMD เตรียมนำเทคโนโลยีนี้ไปรวมไว้ในผลิตภัณฑ์ตัวเร่ง AI ในอนาคต ใช้งานร่วมกับ Instinct GPU ที่มีอยู่ เพื่อให้ชิปเฉพาะทางรับผิดชอบงานการอนุมานความถี่สูงของโมเดลคงที่

ที่เกี่ยวข้องแนะนำ
ศูนย์ข้อมูลกลายเป็นส่วนรายได้ที่ใหญ่ที่สุดแล้ว
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น