lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

เอ็นวิเดีย, AMD, อินเทล จับมือกันอย่างหาได้ยาก: 9 บริษัท ร่วมสร้างพันธมิตรโอเพนซอร์ส SGLang สำหรับการอนุมาน

动察 Beating ข่าวด่วน AI ในงาน SGLang Summit ครั้งแรก NVIDIA, AMD และ Intel ที่ปกติแข่งขันกันอย่างดุเดือดได้ยืนอยู่ฝั่งเดียวกันอย่างหาได้ยาก


ยักษ์ใหญ่ชิปทั้งสามรายร่วมกับ Google, Meta, Thinking Machines Lab, Cloudflare, Modal และ RadixArk ได้กลายเป็น 9 สมาชิกผู้ก่อตั้ง SGLang Alliance ร่วมกันกำหนดแผนงานอนาคตของเอนจินอนุมาน AI โอเพนซอร์สนี้ งาน峰会ดึงดูดผู้เข้าร่วมกว่า 2,000 คน


SGLang เป็นซอฟต์แวร์ระดับล่างของรันไทม์โมเดลขนาดใหญ่ มีหน้าที่จัดการคำขอของผู้ใช้ จัดตาราง GPU จัดการหน่วยความจำ และใช้ผลลัพธ์การคำนวณซ้ำ มันกำหนดโดยตรงว่าชิปหนึ่งตัวจะรันโมเดล AI ได้เร็วและต้นทุนต่ำเพียงใด


ก่อนหน้านี้ SGLang รองรับฮาร์ดแวร์หลายประเภท เช่น NVIDIA, AMD และ Intel การจัดตั้งพันธมิตรครั้งนี้หมายความว่าผู้ผลิตชิปจะเข้ามามีส่วนร่วมในการพัฒนาร่วมกันอย่างเป็นระบบมากขึ้น โดยลงทุนวิศวกร ทรัพยากรทดสอบ และผลักดันการปรับประสิทธิภาพฮาร์ดแวร์ของตน


สมาชิกพันธมิตรจัดการประชุมแผนงานปีละสองครั้ง แต่การตัดสินใจทางเทคนิคขั้นสุดท้ายและสิทธิ์ในการรวมโค้ดยังคงอยู่ในมือของทีมดูแล SGLang


SGLang ระบุอย่างเป็นทางการว่าปัจจุบันมี 332 องค์กรนำโครงการนี้ไปใช้ Meta ยังเปิดเผยในงาน峰会ว่าหลังจากย้ายไปใช้ SGLang เมื่อเทียบกับโซลูชันอนุมานก่อนหน้า สามารถประหยัดทรัพยากร GPU ในสภาพแวดล้อมการผลิตขนาดใหญ่ได้มากกว่าครึ่ง


งาน峰会ยังประกาศทิศทางการพัฒนา SGLang v1.0 โดยเน้นเพิ่มเสถียรภาพและความเข้ากันได้ในสภาพแวดล้อมการผลิต เวอร์ชันทางการยังอยู่ระหว่างการพัฒนา นอกจากนี้ SGLang ได้เปิดตัวการสนับสนุนตัวอย่างสาธารณะสำหรับชิป AWS Trainium และร่วมมือกับ Intel ในการปรับประสิทธิภาพ CPU, GPU และตัวเร่งความเร็ว ramework การเรียนรู้แบบเสริมกำลัง Miles v0.2 ก็เปิดตัวแล้วเช่นกัน

ที่เกี่ยวข้องแนะนำ
ศูนย์ข้อมูลกลายเป็นส่วนรายได้ที่ใหญ่ที่สุดแล้ว
โดยลดความยากง่ายในการฝึกและการประมวลผล การแข่งขันในพื้นฐาน AI จะนำบริษัทผู้ผลิตอุปกรณ์จัดเก็บข้อมูล ชิป และเครือข่ายในประเทศมากขึ้นเข้าร่วมกระบวนการ
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น