动察 Beating ข่าวด่วน AI ในงาน SGLang Summit ครั้งแรก NVIDIA, AMD และ Intel ที่ปกติแข่งขันกันอย่างดุเดือดได้ยืนอยู่ฝั่งเดียวกันอย่างหาได้ยาก
ยักษ์ใหญ่ชิปทั้งสามรายร่วมกับ Google, Meta, Thinking Machines Lab, Cloudflare, Modal และ RadixArk ได้กลายเป็น 9 สมาชิกผู้ก่อตั้ง SGLang Alliance ร่วมกันกำหนดแผนงานอนาคตของเอนจินอนุมาน AI โอเพนซอร์สนี้ งาน峰会ดึงดูดผู้เข้าร่วมกว่า 2,000 คน
SGLang เป็นซอฟต์แวร์ระดับล่างของรันไทม์โมเดลขนาดใหญ่ มีหน้าที่จัดการคำขอของผู้ใช้ จัดตาราง GPU จัดการหน่วยความจำ และใช้ผลลัพธ์การคำนวณซ้ำ มันกำหนดโดยตรงว่าชิปหนึ่งตัวจะรันโมเดล AI ได้เร็วและต้นทุนต่ำเพียงใด
ก่อนหน้านี้ SGLang รองรับฮาร์ดแวร์หลายประเภท เช่น NVIDIA, AMD และ Intel การจัดตั้งพันธมิตรครั้งนี้หมายความว่าผู้ผลิตชิปจะเข้ามามีส่วนร่วมในการพัฒนาร่วมกันอย่างเป็นระบบมากขึ้น โดยลงทุนวิศวกร ทรัพยากรทดสอบ และผลักดันการปรับประสิทธิภาพฮาร์ดแวร์ของตน
สมาชิกพันธมิตรจัดการประชุมแผนงานปีละสองครั้ง แต่การตัดสินใจทางเทคนิคขั้นสุดท้ายและสิทธิ์ในการรวมโค้ดยังคงอยู่ในมือของทีมดูแล SGLang
SGLang ระบุอย่างเป็นทางการว่าปัจจุบันมี 332 องค์กรนำโครงการนี้ไปใช้ Meta ยังเปิดเผยในงาน峰会ว่าหลังจากย้ายไปใช้ SGLang เมื่อเทียบกับโซลูชันอนุมานก่อนหน้า สามารถประหยัดทรัพยากร GPU ในสภาพแวดล้อมการผลิตขนาดใหญ่ได้มากกว่าครึ่ง
งาน峰会ยังประกาศทิศทางการพัฒนา SGLang v1.0 โดยเน้นเพิ่มเสถียรภาพและความเข้ากันได้ในสภาพแวดล้อมการผลิต เวอร์ชันทางการยังอยู่ระหว่างการพัฒนา นอกจากนี้ SGLang ได้เปิดตัวการสนับสนุนตัวอย่างสาธารณะสำหรับชิป AWS Trainium และร่วมมือกับ Intel ในการปรับประสิทธิภาพ CPU, GPU และตัวเร่งความเร็ว ramework การเรียนรู้แบบเสริมกำลัง Miles v0.2 ก็เปิดตัวแล้วเช่นกัน
