动察 Beating AI ข่าวด่วน ครั้งนี้ Tencent Hunyuan Hy4 preview นอกจากจะขยายขนาดโมเดลให้ใหญ่ขึ้นแล้ว สถาปัตยกรรมพื้นฐานก็มีการเปลี่ยนแปลงครั้งใหญ่ด้วย รุ่นก่อนหน้า Hy3 ใช้ Full Attention แบบดั้งเดิม ส่วน Hy4 เปลี่ยนเป็น Gated DSA ซึ่งเป็นเวอร์ชัน Gate ของ DeepSeek Sparse Attention เมื่อโมเดลเผชิญกับข้อความยาวมาก จะไม่คำนวณเนื้อหาทั้งหมดก่อนหน้านี้ใหม่ทั้งหมด แต่จะเลือกส่วนที่เกี่ยวข้องมากที่สุดมาประมวลผลเป็นพิเศษก่อน
Hy4 ยังเพิ่ม IndexCache ให้กับ DSA ด้วย เดิมทีแต่ละเลเยอร์ของโมเดลต้องตัดสินใจใหม่ว่า "เนื้อหาส่วนไหนสำคัญที่สุด" ตอนนี้บางเลเยอร์สามารถนำผลลัพธ์ที่เลือกไว้ก่อนหน้านี้มาใช้ซ้ำได้โดยตรง ลดการคำนวณซ้ำซ้อนลงได้มาก
Tencent ระบุชัดเจนว่า การออกแบบ这套นี้ได้รับแรงบันดาลใจจาก DeepSeek และ GLM
อีกหนึ่งการเปลี่ยนแปลงคือโครงสร้าง Residual เดิมที Transformer แบบดั้งเดิมสามารถเข้าใจคร่าวๆ ได้ว่ามีเพียงเส้นทางข้อมูลหลักเส้นเดียว แต่ Hy4 ใช้ iHC ขยายเป็น 4 เส้นทาง ทำให้โมเดลสามารถเก็บข้อมูลได้มากขึ้นพร้อมกันในเครือข่ายที่ลึกมาก จำนวนผู้เชี่ยวชาญ MoE ก็เพิ่มขึ้นจาก 192 ตัวใน Hy3 เป็น 256 ตัว Router Expert + 1 ตัว Shared Expert โดยแต่ละ Token เลือก Router Expert 8 ตัว และผ่าน Shared Expert ตลอดเวลา
