lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

เทนเซ็นต์ฮุ่นหยวน Hy4 ปรับปรุงโครงสร้างพื้นฐานใหม่: ใช้ DeepSeek Sparse Attention + ระบบ IndexCache ของ Zhipu ไปพร้อมกัน

动察 Beating AI ข่าวด่วน ครั้งนี้ Tencent Hunyuan Hy4 preview นอกจากจะขยายขนาดโมเดลให้ใหญ่ขึ้นแล้ว สถาปัตยกรรมพื้นฐานก็มีการเปลี่ยนแปลงครั้งใหญ่ด้วย รุ่นก่อนหน้า Hy3 ใช้ Full Attention แบบดั้งเดิม ส่วน Hy4 เปลี่ยนเป็น Gated DSA ซึ่งเป็นเวอร์ชัน Gate ของ DeepSeek Sparse Attention เมื่อโมเดลเผชิญกับข้อความยาวมาก จะไม่คำนวณเนื้อหาทั้งหมดก่อนหน้านี้ใหม่ทั้งหมด แต่จะเลือกส่วนที่เกี่ยวข้องมากที่สุดมาประมวลผลเป็นพิเศษก่อน


Hy4 ยังเพิ่ม IndexCache ให้กับ DSA ด้วย เดิมทีแต่ละเลเยอร์ของโมเดลต้องตัดสินใจใหม่ว่า "เนื้อหาส่วนไหนสำคัญที่สุด" ตอนนี้บางเลเยอร์สามารถนำผลลัพธ์ที่เลือกไว้ก่อนหน้านี้มาใช้ซ้ำได้โดยตรง ลดการคำนวณซ้ำซ้อนลงได้มาก


Tencent ระบุชัดเจนว่า การออกแบบ这套นี้ได้รับแรงบันดาลใจจาก DeepSeek และ GLM


อีกหนึ่งการเปลี่ยนแปลงคือโครงสร้าง Residual เดิมที Transformer แบบดั้งเดิมสามารถเข้าใจคร่าวๆ ได้ว่ามีเพียงเส้นทางข้อมูลหลักเส้นเดียว แต่ Hy4 ใช้ iHC ขยายเป็น 4 เส้นทาง ทำให้โมเดลสามารถเก็บข้อมูลได้มากขึ้นพร้อมกันในเครือข่ายที่ลึกมาก จำนวนผู้เชี่ยวชาญ MoE ก็เพิ่มขึ้นจาก 192 ตัวใน Hy3 เป็น 256 ตัว Router Expert + 1 ตัว Shared Expert โดยแต่ละ Token เลือก Router Expert 8 ตัว และผ่าน Shared Expert ตลอดเวลา

ที่เกี่ยวข้องแนะนำ
ดังนั้นเราจึงพยายามพายเรือไปข้างหน้าอย่างสุดกำลัง ทวนกระแสน้ำ ถูกผลักกลับไปสู่อดีตอย่างไม่หยุดหย่อน
V4-Pro-Max (โหมดพลัสความสามารถของการคาดเดาสูงสุด) ประกาศตัวเองว่าเป็นโมเดล Open Source ที่แข็งแกร่งที่สุดในปัจจุบัน มีเกณฑ์การเข้ารหัสที่ระดับสูงมาก และช่วงแตกต่างของการคาดเดาและงานของเอเจนต์กับเอเจนต์ระดับประชาสัมพันธ์ที่สูงทั้งในด้านการคาดเดาและการทำงานปิดตำนานได้ลดลงอย่างเห็นได้ชัด
โดยลดความยากง่ายในการฝึกและการประมวลผล การแข่งขันในพื้นฐาน AI จะนำบริษัทผู้ผลิตอุปกรณ์จัดเก็บข้อมูล ชิป และเครือข่ายในประเทศมากขึ้นเข้าร่วมกระบวนการ
NVIDIA ในประเทศจีนเริ่มลดระดับจำเป็นในการฝึกโมเดลขนาดใหญ่จาก "จำเป็น" เป็น "ทางเลือก"
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น