lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

Kimi K3 มีอะไรที่ทำให้เข้าใกล้ Fable 5 ได้? ด้านมืดของดวงจันทร์กำลังเขียน Attention, Residual และ MoE ใหม่พร้อมกัน

ตามการติดตามของ Beating ทาง Moon's Dark Side ได้เผยแพร่รายงานทางเทคนิคของ Kimi K3 โดย K3 มีพารามิเตอร์รวม 2.8 ล้านล้านพารามิเตอร์ และเปิดใช้งาน 104,000 ล้านพารามิเตอร์ต่อ Token สถาปัตยกรรมพื้นฐานได้รับการอัปเกรดอย่างสมบูรณ์เมื่อเทียบกับ K2

การเพิ่มขนาดพารามิเตอร์เป็นเพียงส่วนหนึ่งเท่านั้น ทาง Moon's Dark Side ระบุว่าสถาปัตยกรรมใหม่ ข้อมูล และวิธีการฝึกอบรมทำให้ประสิทธิภาพการขยายขนาดโดยรวมของ K3 สูงขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับ K2 ตามเส้นโค้ง Scaling Law ของพวกเขา ปริมาณการคำนวณที่จำเป็นในการบรรลุการสูญเสียการตรวจสอบเดียวกันนั้นอยู่ที่ประมาณ 40% ของ K2

K3 ได้เขียนระบบ Attention ใหม่เป็นอันดับแรก โดยใช้ KDA เพื่อจัดการลำดับยาว และเพิ่ม Global MLA ทุกสามชั้น KDA จะบีบอัดเนื้อหาก่อนหน้านี้ให้อยู่ในสถานะขนาดคงที่ ลดภาระการคำนวณและแคชสำหรับบริบทที่มี Token หลายล้านตัว ส่วน MLA มีหน้าที่รักษาการแลกเปลี่ยนข้อมูลทั่วโลก

นอกจากนี้ยังเพิ่ม Attention Residuals โมเดลดั้งเดิมสามารถซ้อนข้อมูลจากทุกชั้นก่อนหน้าได้เท่านั้น แต่ K3 อนุญาตให้แต่ละชั้นเลือกเนื้อหาที่ต้องการจากบล็อกเครือข่ายก่อนหน้าได้โดยตรง เมื่อโมเดลลึกขึ้น ข้อมูลในช่วงแรกจะไม่ถูกเจือจางง่าย

MoE ก็ได้รับการออกแบบใหม่เช่นกัน K3 มีผู้เชี่ยวชาญเส้นทาง 896 คน โดยแต่ละ Token เปิดใช้งาน 16 คน ซึ่งเป็นสองเท่าของ K2 ผู้เชี่ยวชาญเส้นทางจะคำนวณในพื้นที่บีบอัดก่อน แล้วจึงกลับไปยังแกนหลักของโมเดล ฟังก์ชัน Activation ใหม่และอัลกอริทึมการปรับสมดุลโหลดถูกใช้เพื่อป้องกันการฝึกโมเดลขนาดใหญ่失控

สิ่งที่เพิ่มความสามารถของ Agent อย่างแท้จริงคือการฝึกหลังการฝึก ทาง Moon's Dark Side ฝึกโมเดลทั่วไป โมเดล Agent และโมเดลโค้ดแยกกัน จากนั้นฝึกความเข้มข้นในการคิดสามระดับสำหรับแต่ละทิศทาง และสุดท้ายรวมผู้เชี่ยวชาญเก้าคนเข้าด้วยกัน งานฝึกอบรมที่ยาวที่สุดสามารถรวมการเรียกใช้เครื่องมือหลายพันครั้ง และคงสถานะของไฟล์ แอปพลิเคชัน และเครื่องเสมือนไว้อย่างต่อเนื่อง

K3 ได้ใกล้เคียงหรือนำหน้าโมเดล Closed-Source ระดับสูง เช่น Fable 5 และ GPT-5.6 Sol ในการทดสอบโค้ด การค้นหา และการเรียกใช้เครื่องมือหลายรายการ การก้าวกระโดดของมันไม่ได้เกิดจากการเพิ่มพารามิเตอร์เพียงอย่างเดียว แต่เป็นการผลักดันฐานที่ใหญ่ขึ้น สถาปัตยกรรมใหม่ และการเสริมการเรียนรู้ของ Agent ที่มี Token หลายล้านตัวไปพร้อมกันจนถึงขีดจำกัด

ที่เกี่ยวข้องแนะนำ
ซิตี้กรุ๊ปและแบงก์ออฟอเมริกา ซิเคียวริตี้ส์ มองว่า แม้ Kimi K3 จะช่วยลดต้นทุนการอนุมาน แต่ก็อาจกระตุ้นให้เกิดการเรียกใช้งานที่มากขึ้น งานที่ต้องใช้บริบทยาว และงานที่เกี่ยวข้องกับเอเจนต์อัจฉริยะ ผ่าน "Jevons Paradox" ซึ่งจะส่งผลให้ความต้องการ GPU, HBM, DDR5, eSSD และโครงสร้างพื้นฐานเครือข่ายเพิ่มสูงขึ้น
ฝรั่งบอกว่าตกใจยิ่งกว่าวันที่ดาวเทียมโซเวียตขึ้นสู่อวกาศเสียอีก
Anthropic เปิดให้ผู้ใช้ทั่วไปเข้าถึงโมเดลระดับ Mythos อย่าง Fable 5 พร้อมจำกัดความสามารถที่มีความเสี่ยงสูงผ่านการแบ่งระดับสิทธิ์การใช้งาน
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น