ตามการติดตามของ Beating ทาง Moon's Dark Side ได้เผยแพร่รายงานทางเทคนิคของ Kimi K3 โดย K3 มีพารามิเตอร์รวม 2.8 ล้านล้านพารามิเตอร์ และเปิดใช้งาน 104,000 ล้านพารามิเตอร์ต่อ Token สถาปัตยกรรมพื้นฐานได้รับการอัปเกรดอย่างสมบูรณ์เมื่อเทียบกับ K2
การเพิ่มขนาดพารามิเตอร์เป็นเพียงส่วนหนึ่งเท่านั้น ทาง Moon's Dark Side ระบุว่าสถาปัตยกรรมใหม่ ข้อมูล และวิธีการฝึกอบรมทำให้ประสิทธิภาพการขยายขนาดโดยรวมของ K3 สูงขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับ K2 ตามเส้นโค้ง Scaling Law ของพวกเขา ปริมาณการคำนวณที่จำเป็นในการบรรลุการสูญเสียการตรวจสอบเดียวกันนั้นอยู่ที่ประมาณ 40% ของ K2
K3 ได้เขียนระบบ Attention ใหม่เป็นอันดับแรก โดยใช้ KDA เพื่อจัดการลำดับยาว และเพิ่ม Global MLA ทุกสามชั้น KDA จะบีบอัดเนื้อหาก่อนหน้านี้ให้อยู่ในสถานะขนาดคงที่ ลดภาระการคำนวณและแคชสำหรับบริบทที่มี Token หลายล้านตัว ส่วน MLA มีหน้าที่รักษาการแลกเปลี่ยนข้อมูลทั่วโลก
นอกจากนี้ยังเพิ่ม Attention Residuals โมเดลดั้งเดิมสามารถซ้อนข้อมูลจากทุกชั้นก่อนหน้าได้เท่านั้น แต่ K3 อนุญาตให้แต่ละชั้นเลือกเนื้อหาที่ต้องการจากบล็อกเครือข่ายก่อนหน้าได้โดยตรง เมื่อโมเดลลึกขึ้น ข้อมูลในช่วงแรกจะไม่ถูกเจือจางง่าย
MoE ก็ได้รับการออกแบบใหม่เช่นกัน K3 มีผู้เชี่ยวชาญเส้นทาง 896 คน โดยแต่ละ Token เปิดใช้งาน 16 คน ซึ่งเป็นสองเท่าของ K2 ผู้เชี่ยวชาญเส้นทางจะคำนวณในพื้นที่บีบอัดก่อน แล้วจึงกลับไปยังแกนหลักของโมเดล ฟังก์ชัน Activation ใหม่และอัลกอริทึมการปรับสมดุลโหลดถูกใช้เพื่อป้องกันการฝึกโมเดลขนาดใหญ่失控
สิ่งที่เพิ่มความสามารถของ Agent อย่างแท้จริงคือการฝึกหลังการฝึก ทาง Moon's Dark Side ฝึกโมเดลทั่วไป โมเดล Agent และโมเดลโค้ดแยกกัน จากนั้นฝึกความเข้มข้นในการคิดสามระดับสำหรับแต่ละทิศทาง และสุดท้ายรวมผู้เชี่ยวชาญเก้าคนเข้าด้วยกัน งานฝึกอบรมที่ยาวที่สุดสามารถรวมการเรียกใช้เครื่องมือหลายพันครั้ง และคงสถานะของไฟล์ แอปพลิเคชัน และเครื่องเสมือนไว้อย่างต่อเนื่อง
K3 ได้ใกล้เคียงหรือนำหน้าโมเดล Closed-Source ระดับสูง เช่น Fable 5 และ GPT-5.6 Sol ในการทดสอบโค้ด การค้นหา และการเรียกใช้เครื่องมือหลายรายการ การก้าวกระโดดของมันไม่ได้เกิดจากการเพิ่มพารามิเตอร์เพียงอย่างเดียว แต่เป็นการผลักดันฐานที่ใหญ่ขึ้น สถาปัตยกรรมใหม่ และการเสริมการเรียนรู้ของ Agent ที่มี Token หลายล้านตัวไปพร้อมกันจนถึงขีดจำกัด
