จาก GPT-2 สู่ Kimi K3: วิวัฒนาการสถาปัตยกรรมของโมเดลขนาดใหญ่ในรอบเจ็ดปี แก่นแท้คือการต่อสู้เพื่อแย่งชิงความทรงจำ

ตามการติดตามของ Beating วิศวกรของ Baseten ชื่อ Ali ได้เผยแพร่บทความยาว โดยวิเคราะห์ตั้งแต่ GPT-2 ไปจนถึง Kimi K3 เมื่อคำนวณตามจำนวนพารามิเตอร์ K3 หนึ่งตัวมีค่าเทียบเท่ากับ GPT-2 ประมาณ 22,580 ตัว แต่เขามองว่าการเปลี่ยนแปลงที่แท้จริงในช่วงเจ็ดปีที่ผ่านมาไม่ใช่แค่การขยายโมเดลให้ใหญ่ขึ้น แต่เป็นการปรับเปลี่ยนวิธีการที่โมเดลใช้ในการจัดเก็บ อัปเดต และเรียกค้นข้อมูลอย่างต่อเนื่อง

GPT-2 ใช้ Full Attention ทุก Token จะทิ้ง Key และ Value ของตัวเองไว้ ทำให้สามารถย้อนกลับมาดูได้ตลอดเวลา ข้อมูลถูกเก็บรักษาไว้อย่างสมบูรณ์ที่สุด แต่ยิ่งบริบทยาวขึ้น KV Cache และต้นทุนการคำนวณก็ยิ่งสูงขึ้น

Linear Attention บีบอัดประวัติทั้งหมดให้อยู่ในสถานะที่มีขนาดคงที่ ต้นทุนไม่เพิ่มขึ้นตามบริบทที่ยาวขึ้นอีกต่อไป แต่ข้อเสียคือข้อมูลที่แตกต่างกันจะถูกอัดอยู่ในพื้นที่เดียวกัน เมื่อเนื้อหามากขึ้น ความทรงจำเก่าๆ จะเริ่มรบกวนกัน

นวัตกรรมทางสถาปัตยกรรมหลายอย่างหลังจากนี้ ล้วนเพิ่มกฎการจัดการให้กับหน่วยความจำที่มีจำกัดนี้ DeltaNet อนุญาตให้โมเดลอ่านเนื้อหาเก่าก่อน แล้วใช้ความแตกต่างระหว่างเก่าและใหม่เพื่อเขียนทับ Gated DeltaNet เพิ่มการลืมโดยรวม ทำให้ข้อมูลเก่าสามารถลดทอนลงตามการเปลี่ยนแปลงของบริบท

KDA ก้าวต่อไปด้วยการปรับแต่งการควบคุมการลืมให้ละเอียดถึงแต่ละช่องสัญญาณ ข้อมูลที่แตกต่างกันสามารถมีระยะเวลาการเก็บรักษาที่แตกต่างกัน: ข้อเท็จจริงระยะยาวคงอยู่นานกว่า ส่วนคำสั่งชั่วคราวและตัวแปรท้องถิ่นจะสลายตัวเร็วขึ้น Ali มองว่านี่คือความก้าวหน้าที่สำคัญที่สุดของ Kimi Linear

แต่สถานะคงที่ไม่สามารถเก็บรายละเอียดทั้งหมดไว้ได้ ดังนั้น K3 จึงไม่ได้ใช้แค่ KDA เพียงอย่างเดียว แต่จัดเรียงโครงสร้าง 23 ชุดที่มีสี่ชั้นเป็น "KDA สามชั้นบวก MLA หนึ่งชั้น" และเพิ่ม MLA อีกหนึ่งชั้นในตอนท้าย KDA รับผิดชอบการบำรุงรักษาความทรงจำระยะยาวด้วยต้นทุนต่ำ ส่วน MLA จะย้อนกลับไปดูบริบททั้งหมดเป็นระยะ เพื่อเรียกค้นข้อมูลที่แม่นยำ เช่น ตัวเลข โค้ด และคำสั่งในช่วงแรก

K3 ยัง引入了 Attention Residuals โมเดลทั่วไปจะบวกผลลัพธ์ของแต่ละชั้นเข้าด้วยกันอย่างต่อเนื่อง ทำให้ข้อมูลที่สกัดออกมาในช่วงแรกอาจถูกเจือจางโดยผลลัพธ์ที่ตามมาในการคำนวณ 93 ชั้น K3 แบ่งเครือข่ายเป็นบล็อกละ 12 ชั้น ทำให้ชั้นถัดไปสามารถเรียกใช้การแสดงผลระดับกลางที่เกิดขึ้นในช่วงแรกได้ตามต้องการ โดยไม่ต้อง推导ใหม่จากต้นฉบับทุกครั้ง

ดังนั้น จุดสำคัญของ K3 ไม่ใช่เทคโนโลยีลับเฉพาะที่ปรากฏขึ้นอย่างกะทันหัน สิ่งที่ทำให้มันพิเศษอย่างแท้จริงคือการผสมผสานหน่วยความจำแบบวนซ้ำ การค้นหาทั่วโลก การย้อนกลับระหว่างชั้น และการจัดเส้นทางผู้เชี่ยวชาญเข้าเป็นระบบข้อมูลแบบลำดับชั้น

วิวัฒนาการของสถาปัตยกรรมโมเดลในช่วงเจ็ดปีที่ผ่านมา โดยพื้นฐานแล้วคือการสอนให้โมเดลเลือกว่าสิ่งใดควรค่าแก่การเก็บรักษา สิ่งใดควรถูกเขียนทับ และเมื่อใดที่ต้องย้อนกลับไปดูต้นฉบับ