มด UBTree ปรับปรุงการถอดรหัสเชิงคาดการณ์: คัดกรองต้นไม้ร่างแบบขนาน ทำให้โมเดลขนาดใหญ่ตรวจสอบโทเค็นได้มากขึ้นในครั้งเดียว

动察 Beating ข่าวด่วน AI，Ant Bailing ได้เปิดโอเพนซอร์สโซลูชันถอดรหัสแบบคาดการณ์สำหรับโมเดลขนาดใหญ่ชื่อ UBTree

การถอดรหัสแบบคาดการณ์เปรียบเสมือนให้โมเดลขนาดเล็กร่างแบบคร่าวๆ ล่วงหน้า จากนั้นโมเดลขนาดใหญ่จะตรวจสอบ Token หลายตัวในครั้งเดียว ลดจำนวนรอบการคำนวณที่ต้องใช้ในการสร้าง Token ทีละตัว

แต่การร่างแบบก็มีปัญหาอัตราการตรงเป้า หากโมเดลขนาดเล็กทายผิดเร็วเท่าไร เนื้อหาที่สามารถนำมาใช้ได้โดยตรงในภายหลังก็ยิ่งน้อยลงเท่านั้น ก่อนหน้านี้มีเทคโนโลยีที่เตรียมเส้นทางตัวเลือกหลายเส้นทางพร้อมกัน นำมาประกอบเป็นต้นไม้ร่างแบบ แล้วตัดกิ่งที่ไม่น่าจะได้รับการยอมรับออก

UBTree ปรับปรุงวิธีการคัดกรอง โดยคาดการณ์ Token ที่อาจปรากฏในตำแหน่งถัดไปหลายตำแหน่งแบบขนานก่อน จากนั้นใช้โมเดลน้ำหนักเบาตัดสินว่า Token ที่อยู่ติดกันสามารถเชื่อมต่อกันได้อย่างสมเหตุสมผลหรือไม่ การผสมผสานที่แตกต่างกันสามารถให้คะแนนพร้อมกันได้ ไม่จำเป็นต้องรันโมเดลซ้ำตามแต่ละเส้นทาง จากนั้นคัดเลือกกิ่งที่มีแนวโน้มดีกว่าเพื่อประกอบเป็นต้นไม้ร่างแบบส่งให้โมเดลขนาดใหญ่ตรวจสอบ

ทีมยังปรับวิธีการฝึกโมเดลคัดกรอง ให้ไม่เพียงมุ่งเน้นคำตอบที่มีความน่าจะเป็นสูงสุด แต่ยังสามารถระบุเส้นทางทางเลือกที่ควรค่าแก่การเก็บรักษา ทำให้โมเดลขนาดใหญ่มีโอกาสยอมรับ Token ได้มากขึ้นในแต่ละรอบ

ในการทดสอบเจ็ดรายการของ Qwen3-4B อัตราเร่งเฉลี่ยเมื่อใช้ตัวเลือก DFlash 2 ในการสร้างต้นไม้อยู่ที่ 5.95 เท่า เมื่อเปลี่ยนเป็นตัวเลือก UBTree และปรับวิธีการฝึก เพิ่มขึ้นเป็น 6.88 เท่า เทียบเท่ากับการปรับปรุงเพิ่มเติมประมาณ 16% จากแผนเดิม