128 แผ่น A100 สร้างแบบอบรมจากศูนย์! โมเดลมัลติโมดอลระดับเหนือ 3B ของ Byte ที่เปิดเผย Lance

ตามการตรวจสอบของโครงการ Beatling พบว่า ByteDance Research ได้เปิดโปรเจคสำหรับ Lance โมเดลยูนิฟายหลายโมบ RNN โมดิล โดยเป็นโมเดลขนาดเล็กที่มีพารามิเตอร์ค่าเริ่มต้นเพียง 3 พันล้านเท่านั้น ที่สามารถทำงานกับการเข้าใจ สร้าง และแก้ไขภาพและวิดีโอได้ในโครงสร้างเดียวกันในเวลาเดียวกัน

ณ ปัจจุบัน โมเดลยูนิฟายที่กำลังมาแรงอย่างมาก มีการพัฒนาโดยการขยายขนาดพารามิเตอร์หรือใช้โครงสร้างรูปแบบทางงานอมน ส่วน Lance พบว่าจะใช้เส้นทางทำงานของพลังการชี้แบบทีม ที่มีพลังจำนวนน้อย ทีมวิจัยได้สร้างโมเดลให้เริ่มทำงานจากศูนย์และผลของการคำนวณทั้งหมดในระยะที่ได้ถูกกำหนดไว้ต่ำมากผล่อ 128 แผ่น A100 GPU

เพื่อแก้ปัญหาข้อบกพร่องภายในระหว่างโมบต่างๆและงานของโจทย์ Lance ได้ทำการแยกโครงสร้างออกเป็น 2 หัวได้แก่:
- ใช้โครงสร้าง MoE ผสมสองที่ทำหน้าที่ในการจัดการกับลำดับหลากมวลที่มีการผสมกันในสองที่อย่างการแชร์บริการลงสูงสุด ทันจัน แยกลิงเวอร์ชวัลไลกับการคำนวณที่เกี่ยวข้องกับการสร้างสรรสรรค์
- นำเข้ารหัสด้วยตำแหน่งการหมุนที่มีการรับรู้ภาสายต่อจะลดองกับสัญญาณแบบภาพและวีดีโอที่แตกต่างกันโดยตรง

การทำลดความสามารถทำงานโดยสิ้นสุดแต่ไม่ไปทำให้การทดลองที่ได้รับการจัดลิมิต โดยใช้พารามิเตอร์เริ่มต้นทั้ง 3 พันล้านของ Lance ผลของการสร้างและแก้ไขภาพและวีดีโอของ Lance ปรากฏว่าครองอันดับสูงสุดในการทดสอบผลรวมทั้งหมดต่อไปของโมบยูนิฟายที่ได้รับการเปิดเผย ผ่านเส้นทางการทำงานมากหนึ่งการร่วมมืองานหลายห้างในการทดลองตามต้นทุนต่ำที่แมสิยบีนอาหาร GPT。