การปรับโครงสร้าง ByteSeed: รวมการฝึกก่อนและ RL เข้าด้วยกัน แยกกลุ่ม Office Agent ต่างหาก

動察 Beating AI ข่าวด่วน ทีมโมเดลขนาดใหญ่ของ ByteDance อย่าง Seed ได้เสร็จสิ้นการปรับโครงสร้างองค์กรรอบใหม่ Seed Foundation Model ได้จัดตั้งแผนกระดับแรกใหม่สี่แผนก โดยรวมทีมข้อมูลและทีมหลังการฝึกที่เคยกระจายอยู่ในทิศทางข้อความ โค้ด วิทัศน์ และเสียงเข้าด้วยกันอีกครั้ง การเปลี่ยนแปลงหลักคือการรวมข้อมูลก่อนการฝึกและ reinforcement learning เข้าด้วยกัน พร้อมกับแยกการฝึกหลังการประยุกต์ใช้ออกเป็นสองสายงานคือ Work และ Chat

Pretrain Data รับผิดชอบข้อมูล multimodal ของโมเดล Omni อย่างรวมศูนย์ รวมถึงข้อมูลที่จำเป็นสำหรับการฝึกโมเดลขนาดใหญ่พิเศษ Horizon RL มุ่งเน้น reinforcement learning แบบรวมศูนย์ เพื่อเพิ่มความสามารถพื้นฐานของโมเดล Product Posttrain-Work มุ่งเน้นการใช้งานสำนักงานและฝั่ง B โดยเน้นการปรับปรุงความสามารถของโมเดลในการเรียกใช้เครื่องมือ ควบคุมคอมพิวเตอร์ และทำงานระยะยาว ส่วนทีม Application เดิมถูกเปลี่ยนชื่อเป็น Product Posttrain-Chat ยังคงรับผิดชอบโมเดลสนทนาฝั่ง C ทั้งสี่แผนกรายงานตรงต่อ Wu Yonghui

ในอดีต Seed มักแบ่งทีมตามทิศทางข้อความ โค้ด วิทัศน์ เสียง ฯลฯ โดยแต่ละทีมมีบุคลากรด้านข้อมูลและการฝึกหลังของตัวเอง ตอนนี้ ByteDance ต้องการให้โมเดลรุ่นถัดไปก้าวไปสู่ Omni โดยตรง ให้โมดัลที่แตกต่างกันเข้าสู่ฐานเดียวกัน Seed ยังอยู่ระหว่างการหารือเกี่ยวกับการฝึกโมเดลที่มีพารามิเตอร์มากกว่า 5 ล้านล้านตัว ยิ่งโมเดลใหญ่และมีโมดัลมากขึ้น วิธีการวิจัยแบบกระจายเดิมก็ยิ่งมีแนวโน้มที่จะเกิดการลงทุนซ้ำซ้อน

การปรับเปลี่ยนที่คล้ายกันเกิดขึ้นที่ Tencent เช่นกัน Tencent ได้รวมทีมโมเดลภาษาขนาดใหญ่และทีม multimodal ของ Hunyuan ในเดือนกรกฎาคม โดยให้ Yao Shunyu รับผิดชอบแบบรวมศูนย์ ครั้งนี้ ByteDance ยังได้จัดตั้งแผนกหลังการฝึก Work โดยเฉพาะ ซึ่งแสดงให้เห็นว่า Agent สำหรับสำนักงานได้กลายเป็นสายผลิตภัณฑ์ที่ทีมโมเดลพื้นฐานแยกออกมาเพิ่มประสิทธิภาพโดยเฉพาะ