เถียน เคอหยู่สาบานว่า หากโกหกจะ "การศึกษาวิจัยล้มเหลวไปตลอดชีวิต"

ชื่อบทความต้นฉบับ: 《เถียนเคออวี่สาบาน หากโกหกจะ "งานวิจัยล้มเหลวตลอดชีวิต"》
ผู้เขียนต้นฉบับ: Sleepy

กลางดึกวันที่ 12 ตุลาคม เถียนเคออวี่ได้เล่าเรื่องราวความวุ่นวายที่ไบต์แดนซ์เมื่อสองปีก่อนอย่างครบถ้วนเป็นครั้งแรกในรายการพอดแคสต์ elsewhere

ตามที่เขาเล่า เหตุการณ์ทั้งหมดใช้เวลาเพียงประมาณสิบวัน เขาเพียงใช้สคริปต์หยุดโปรแกรมของเด็กฝึกงานคนหนึ่ง "ประมาณห้าครั้ง" ในช่วงท้ายของรายการ พิธีกรขอให้เขาสาบาน เขากล่าวว่าหากตนพูดเท็จแม้เพียงครึ่งประโยค ขอให้ "งานวิจัยล้มเหลวตลอดชีวิต"

หลังพอดแคสต์ออนแอร์ไม่ถึง 13 ชั่วโมง ก็มีคำแถลงเปิดเผยความยาวกว่าหนึ่งหมื่นตัวอักษรถูกเผยแพร่ออกมา ท้ายเอกสารมีเพื่อนร่วมงานห้าคนที่เคยอยู่ทีมเดียวกับเขาในปีนั้นรับรองด้วยชื่อจริง

คำแถลงเปิดเผยความยาวหมื่นตัวอักษร｜ที่มา: Github

เหตุการณ์ที่คำแถลงนี้อธิบายนั้นแตกต่างจากเรื่องที่เขาเล่าอย่างสิ้นเชิง คำแถลงระบุว่าการ sabotage ด้วยมือคนเริ่มตั้งแต่เดือนมีนาคมถึงกรกฎาคม 2024 รวมเวลากว่าเกือบห้าเดือน เขาดัดแปลงซอร์สโค้ด PyTorch ระดับล่างของคลัสเตอร์ฝึกโมเดล เพื่ออำพรางการ sabotage โดยเจตนาให้ดูเหมือนความขัดข้องที่เกิดขึ้นเป็นครั้งคราว ท้ายไทม์ไลน์ของคำแถลงเขียนไว้ว่า การออกมาให้สัมภาษณ์ในพอดแคสต์ของเถียนเคออวี่คือ "ความพยายามอีกครั้งที่จะล้างความผิดและบิดเบือนความจริง"

สี่วันก่อน บริษัท world model ของเขาเพิ่งประกาศระดมทุนรอบใหม่เกือบ 30 ล้านดอลลาร์สหรัฐ มูลค่าหลังระดมทุน 200 ล้านดอลลาร์สหรัฐ

สองปีก่อน เขายังเป็นเด็กฝึกงานที่ไบต์แดนซ์ ถูกไล่ออก ถูกฟ้องร้อง หลังคดีถูก立案ไม่ถึงสามสัปดาห์ งานวิจัย VAR ที่เขาเป็นผู้เขียนคนแรกก็คว้ารางวัล NeurIPS Best Paper

เกี่ยวกับเรื่องนี้ ศาล ไบต์แดนซ์ วงการวิชาการ นักลงทุน เพื่อนร่วมงานในปีนั้น และตัวเขาเอง ต่างยังคงมีคำกล่าวที่แตกต่างกันจนถึงทุกวันนี้

แต่มีสิ่งหนึ่งที่ชัดเจน หนังสือแจ้งภายในที่ระบุว่าเขาก่อการโจมตีโดยเจตนา บวกกับคำพิพากษาผิดสัญญาในชั้นต้น ล้วนไม่ได้ทำให้เขาต้องจ่ายราคาใด ๆ ในตลาดทุน

คนที่เคยทำเรื่องแบบนี้ กลับสามารถกลับมาบนโต๊ะเดิมได้อย่างรวดเร็วและสง่างามเช่นนี้ภายในสองปี ในความเห็นของผม นี่คือความน่าเศร้าของยุคสมัยนี้ ครึ่งหนึ่งของความน่าเศร้าอยู่ที่ตัวเขา อีกครึ่งหนึ่งอยู่ที่คนที่ยินดีให้เงินเขา

เมล็ดพันธุ์สุ่ม

ก่อนจะกลายเป็นศูนย์กลางของกระแสวิพากษ์วิจารณ์ เถียนเคออวี่เคยเป็น "เด็กอัจฉริยะ" มาตรฐานคนหนึ่ง

ปี 2018 สอบเข้ามหาวิทยาลัยเป่ยหัง เรียนวัสดุศาสตร์ก่อน แล้วย้ายไปคณะวิศวกรรมซอฟต์แวร์ ตั้งแต่ปีสองเริ่มฝึกงานที่ SenseTime ระหว่างเรียนปริญญาตรีก็ตีพิมพ์論文สองฉบับใน NeurIPS ในฐานะผู้เขียนคนแรก งานใหญ่ด้านโครงสร้างข้อมูลที่เขาเขียนตอนปีหนึ่ง คว้าที่หนึ่งในการทดสอบประสิทธิภาพของคน 800 คน ในคำอธิบายเขาเขียนว่า เพื่อประสิทธิภาพสูงสุด ได้ใช้ tricks, hacks และการปรับแต่งจำนวนมาก

กระหายประสิทธิภาพอย่างมาก และเก่งมากในการหาทางลัดในช่องว่างของกฎ

ในปี 2021 เขาเข้าฝึกงานในทีมเทคโนโลยีเชิงพาณิชย์ของ ByteDance ปีถัดมาจบปริญญาตรี ไปเรียนต่อปริญญาโทที่มหาวิทยาลัยปักกิ่ง โดยมี Wang Liwei เป็นอาจารย์ที่ปรึกษา การฝึกงานไม่เคยหยุด เขาอยู่ในทีมนี้สามปี เป็นเด็กฝึกงานที่นั่งอยู่ที่โต๊ะนานที่สุด

คนที่ดูแลทีมนี้คือ Yuan Zehuan คนที่ดูแลโมเดลพื้นฐานคือ Jiang Yi โครงการหลายอย่างในทีมมีเด็กฝึกงานเป็นกำลังหลัก

ในปี 2024 พวกเขาลงเดิมพันสองเส้นทางพร้อมกัน ด้านหนึ่งคือ autoregressive เวอร์ชัน text-to-image ของ VAR ถูกตั้งโครงการอย่างเป็นทางการ โดย Tian Keyu รับผิดชอบ ใช้การ์ดหลายพันใบ เขาบอกว่าตอนนั้น leader ช่วยเขา "ขอทาน" ทรัพยากรมาให้เยอะ อีกด้านคือโครงการวิดีโอ Goku ที่เริ่มในเดือนเมษายนหลัง Sora เปิดตัว ใช้เส้นทาง diffusion เป็นโครงการที่หลายคนร่วมมือกัน

ปีนั้น พลังประมวลผลเป็นสิ่งที่ทุกห้องแล็บ AI แย่งชิงกันมากที่สุด ตามการประเมินของสถาบันวิจัยตลาด ByteDance ปีนั้นซื้อชิป Nvidia Hopper ประมาณ 230,000 ตัว (รวม H20 ที่ผลิตสำหรับตลาดจีนโดยเฉพาะ) เท่ากับ Tencent ปริมาณการจัดซื้อเป็นรองแค่ Microsoft Meta เขียนในเปเปอร์ Llama 3 ว่า H100 16,384 ใบ เทรน 54 วัน ถูกขัดจังหวะโดยไม่คาดคิด 419 ครั้ง Jan Leike หัวหน้าฝ่าย superalignment ของ OpenAI ตอนลาออกก็บอกว่าทีมในช่วงหลายเดือนที่ผ่านมา "struggling for compute" บ่อยครั้ง

การ์ดคือชิป การ์ดคือทุกสิ่ง

ในคำให้การบันทึกว่า ตอนที่ Goku เริ่มโครงการ สองโครงการได้รับการ์ดพอๆ กัน เดือนมิถุนายน Kuaishou เปิดตัว Kling ภายใน ByteDance มีสามทีมที่ทำ video generation พร้อมกัน ผู้บริหารตัดสินใจหดและรวมศูนย์ GPU เริ่มเอียงไปทาง Goku การ์ดที่เช่าใหม่ก็ให้มันก่อน ทีม infra ของ Seed ถูกย้ายมาช่วยมัน stabilize การเทรน

วันที่ 24 กันยายน ByteDance เปิดตัวโมเดลวิดีโอ Doubao PixelDance และ Seaweed

แต่ก่อนหน้านั้นในเดือนสิงหาคม Tian Keyu ถูกไล่ออกแล้ว ถูกเชิญออกจากพื้นที่ทำงาน

ตามประกาศภายในที่ ByteDance ส่งถึงพนักงานทุกคนเมื่อวันที่ 5 พฤศจิกายน 2024 Tian Keyu ในช่วงเดือนมิถุนายนถึงกรกฎาคม "เนื่องจากไม่พอใจการจัดสรรทรัพยากรของทีม ได้โจมตีงานเทรนโมเดลของโครงการวิจัยของทีมโดยเจตนาผ่านการเขียนและแก้ไขโค้ด ทำให้เกิดการสูญเสียทรัพยากร" สัญญาฝึกงานของเขาถูกยกเลิก สถานการณ์ถูกแจ้งไปยัง Sunshine Integrity Alliance, Enterprise Anti-Fraud Alliance และโรงเรียนที่เขาศึกษา

ตามคำให้การที่มีอดีตเพื่อนร่วมงานห้าคนเป็นพยาน เขาก่อกวนนานกว่านั้น

ในเดือนมีนาคม เป้าหมายแรกคือโปรเจกต์ autoregressive อีกตัวในทีมชื่อ LlamaGen ซึ่งตอนนั้นใช้การ์ดไม่ถึง 100 ใบ การสร้างภาพจากข้อความของ LlamaGen ต้องใช้ฟีเจอร์ T5 ที่ Tian Keyu จัดหาให้ แต่ฝึกยังไงก็ไม่สำเร็จ Chen Shu โพสต์โค้ดที่เขา commit เข้า GitLab ภายในในเดือนนั้น ซึ่งเป็นการผสมสัญญาณรบกวนแบบสุ่มเข้าไปในน้ำหนักของโมเดล T5 แล้วปรับขนาดตัวเลขโดยรวมกลับให้เป็นเหมือนเดิม ต่อมาผู้เขียนดาวน์โหลดน้ำหนักชุดใหม่จาก Hugging Face ปัญหาจึงหายไป ตอนนั้นไม่มีใครคิดว่าเป็นการ sabotage โดยเจตนา หลายสัปดาห์ต่อมา VAR ก็ถูกโพสต์ขึ้น arXiv

ผสมสัญญาณรบกวนลงในน้ำหนัก T5 | ที่มา: Chen Shu เปิดเผยต่อสาธารณะ

หลังเดือนเมษายน เป้าหมายเปลี่ยนเป็น Goku โครงสร้างพื้นฐานสมบูรณ์ขึ้นเรื่อย ๆ แต่การฝึก Goku กลับไม่เสถียรมากขึ้น ตอนแรกขาดการเชื่อมต่อวันละครั้ง ต่อมาทนได้แค่สองสามชั่วโมง loss พุ่งสูงบ่อยครั้ง แทบทำการทดลองที่มีความหมายไม่ได้เลย

ตามคำกล่าวอ้างของ Chen Shu สิ่งที่เขาแก้คือซอร์สโค้ด PyTorch บนคลัสเตอร์ฝึก

random seed ที่เดิมกำหนดตายตัวสำหรับการสุ่มตัวอย่างข้อมูล ถูกเปลี่ยนเป็น timestamp ระดับนาโนวินาที gradient clipping ถูกแก้ให้ขยาย gradient เป็นสองเท่าทุกครั้ง แต่ตัวเลขที่รายงานใน log กลับดูปกติ ในไดเรกทอรีของเขามีไฟล์สี่ไฟล์ ชื่อว่า 18, 19, 20, 21 ซึ่งสอดคล้องกับความน่าจะเป็น 1/2^18 ถึง 1/2^21 ที่จะทำให้โปรเซสใดโปรเซสหนึ่งแกล้งทำเหมือนตัวเองไม่ได้อยู่ในกลุ่มขณะสื่อสารในคลัสเตอร์ ไฟล์ PyTorch ที่ติดตั้งในระบบถูกแทนที่ด้วย sudo และเวลาที่แก้ไขก็ถูกเปลี่ยนกลับให้เป็นเหมือนเดิม บนไดรฟ์ที่แชร์ยังทิ้ง backdoor ไว้ ซึ่งสามารถรันข้อความในไดเรกทอรีที่กำหนดเป็นคำสั่งได้

คำพูดเดิมในคำกล่าวอ้างของ Chen Shu คือ วิธีการเหล่านี้ทำให้การ sabotage โดยเจตนา "ถูกอำพรางเป็นความผิดพลาดของซอฟต์แวร์ที่เกิดขึ้นแบบสุ่ม ความผิดปกติของตัวเลข หรือปัญหาของโครงสร้างพื้นฐาน"

ในช่วงหนึ่งถึงสองเดือนที่รุนแรงที่สุด เพื่อนร่วมงานที่ปักกิ่ง เซี่ยงไฮ้ และซีแอตเทิลผลัดกันเข้าเวรตลอด 24 ชั่วโมง ประชุมส่งมอบงานเช้าเย็นวันละครั้ง Chen Shu กล่าวว่า Tian Keyu เองก็อยู่ในกลุ่มตรวจสอบมาตลอด และมาประชุมด้วย แล้วก็แก้โค้ดของตัวเองตามทิศทางที่เพื่อนร่วมงานตรวจสอบ ทุกคนไม่เคยคิดว่าคนที่มีปัญหาคือคนที่อยู่ในที่ประชุม ความล้มเหลวซ้ำแล้วซ้ำเล่าทำให้หลายคนเริ่มสงสัยการตัดสินใจทางเทคนิคของตัวเอง

เช้าวันที่ 30 กรกฎาคม มีคนพบ random seed ที่ถูกแก้ในสภาพแวดล้อม Docker ของเครื่องหนึ่ง ในบันทึกการเข้าสู่ระบบ นอกจากเจ้าของเครื่องแล้ว มีเพียง Tian Keyu เท่านั้น หัวหน้าถามเขาว่าไปทำอะไร เขาบอกว่าอยากศึกษาโค้ดที่เกี่ยวข้อง

วันถัดมา เพื่อนร่วมงานอีกคนไปเจอสคริปต์ที่มีหมายเลขกำกับชุดนั้นในไดเรกทอรีส่วนตัวของเขา ในเดือนสิงหาคม ฝ่ายความปลอดภัยของบริษัทเข้ามาสอบถาม Chen Shu เขียนไว้ว่า เมื่อเผชิญกับการสอบถาม เขายังคงดูสงบนิ่งอย่างมาก

จากนั้น เขาก็ถูกไล่ออก

ความยุติธรรมแบบเรียบง่าย

ในพอดแคสต์ เทียนเคออวี่ได้เล่าเรื่องราวทั้งหมดใหม่ในอีกเวอร์ชันหนึ่ง

ในเวอร์ชันนี้ เขาคือวีรบุรุษผู้โดดเดี่ยวที่ต่อต้านการกลั่นแกล้ง ในปี 2024 มี "เด็กฝึกงาน A" คนใหม่เข้ามาในทีม ตอนแรกก็จองพลังประมวลผลที่เป็นของคนอื่นเหมือนจองที่นั่ง ต่อมาก็สั่งหยุดโปรแกรมของคนอื่นโดยตรง คนที่ถูกหยุดส่วนใหญ่เป็นเพื่อนร่วมงานที่เก็บตัว เขาบอกว่า A มีสิทธิ์ระดับผู้ดูแลระบบ ทุกคนเคยแจ้งปัญหากับหัวหน้าทีมแล้ว แต่ก็ไม่เคยได้รับการแก้ไข

เทียนเคออวี่เล่าตอนหลังว่า คืนหนึ่ง เขากับเพื่อนร่วมงานอีกคนออกไปเป็นคนสุดท้าย เขาส่งงานไปหลายงาน แต่อีกฝ่ายไม่ส่งสักงาน นั่งเล่นมือถืออยู่ตรงนั้น บอกว่ายังไงส่งไปก็จะถูก A ปิดอยู่ดี

ดังนั้น เทียนเคออวี่จึงตัดสินใจ เขาให้ ChatGPT ช่วยเขียนสคริปต์ชุดหนึ่ง เพื่อบล็อกหรือปิดงานฝึกของเด็กฝึกงาน A ด้วยมือ

"การทดลองของคนอื่น ผมไม่เคยแตะต้องเด็ดขาด" เขาพูดในพอดแคสต์ นี่ไม่ใช่การวางยาพิษ และไม่เกี่ยวกับการโจมตีหรือป้องกัน แรงจูงใจที่ใหญ่ที่สุดคือทนดู A รังแกคนอื่นในทีมไม่ได้

เขาเรียกการกระทำครั้งนั้นว่า "ความยุติธรรมแบบเรียบง่าย" เรียก A ว่า "ผู้รังแก" และบอกว่าพอมองย้อนกลับไป ตัวเองก็ใช้ความรุนแรงต่อสู้กับความรุนแรงเช่นกัน เขายอมรับกับสื่อต่างประเทศว่านั่นคือ vigilante act การลงโทษแบบมือปราบนอกกฎหมาย "It was me fighting fire with fire."

แต่เรื่องเล่าที่ฟังดูมีสีสันแบบโรบินฮูดนี้ ไม่สอดคล้องกับกระบวนการในคำให้การ หากคำให้การเป็นความจริง มือของเขายื่นไปไกลกว่าแค่งานของ A คนเดียว สิ่งที่ถูกปนสัญญาณรบกวนในเดือนมีนาคม คือเวตที่โปรเจกต์ autoregressive อีกตัวในทีมเดียวกันอย่าง LlamaGen ต้องพึ่งพา หลังจากเดือนเมษายนเป็นต้นมา สิ่งที่ถูกแก้ไขคือสภาพแวดล้อม PyTorch ที่ทั้งคลัสเตอร์ฝึกใช้ร่วมกัน

ในความเป็นจริง เวอร์ชันเรื่องราวของเทียนเคออวี่วิวัฒน์ไปตามเวลาอยู่ตลอด ทุกครั้งที่เขาเล่าเรื่อง เรื่องของเขาก็ดูดีขึ้นกว่าเดิมเล็กน้อย

ในเดือนตุลาคม 2024 ตอนที่เหตุการณ์เริ่มปะทุในเครือข่ายสังคมครั้งแรก ในภาพแคปหน้าจอที่แพร่กระจายอย่างกว้างขวางในกลุ่ม WeChat คำพูดของเขาคือ เขาออกจาก ByteDance หลังส่งบทความวิชาการเสร็จ แล้วมีอีกคนหนึ่งฉวยโอกาสนี้เจาะช่องโหว่แก้โค้ด แล้วโยนความผิดมาให้เขา คนวงในของ ByteDance ตอนนั้นบอกว่า เขาปฏิเสธต่อสาธารณะหลายครั้ง และยังแจ้งความอ้างว่าตัวเองถูกใส่ร้าย

แต่พอมาถึงพอดแคสต์ในปี 2026 เมื่อพิธีกรถามว่าเขาป้ายความผิดให้คนอื่นในตอนนั้นหรือไม่ เขาบอกว่า "ไม่มีเลย" แล้วยังพูดว่า "ผมไม่เคยปฏิเสธการกระทำของตัวเอง" ส่วนการแจ้งความ เขาบอกว่าเป็นเพราะบริษัทถามเขาว่ารู้ไหมว่าโพสต์บนอินเทอร์เน็ตนั้นใครโพสต์ เขาอยากให้ตำรวจสืบหาเจ้าของโพสต์ จึงไปแจ้งความหลังยืนยันกับบริษัทแล้ว ตอนสาบานเขายังเสริมอีกประโยค อ้างว่าสิ่งนี้คนอื่นทำ พฤติกรรมแบบนี้เขารังเกียจอย่างยิ่ง

คำว่า "วางยา" เขาไม่ยอมรับ มีคนบนอินเทอร์เน็ตเรียกเขาว่า "เหลาเถียน" เขาบอกว่านี่เป็นคำที่ใช้เรียกเขาที่ถือว่าอ่อนโยนที่สุดแล้ว สิ่งที่เขาไม่ยอมรับมากที่สุดคือคำว่า "แทงข้างหลังเพื่อนร่วมงาน โยนความผิดให้คนอื่น"

ตอนที่ ByteDance ฟ้องร้อง เรียกร้องค่าเสียหายจากการละเมิด 8 ล้านหยวน ค่าใช้จ่ายที่สมเหตุสมผล 2 หมื่นหยวน และการขอโทษต่อสาธารณะ ศาลชั้นต้นตัดสินให้เถียนเคออวี่ชดใช้ค่าเสียหายแก่ ByteDance 50 หมื่นหยวนตามสัญญา และเงินเดือนฝึกงานสามปีของเขาที่ ByteDance ก็ถูกริบทั้งหมด ตามที่เขากล่าว คำขออื่นๆ ถูกยกฟ้อง รวมถึงการขอโทษต่อสาธารณะ เงิน 50 หมื่นหยวนนี้พอดีกับเงินเดือนฝึกงานบวกค่าทนายความที่บริษัทใช้ฟ้องคดี ตัดสินได้ "ยุติธรรมมาก"

ByteDance ยื่นอุทธรณ์แล้ว ศาลชั้นอุทธรณ์ยังไม่มีคำตัดสิน

ในพอดแคสต์ พิธีกรถามเขาว่า ในเรื่องทั้งหมดนี้ เขาอยากขอโทษใคร เขานึกถึง ByteDance บอกว่าเขารู้สึกผิดต่อบริษัทมาตลอด กระแสสังคมทำให้บริษัทต้องใช้ทรัพยากรไปมาก การฟ้องร้องทำให้บริษัทต้องเสียค่าทนายความ

City

ในคำให้การนั้นบันทึกไว้ว่า ตอนทบทวนสถานการณ์ มีคนในทีมรู้สึกแปลกใจ ในช่วงหลายเดือนนั้น เถียนเคออวี่ต้องดูแลโค้ดโจมตีชุดหนึ่ง แก้ไขไปเรื่อยๆ ตามความคืบหน้าการตรวจสอบของเพื่อนร่วมงาน ขณะเดียวกันก็ต้องดูแลโครงการฝึกโมเดลที่มีการ์ดกว่าพันใบ และยังรายงานความคืบหน้าได้อย่างสม่ำเสมอในที่ประชุมประจำสัปดาห์

คำถามนี้ คำให้การนั้นก็ให้คำตอบเป็นครั้งแรกเช่นกัน

ในปี 2024 เถียนเคออวี่รับผิดชอบขยาย VAR ไปสู่การสร้างภาพจากข้อความ ในช่วงหลายเดือนนั้น เขาได้ติดตั้งโมเดลทดลองบน Discord ภายใน ให้ทีมทดสอบทุกวัน หัวหน้าโครงการที่เกี่ยวข้องก็เคยทดลองใช้ด้วยตัวเองหลายครั้ง ใน Weekly Update ทุกสัปดาห์ เขาสามารถรายงานความคืบหน้าการฝึกใหม่ได้อย่างสม่ำเสมอ

คำให้การระบุว่า ในการทบทวนหลังเถียนเคออวี่ถูกไล่ออก ทีมจึงค้นพบว่า โมเดลที่ติดตั้งบนเครือข่ายภายในให้ทุกคนทดสอบนั้น แท้จริงคือโมเดลโอเพนซอร์ส PixArt

กระบวนการอนุมานถูกแพ็กเป็นไฟล์ไบนารีส่งให้เพื่อนวิศวกรติดตั้ง คนที่ติดตั้งมองไม่เห็นตรรกะข้างใน ไม่ว่าผู้ใช้จะป้อน prompt อะไรที่ส่วนหน้า ระบบหลังบ้านจะเพิ่มคำว่า "City" ไว้ข้างหน้าอัตโนมัติ

คำให้การเห็นว่า นี่เป็นการป้องกันไม่ให้มีคนนำ prompt เดียวกันไปเปรียบเทียบกับโมเดลโอเพนซอร์ส แล้วพบว่าผลลัพธ์คล้ายกันเกินไป

คนที่ทดสอบก่อนหน้านี้สงสัยมาตลอดว่า ทำไมในพื้นหลังของภาพที่สร้างขึ้นจึงมีโครงร่างอาคารเมืองลอยอยู่เสมอ

คำให้การกล่าวว่า โมเดลที่ฝึกจริงๆ นั้น สถานะการฝึกและ loss มีปัญหาหนัก ยังห่างไกลจากผลลัพธ์ที่เคยแสดงไว้มาก ทีมต้องเริ่มใหม่ทั้งหมด ใช้เวลาหลายเดือนในการสร้างใหม่ จึงได้ Infinity ในภายหลัง

ผู้เขียนคนแรก

ต้องยอมรับว่า VAR เป็นบทความวิชาการที่ยอดเยี่ยมอย่างยิ่ง

ก่อนหน้านี้ เส้นทางการสร้างภาพแบบ autoregressive ถูกโมเดล diffusion กดทับอย่างหนักในด้านการสร้างภาพ แบบ autoregressive ดั้งเดิมบีบอัดภาพสองมิติให้เป็นลำดับ token หนึ่งมิติ ทำนายทีละตัว ช้าทั้งยังได้ผลลัพธ์แย่

แต่ VAR ได้ทำลายคำสาปนี้ โดยเสนอ Next-Scale Prediction เปลี่ยนกระบวนการสร้างให้กลายเป็นการเกิดขึ้นแบบหลายระดับจากภาพร่างหยาบไปสู่รายละเอียดปลีกย่อย บน基準 ImageNet มันดึงตัวชี้วัด FID จาก 18.65 ลงมาถึง 1.73 ความเร็วในการอนุมานเพิ่มขึ้นเกือบ 20 เท่า เป็นครั้งแรกที่ผู้คนได้เห็นแสงแห่งความหวังว่าในด้าน vision จะปฏิบัติตาม scaling law ได้เหมือน large language model

Next-Scale Prediction｜ที่มาภาพ: ภาพประกอบอย่างเป็นทางการของ VAR

ปลายปี 2024 VAR ได้รับรางวัลบทความยอดเยี่ยม NeurIPS 2024 เมื่อเผชิญกับข้อกังขาจากภายนอกต่อผู้เขียนคนแรก NeurIPS ตอบกลับว่าการตัดสินรางวัลดูแค่คุณค่าทางวิทยาศาสตร์ของบทความ ไม่พิจารณาผู้เขียนเป็นรายบุคคล

ผู้เขียนทั้งห้าคนของบทความนี้เรียงตามลำดับคือ Tian Keyu, Jiang Yi, Yuan Zehuan, Bingyue Peng, Wang Liwei

หน้าแรกบทความ VAR｜ที่มา: arXiv

แม้ว่าผู้เขียนคนที่สองของบทความ Jiang Yi จะเขียนไว้บนหน้าส่วนตัวว่า «I led the development of VAR from initial concept to implementation.» (ฉันเป็นผู้นำการพัฒนา VAR ตั้งแต่แนวคิดเริ่มต้นจนถึงการนำไปใช้จริง)

แม้ว่าโค้ดโอเพนซอร์สของ VAR จะยังคงอยู่ภายใต้บัญชีโอเพนซอร์สของ ByteDance ชื่อ FoundationVision จนถึงทุกวันนี้

แม้ว่าหลังจาก Tian Keyu จากไป ทีม ByteDance ที่ต่อยอดจากสิ่งนี้ได้สร้าง Infinity และ InfinityStar ซึ่งได้รับการตอบรับระดับ Oral จาก CVPR และ NeurIPS ติดต่อกัน

แต่ในตรรกะการซื้อขาย venture capital ที่เป็นมาตรฐานสูง สัญญาณรบกวนเบื้องหลังที่ซับซ้อนทั้งหมดจะถูกกรองออกโดยอัตโนมัติ กรอบความคิดของทุนนั้นเรียบง่ายและหยาบกระด้าง ชื่อของ Tian Keyu อยู่ในลำดับแรก เขาก็คือผู้เขียนคนแรกของบทความยอดเยี่ยมนี้

ในสนามแข่งขัน AI ที่ให้ความสำคัญกับภูมิหลังและชื่อเสียงอย่างสุดขั้ว "ผู้เขียนหลักของ NeurIPS Best Paper" คือบัตรผ่านที่แข็งแกร่งที่สุด น้ำหนักของชื่อที่ปรากฏบนผลงานเพียงชื่อเดียว สามารถกลบทุกสิ่งที่บุคคลนั้นทำนอกเหนือจากชื่อบนผลงานได้ทั้งหมด

อาจกล่าวได้ว่า แม้แต่เรื่องอื้อฉาวที่สั่นสะเทือนวงการนั้น กลับกลายเป็นสินทรัพย์ทางธุรกิจที่มีเอกลักษณ์เฉพาะในกระแสความคลั่งไคล้การประเมินมูลค่านี้

ในพอดแคสต์ พิธีกรเคยถามเขาตรง ๆ ว่า เหตุการณ์กับ ByteDance นั้นได้เพิ่มชื่อเสียงในวงการของเขาในทางวัตถุวิสัยหรือไม่

เทียน เคออวี่ ไม่ได้หลีกเลี่ยง "ในความเป็นจริงแล้ว ใช่ จะได้รับความสนใจอย่างมากเป็นพิเศษ เมื่อรวมกับเรื่อง Best Paper เข้าไป ดูเหมือนเป็นบัฟฟ์สองชั้น"

200 ล้านดอลลาร์

หลายเดือนหลังจากถูกไล่ออก เขาบรรยายว่ามันเป็น "ราตรีนิรันดร์" บริษัทโมเดลขนาดใหญ่แห่งหนึ่งเคยให้ข้อเสนอแก่เขา แต่ภายหลังถูกยกเลิก

แต่ตรรกะของสถาบันร่วมลงทุนนั้นไม่เหมือนกับฝ่ายทรัพยากรบุคคลของบริษัทใหญ่เลย

ต้นปี 2025 นักลงทุนที่เขาได้ติดต่อยังมีน้อย คนแรกที่ลงทุนในตัวเขาคือ เมิ่ง ซิ่ง หุ้นส่วนของห้าธารทุน (5Y Capital) เมิ่ง ซิ่ง เคยเป็นผู้ร่วมก่อตั้งและ COO ของ Didi Autonomous Driving ก่อนหน้านั้นดูแลการลงทุนฮาร์ดเทคที่ Shunwei เพิ่งเข้าร่วมห้าธารในเดือนกันยายน 2024 ต่อมาเมิ่ง ซิ่ง พาเขาไปพบหลิว ฉิน ผู้ก่อตั้งหุ้นส่วนของห้าธาร หลิว ฉิน กล่าวว่าเขาเต็มไปด้วยพลังบางอย่าง

ยังมีกองทุนหนึ่งที่เขาชอบมาก ในการประชุมออนไลน์ครั้งสุดท้าย ได้ถามคำถามต่อเนื่องเกี่ยวกับเรื่อง ByteDance แล้วจึงไม่ลงทุน

เดือนกุมภาพันธ์ 2026 ปักกิ่งหลานถานเครือข่ายเทคโนโลยี จำกัด ได้จดทะเบียนก่อตั้งขึ้นอย่างเงียบ ๆ ทุนจดทะเบียน 100,000 หยวน เทียน เคออวี่ ถือหุ้น 60% ผู้ถือหุ้นอีกห้ารายถือรายละ 8% หลายคนเป็นศิษย์เก่ามหาวิทยาลัยเป่ยหางของเขา เดือนพฤษภาคม ยังมีนิติบุคคลในประเทศอีกแห่งที่ถือหุ้นทั้งหมดโดยบริษัทต่างประเทศ จดทะเบียนก่อตั้งขึ้น ทุนจดทะเบียน 1.9 ล้านดอลลาร์สหรัฐ

ถึงเดือนตุลาคม สตาร์ทอัพแห่งนี้ที่ยังไม่เปิดเผยเดโมสาธารณะและชื่ออย่างเป็นทางการ ถูกเปิดเผยว่าระดมทุนเสร็จสิ้นเกือบ 30 ล้านดอลลาร์สหรัฐ มูลค่าหลังการลงทุน 200 ล้านดอลลาร์สหรัฐ ผู้นำการลงทุนคือห้าธารทุน IDG ร่วมลงทุน

สาขาของบริษัทแห่งนี้ก็คือสิ่งที่วงการร่วมลงทุนทั้งหมดคลั่งไคล้อย่างแพงที่สุดในรอบปีที่ผ่านมา นั่นคือ World Model

World Model กลายเป็นฟางเส้นสุดท้ายของสถาบันลงทุนทั้งหมดที่พยายามก้าวข้ามเรื่องเล่า LLM แบบดั้งเดิม มูลค่าของ World Labs ของหลี่ เฟยเฟย ถูกดันขึ้นอย่างรวดเร็ว เดือนกันยายนปีนี้ AMD ประกาศซื้อกิจการด้วยหุ้นทั้งหมดมูลค่า 8.2 พันล้านดอลลาร์สหรัฐ AMI Labs ที่หยาง ลี่คุน ก่อตั้งขึ้นได้รับเงินระดมทุนรอบ seed 1.03 พันล้านดอลลาร์สหรัฐ ไป๋ จงอี้ แห่ง耀途资本 กล่าวติดตลกในฟอรัมจงกวนชุนว่า "พอพูดถึง World Model มูลค่าก็เริ่มต้นที่หลายร้อยล้านดอลลาร์สหรัฐ"

ผู้เขียนที่ติดต่อได้ของ VAR อย่าง Yuan Zehuan ก็ลาออกจาก ByteDance และก่อตั้งบริษัท World Model ขณะที่ในงาน Douyin Wonderful Night เมื่อวันที่ 11 ตุลาคม World Model ที่พัฒนาเองโดย ByteDance ได้เปิดตัวต่อสาธารณะอย่างยิ่งใหญ่ โดย Zhang Yiming กำกับดูแลโครงการนี้ด้วยตนเอง

World Model ของ ByteDance เปิดตัว｜ที่มา: QuantumBit

Meng Xing ได้พูดที่ Zhejiang University เมื่อเดือนกันยายนปีนี้เกี่ยวกับเกณฑ์ของเขาที่ใช้มองผู้ประกอบการ เขาให้ความสำคัญกับความหลงใหลที่ทิ้ง "ร่องรอยที่สืบย้อนได้" ไว้ก่อนการเริ่มต้นธุรกิจ และยังให้ความสำคัญกับความรู้ความเข้าใจและการตัดสินใจที่ "ผ่านการพิสูจน์ด้วยการกระทำ" แต่ครั้งนี้ ผลลัพธ์ของการพิสูจน์ด้วยการกระทำถูกเขียนไว้อย่างชัดเจนในคำพิพากษาคดีแพ่ง อย่างไรก็ตาม หนี้ทางศีลธรรมอันหนักอึ้งนี้ไม่ได้ถูกนับรวมอยู่ใน Term Sheet มูลค่า 200 ล้านดอลลาร์นั้น

สำหรับการลงทุนเสี่ยงภัยที่แสวงหาผลตอบแทนร้อยเท่า ข้อบกพร่องทางศีลธรรมเป็นเพียงความเสี่ยงส่วนท้ายที่ไม่สามารถวัดปริมาณได้ แต่ส่วนเพิ่มของ Best Paper กลับเป็นเงินจริงที่สามารถแปลงเป็นเงินสดได้โดยตรงจากกองทุนที่ตามมาในการระดมทุนรอบถัดไป

ใน Silicon Valley เคยมีกรณีตัวอย่าง วิศวกรformer ของ Waymo อย่าง Levandowski ถูกตัดสินจำคุก 18 เดือนในปี 2020 จากการขโมยความลับทางการค้าของ Google ได้รับการอภัยโทษในเดือนมกราคม 2021 และกว่าหนึ่งปีต่อมา บริษัทใหม่ของเขาได้รับการระดมทุนนำโดย Slow Ventures

ความคิดเห็นสาธารณะก็แบ่งออกเป็นสองฝ่าย

สองปีก่อนตอนที่เขาได้รับรางวัล บนอินเทอร์เน็ตมีคนกล่าวว่า ความเป็นเลิศไม่สามารถเป็นใบผ่านทางสำหรับการทำชั่วได้ และก็มีคนกล่าวว่า นี่ไม่ใช่ paper ของเขาเพียงคนเดียว ครั้งนี้เมื่อข่าวการระดมทุนออกมา คำตอบหนึ่งบน Zhihu ที่มีคนเห็นด้วย 1,507 คนกล่าวว่า เขาคือ "อัจฉริยะที่เกิดมาสำหรับยุคอลหม่าน" การใช้การทำลายกฎเป็นหลักฐานของความเป็นอัจฉริยะ คำกล่าวนี้ได้รับความเห็นด้วยมากมายขนาดนี้ ตัวมันเองก็เป็นส่วนหนึ่งของยุคอลหม่านนี้ อีกคำตอบหนึ่งเขียนว่า "คนที่มีความสามารถสูงทำเรื่องที่ขาดศีลธรรมอย่างมาก รับผลที่ตามมาไม่มากนัก แล้วก็เดินหน้าต่อไป"

ดังนั้นกลับไปที่ประโยคตอนต้น ที่ Tian Keyu สามารถระดมทุนก้อนนี้ได้ เป็นความน่าเศร้าของยุคสมัยนี้

ครึ่งหนึ่งของเขาอยู่ที่ว่า ในสองปีนี้เขาเรียนรู้ที่จะเล่าเรื่องที่ฟังเพราะขึ้นเรื่อย ๆ แต่ไม่เคยตอบตรง ๆ ว่าสิ่งที่เกิดขึ้นในช่วงหลายเดือนนั้นคืออะไร เมื่อถูกถามว่าอยากขอโทษใคร เขานึกถึงบริษัท เรื่องอื้อฉาวของเขากลายเป็น buff ของเขา

ครึ่งหนึ่งของนักลงทุนนั้นทำให้รู้สึกแย่ยิ่งกว่า ในกระแสความร้อนแรงของการประเมินมูลค่า World Model ป้ายผู้เขียนคนแรกของ Best Paper ถูกกำหนดราคาได้ง่ายกว่ารายงานภายในและคำพิพากษาหนึ่งฉบับ มูลค่าตัวของนักวิจัยพุ่งสูงขึ้นเรื่อย ๆ ทุนกลัวพลาดอัจฉริยะคนต่อไป ปากก็พูดว่าการลงทุนคือการลงทุนในคน แต่ครั้งนี้ ประวัติอาชญากรรมของคนคนนี้กลับไม่มีผลต่อการที่เขากลับมาที่โต๊ะเล่นอีกครั้ง

Leader

บริษัทใหม่ของเถียนเคออวี่วางแผนที่จะขยายทีมให้ถึงยี่สิบคนภายในสิ้นปีนี้

เขาเล่าปรัชญาการบริหารของตัวเองในพอดแคสต์ว่า การทำ pre-training โมเดลที่ล้ำสมัยที่สุดจริง ๆ ไม่จำเป็นต้องใช้คนเยอะ สิ่งที่สำคัญที่สุดคือการรวมปัญญาของหมู่คณะ สร้างดินแดนทางเทคโนโลยีที่ทุกคนสามารถแสดงศักยภาพได้อย่างอิสระ

สองปีก่อน เขาเป็นเด็กฝึกงานที่อยู่มานานที่สุดในทีม ตามประกาศของ ByteDance เนื่องจากไม่พอใจการจัดสรรทรัพยากร เขาจึงลงมือโจมตีงานฝึกโมเดลของเพื่อนร่วมงาน สองปีต่อมา ด้วยเงินเกือบ 30 ล้านดอลลาร์สหรัฐ คนที่ตัดสินใจว่าใครจะได้การ์ด ใครจะถูกตัดพลังประมวลผล กลายเป็นตัวเขาเองในตำแหน่งหมายเลขหนึ่งของบริษัท

ในช่วงท้ายของพอดแคสต์ พิธีกรถามคำถามที่ชวนให้คิดถึงชะตากรรมว่า

「ถ้าวันหนึ่ง ในบริษัทของคุณเอง มีคนหนุ่มสาวที่เหมือนเถียนเคออวี่ในปี 2024 ปรากฏตัวขึ้น คุณจะทำอย่างไร？」

เถียนเคออวี่ตอบว่า ในมุมมองของ leader เขาจะคิดถึงวิธีจัดการกับความขัดแย้ง หรือแม้แต่เข้าไปแทรกแซงก่อนที่ความขัดแย้งจะเกิดขึ้น ป้องกันไว้ก่อน

「แน่นอน ไม่ว่าจะในฐานะปัจเจกบุคคลหรือผู้ก่อตั้ง การทำอะไรก็ควรจัดการอย่างเป็นผู้ใหญ่กว่านี้」

เพียงแต่ เขาคงลืมไปว่า ในพื้นที่ทำงานช่วงฤดูร้อนที่ปักกิ่งปี 2024 นั้น เคยมีวิศวกรกลุ่มหนึ่งที่เฝ้ากะข้ามคืน ในทุกเช้าที่ประชุมส่งกะ ไม่มีใครเคยคิดว่าจะต้องระวังเพื่อนร่วมงานที่นั่งอยู่ข้าง ๆ เหมือนระวังขโมย

ลิงก์บทความต้นฉบับ

ยินดีต้อนรับสู่ชุมชนทางการของ BlockBeats:

กลุ่ม Telegram สมัครสมาชิก: https://t.me/theblockbeats

กลุ่ม Telegram พูดคุย: https://t.me/BlockBeats_App

บัญชี Twitter ทางการ: https://twitter.com/BlockBeatsAsia