หัวข้อต้นฉบับ: The Untrainable
ผู้เขียนต้นฉบับ: Sarah Guo, Conviction
แปลโดย: Peggy, BlockBeats
หมายเหตุบรรณาธิการ: เมื่อความสามารถของ AI พัฒนาอย่างต่อเนื่อง วงการลงทุนเริ่มมีมุมมองเชิงลบแบบใหม่: หากโมเดลยิ่งแข็งแกร่งขึ้นเรื่อยๆ บริษัทแอปพลิเคชันทั้งหมดจะถูกกลืนกินโดยบริษัทโมเดลและพลังคำนวณอย่าง Anthropic, OpenAI, Nvidia ในที่สุด ตลาดจะเหลือเพียงโมเดล前沿 พลังคำนวณ และโครงสร้างพื้นฐานบางส่วนเท่านั้น แต่ Sarah Guo เชื่อว่ามุมมองนี้ถูกเพียงครึ่งเดียว "thin wrapper" (การห่อบางๆ หมายถึงแอปพลิเคชันที่ใช้โมเดลสำเร็จรูปอย่างง่าย) จะถูกดูดซับไปจริง ส่วนที่สามารถวัดได้ด้วย benchmark (การทดสอบมาตรฐาน) ถูกฝึกด้วยข้อมูลสาธารณะ และถูกตรวจสอบด้วยต้นทุนต่ำ ก็จะค่อยๆ กลายเป็นสินค้าโภคภัณฑ์
คำถามที่แท้จริงคือ: หลังจากที่ AI กลืนกินทุกสิ่งที่สามารถฝึกได้ อะไรที่ยังคงไม่สามารถฝึกได้?
คำตอบของบทความนี้คือ คุณค่าที่มีอยู่ในองค์กรจริงและไม่สามารถลอกเลียนแบบจากภายนอกได้ง่าย: ข้อมูลส่วนตัวขององค์กร เวิร์กโฟลว์ที่ซับซ้อน ความไว้วางใจของผู้ใช้ สิทธิ์ในระบบ การตัดสินใจในอุตสาหกรรม ความรับผิดชอบในการปฏิบัติตามกฎระเบียบ และประสบการณ์ที่สะสมจากการดำเนินงานระยะยาว โมเดลอาจฉลาดขึ้น แต่ไม่สามารถเข้าสู่ระบบการผลิตของธนาคารโดยอัตโนมัติ สามารถสร้างคำตอบทางการแพทย์ได้ แต่ไม่สามารถได้รับความไว้วางใจจากแพทย์และกระบวนการตัดสินใจของโรงพยาบาลโดยตรง สามารถเขียนข้อความทางกฎหมายได้ แต่ไม่สามารถรับผิดชอบแทนทนายความอาวุโส หรือกำหนดได้ว่าอะไรคืองานกฎหมายที่เหมาะสม
ดังนั้น บริษัท AI ที่มีคูเมืองป้องกันที่แท้จริงในอนาคต ไม่ใช่แค่ฉลาดกว่าโมเดลทั่วไป แต่ต้องเจาะลึกเข้าไปในอุตสาหกรรมใดอุตสาหกรรมหนึ่ง เพื่อทำงาน "แปล" ที่ยากแต่สำคัญ: จัดระเบียบความเป็นจริงส่วนตัวของลูกค้า เครื่องมือ กระบวนการ และมาตรฐานการตัดสินใจให้เป็นระบบที่โมเดลสามารถดำเนินการได้ และค่อยๆ กำหนดนิยามของ "ผลลัพธ์ที่ดี" ผ่านการบริการระยะยาว ยิ่ง AI แข็งแกร่งเท่าไหร่ งานที่วัดได้และลอกเลียนแบบได้ก็จะยิ่งด้อยค่าลงเท่านั้น และยิ่งเน้นย้ำถึง "สิ่งที่ไม่สามารถฝึกได้" ที่มีประวัติ ความสัมพันธ์ สิทธิ์ และการตัดสินใจเฉพาะทาง นี่คือคุณค่าที่แท้จริงที่อาจยังคงอยู่หลังจากโมเดลกลืนกินทุกอย่าง
ต่อไปนี้คือเนื้อหาต้นฉบับ:
กลางปี 2026 "อาการสับสนทางจิตของ AI" ในมุมมองของนักลงทุน คือความรู้สึกสิ้นหวังที่ว่าไม่มีอะไรน่าลงทุนอีกแล้ว: ดูเหมือนเราควรทุ่มเงินทั้งหมดให้กับ Anthropic และ Nvidia แล้วกลับบ้านไปนอน แต่ฉันไม่เคยรู้สึกแบบนั้น ในหลายเวอร์ชันย่อยที่ผ่านมา ฉันมั่นใจว่าโมเดลฉลาดกว่าฉันแล้ว ถ้าซื้อ Anthropic และ Nvidia ในราคาตลาด ฉันก็ยินดี เพื่อนที่ฉลาดที่สุดรอบตัวฉันก็ค่อนข้างมั่นใจว่าการปรับปรุงตัวเองของโมเดลจะทำงานได้จริงในไม่ช้า—แต่ฉันก็ยังไม่รู้สึกสิ้นหวังนี้
ความสิ้นหวังนี้ไม่ได้โง่เขลาเลย ตรรกะของมันคือ: ถ้าโมเดลแข็งแกร่งขึ้นเรื่อยๆ ในทุกเรื่อง บริษัททั้งหมดที่สร้างบนโมเดลก็เป็นเพียงเปลือกบางๆ ที่รอให้โมเดลดูดซับเข้าไป สิ่งที่มีค่าที่จะเหลืออยู่ก็แค่พลังคำนวณและน้ำหนักของโมเดล前沿
ยกตัวอย่างซอฟต์แวร์ ซึ่งเป็นกรณีที่พึ่งพาความสิ้นหวังนี้มากที่สุด ตอนที่ Devin เปิดตัวในปี 2024 มันแก้ไขงานในเกณฑ์มาตรฐานซอฟต์แวร์ทั่วไปได้แค่ 13% ดังนั้นตลาดส่วนใหญ่จึงมองข้ามมันไป หนึ่งปีครึ่งต่อมา Agent ที่เก่งที่สุดทำคะแนนสูงได้ถึง 80% กว่า และเริ่มทำงานจริงภายใน Goldman Sachs และกองทัพสหรัฐฯ เกือบทุกคนสรุปผิดเหมือนกันว่า: โมเดลกลืนกินวิศวกรรมซอฟต์แวร์ไปแล้ว
แต่เมื่อโมเดลกลืนส่วนที่วัดได้ง่ายที่สุดของวิศวกรรมซอฟต์แวร์ไปแล้ว เราก็เริ่มเข้าใจใหม่ถึงสิ่งที่หลายทีมรู้มานาน: วิศวกรรมต่อต้านการวัดมาตลอด และส่วนที่วัดได้ง่ายที่สุดอาจไม่ใช่ส่วนสำคัญเพียงอย่างเดียว
Mert Demirer จาก MIT และผู้ร่วมงานของเขา终于在量化สิ่งนี้: ในกลุ่มนักพัฒนากว่า 100,000 คน Agent เขียนโค้ดรุ่นล่าสุดทำให้ปริมาณการเขียนโค้ดเพิ่มขึ้นประมาณ 180% แต่ปริมาณโค้ดที่ส่งมอบจริงเพิ่มขึ้นแค่ประมาณ 30% การเขียนโค้ดถูกลง แต่ขั้นตอนที่เหลือยังต้องผ่านมนุษย์ และขั้นตอนเหล่านี้สำคัญ แน่นอนว่าผลกระทบสุทธิโดยรวมยังคงน่าทึ่ง
เกณฑ์มาตรฐานคือสิ่งที่คุณวัดได้ และอะไรก็ตามที่วัดได้ก็สามารถนำมาฝึกได้ ดังนั้น Agent เขียนโค้ดจึงเติบโตก่อน: คอมไพเลอร์คือตัวตรวจสอบฟรี ชุดทดสอบก็คือตัวตรวจสอบฟรี เมื่อคำตอบสามารถตรวจสอบตัวเองได้แทบไม่มีต้นทุน คุณก็สามารถขัดเกลามันรอบสัญญาณตรวจสอบนั้นจนทะลุไปได้
แต่การผ่านการทดสอบไม่เคยหมายความว่าการเปลี่ยนแปลงนั้นถูกต้องสำหรับฐานโค้ดที่ทำงานมานานสิบปี โมดูลนั้นมีอยู่เพราะเหตุผลสามอย่างที่ไม่มีใครเขียนในเอกสาร สายการ部署อาจยื้ออยู่ด้วย cron job ที่ไม่มีใครยอมรับว่าเขียนเอง
ความถูกต้องนี้ไม่สามารถอ่านได้จาก排行榜 หรือแม้แต่จากอะไรก็ตามโดยตรง คุณต้องปล่อยให้ระบบที่ซับซ้อนนี้ทำงานในโลกจริงนานพอถึงจะรู้ว่ามันใช้ได้จริงหรือไม่ และโมเดลที่ฉลาดขึ้นไม่ได้ทำให้โลกจริงทำงานเร็วขึ้น ไม่มีใครที่วิ่ง unit test สำหรับระบบใหญ่เท่า Google แล้วเห็นเครื่องหมายถูกสีเขียวแล้วสบายใจสนิท คุณไว้ใจมันเพราะมัน承受โหลดจริงมาหลายปี
ความถูกต้องนี้ไม่ใช่แค่ส่วนตัว แต่เป็นคูเมืองที่ก่อตัวช้า เป็นคูเมืองที่ทุนไม่สามารถบีบเวลาให้สั้นลงได้ แม้แต่คนมองโลกในแง่ดีก็ยอมรับว่าเวลานี้ข้ามไม่ได้ Noam Brown ผู้บุกเบิกโมเดล推理ของ OpenAI เพิ่งเขียนว่า: วิธีเดียวที่เชื่อถือได้ในการประเมินผลงานของ Agent ในรอบปีคือปล่อยให้มันทำงานจริงเป็นปี
ดังที่ Gabe Pereyra กล่าวไว้ ระบบอัตโนมัติที่แท้จริงไม่ได้หมายถึงแค่โมเดลที่แข็งแกร่งขึ้นเท่านั้น แต่คือการเปลี่ยนแปลงร่วมกันของผลิตภัณฑ์ โมเดล เวิร์กโฟลว์ และโครงสร้างองค์กร และในสี่องค์ประกอบนี้ สามอย่างดำเนินไปตามความเร็วขององค์กร
การทำให้คนลงมือทำ คือส่วนที่ไม่มีเกณฑ์วัดใดเข้าถึงได้: การโน้มน้าวหุ้นส่วนที่ยังคงสงสัยให้เปลี่ยนวิธีการทำงานของเธอ การทำให้ทีมยังคงสามัคคีกันในระหว่างกระบวนการปรับโครงสร้าง นี่คือเหตุผลที่เวลาเราจ้าง CEO เรามองหาความสามารถในการจัดการคน อย่างน้อยก็ไม่น้อยกว่าความสามารถในการวิเคราะห์ โมเดลที่ฉลาดขึ้นไม่ได้เปลี่ยนน้ำหนักนี้
ผลตอบรับในที่นี้คลุมเครือ ระยะเวลาวัดกันเป็นปี และความไว้วางใจเป็นของบุคคลใดบุคคลหนึ่ง ทุกบริษัทที่ฉันรู้จักต่างให้วิศวกรทุกคนใช้โมเดลการเขียนโค้ดที่ล้ำสมัย แต่ไม่มีองค์กรวิศวกรรมใดเปลี่ยนแปลงในอัตราที่ใกล้เคียงกับความก้าวหน้าของโมเดล การนำเครื่องมือมาใช้ใช้เวลาแค่ไตรมาสเดียว และนั่นคือไตรมาสมหัศจรรย์แห่งการเติบโตของ token! แต่การปรับโครงสร้างที่แท้จริงต้องใช้เวลาหลายปี
งานที่มองเห็นได้กำลังจะหายไป งานที่มีคุณค่าอย่างแท้จริงนั้นไม่สามารถอ่านได้ในเชิงโครงสร้าง: สิ่งใดก็ตามที่คุณสามารถนำไปวางบนลีดเดอร์บอร์ดได้ สิ่งนั้นก็สามารถนำไปฝึกได้ ดังนั้น ทุกสิ่งที่วัดได้กำลังกลายเป็นสินค้าโภคภัณฑ์ กระบวนการนี้ต้องใช้เวลา และไม่มีวันเสร็จสมบูรณ์ แต่ทิศทางไม่เคยย้อนกลับ
ตามคำพูดของ Matt MacInnis จาก Rippling เพื่อนของฉัน ถ้าแปลงเป็นภาษาของเงินก็คือ: token ที่ใช้ตอบคำถามทั่วไปแทบไม่มีค่า เพราะโมเดลของใครก็ตอบได้ แต่ token ที่ใช้ในการอนุมานบนข้อมูลบริษัทของคุณนั้นมีค่ามากกว่า เพราะมันทำสิ่งที่คุณต้องการจริงๆ ไม่ใช่แค่สร้างคำตอบที่ดูสมเหตุสมผล
งานที่อ่านได้จะถูกกลืนกินจากสองทิศทาง
จากด้านล่าง งานจะอิ่มตัว: เมื่องานใดสามารถตรวจสอบได้ด้วยต้นทุนต่ำ ผู้ซื้อจะไม่สนใจอีกต่อไปว่าโมเดลไหนเป็นคนทำ แต่จะเริ่มถามว่าราคาเท่าไหร่ งานนั้นก็จะตกไปอยู่ในมือของโมเดลโอเพนซอร์สหรือโมเดลกลั่นที่ถูกที่สุดในสัปดาห์นั้น ตราบใดที่อัตรากำไรสามารถทำงานได้ ในที่สุดมันก็จะทำงาน
จากด้านบน ห้องปฏิบัติการกำลังพยายามให้โมเดลกลืนกินโครงสร้างของตัวเอง การดึงข้อมูล การกำหนดเส้นทางระหว่างการเรียกใช้ราคาถูกและแพง การใช้เครื่องมือ และแม้แต่กลยุทธ์การอนุมาน—อุปกรณ์ทั้งหมดที่เคยห่อหุ้มโมเดลไว้ กำลังถูกดึงเข้าไปในน้ำหนักของโมเดล จนกระทั่ง "เปลือก" กลายเป็นโมเดลเอง นี่คือขอบเขตการดูดซับ
แรงกดดันด้านกำไรก็ทำงานจากอีกทิศทางหนึ่งเช่นกัน: Agent ทั่วไปต้องพร้อมรับมือกับทุกสิ่ง ดังนั้นต้นทุนจึงสูง ในขณะที่แอปพลิเคชันที่เน้นเฉพาะสามารถปรับแต่งเวิร์กโฟลว์ให้สมบูรณ์แบบ ทำให้ใช้ token เพียงเศษเสี้ยวเดียว และแตกต่างจากห้องปฏิบัติการที่ขาย token เหล่านี้ บริษัทแอปพลิเคชันสามารถเก็บส่วนต่างไว้ได้
ดังนั้น เราสามารถตั้งคำถามสองข้อกับงานใดๆ ก็ได้: ความถูกต้องของมันเป็นเรื่องส่วนตัวและมีราคาแพงหรือไม่? มันเป็นความจริงที่มีอยู่เฉพาะในข้อมูลของบริษัทใดบริษัทหนึ่งหรือไม่? มันถูกแยกอยู่ในระบบที่คนนอกไม่สามารถเข้าถึงได้หรือไม่? เมื่อนำคำถามเหล่านี้มารวมกับระดับความอิ่มตัวของงาน เราจะได้เมทริกซ์ขนาด 2×2
งานที่อิ่มตัวแล้วและคำตอบเปิดเผยต่อสาธารณะ เป็นอาณาเขตของโทเค็นที่ถูกทำให้เป็นสินค้า (commoditized token) ซึ่งโมเดลโอเพนซอร์สจะยึดครอง ส่วนงาน前沿 (frontier) แต่คำตอบเปิดเผยต่อสาธารณะ เช่น การทดสอบมาตรฐานการเขียนโค้ด (coding benchmark) เป็นพื้นที่ที่ห้องปฏิบัติการจะชนะ เพราะเมื่อการประเมินผลไม่มีค่าใช้จ่าย การครอบครองมันก็ไม่มีมูลค่า
รางวัลที่แท้จริงอยู่ที่มุมสุดท้าย นั่นคือมุมที่ "ไม่สามารถฝึกสอนได้" (untrainable): งาน前沿 (frontier) แต่ความถูกต้องของมันมีอยู่เฉพาะในสภาพแวดล้อมส่วนตัวเท่านั้น คุณสามารถเห็นสิ่งนี้ได้บนคลาวด์推理 (inference cloud) ที่ให้บริการแก่ผู้บุกเบิก AI ดั้งเดิม (AI-native early adopters): โทเค็นส่วนใหญ่ถูกสร้างขึ้นโดยโมเดลที่ปรับแต่งเฉพาะ (custom models) ไม่ใช่โดยโมเดลโอเพนซอร์สทั่วไป
กำแพงที่通向มุมสุดท้ายนี้ มีทั้งสูงและต่ำ โค้ดเบสของเล่นของนักพัฒนาสามารถย้ายและเป็นมาตรฐานได้ ดังนั้นการปีนเข้าไปจึงไม่ยาก แต่ระบบการผลิตของธนาคารไม่สามารถย้ายและไม่เป็นมาตรฐาน คุณจะไม่ได้รับสิทธิ์ root (root access) เพียงเพราะคุณฉลาดกว่า 2% ในการทดสอบ SWE-Bench Verified
ความสามารถ (capability) จะกลืนกินหลายสิ่งหลายอย่าง แต่โมเดลที่ดีกว่าจะไม่ทำให้มาตรฐานความจริงส่วนตัวกลายเป็นมาตรฐานสาธารณะ มันจะไม่ถือใบอนุญาต ไม่เซ็นรับผิดชอบ ไม่มีเอกสารของบริษัท และเมื่อคำตอบผิด มันก็ไม่สามารถถูกฟ้องร้องได้ คอขวด (bottleneck) ที่นี่ไม่ใช่ความฉลาด แต่เป็นสิทธิ์ (permission) และความรับผิดชอบ (accountability) คุณสามารถจินตนาการถึงโมเดลที่ฉลาดกว่าใครๆ มาก แต่ก็ยังต้องได้รับอนุญาตให้เข้าไป และยังต้องมีคนเซ็นชื่อรับผิดชอบในสิ่งที่มันทำ
ประตูบานนั้นมีแม่กุญแจ และมีกลอน
แม่กุญแจคือสภาพแวดล้อม (environment): คุณจะสามารถตรวจสอบได้ว่า AI ทำสิ่งที่มีประโยชน์จริงหรือไม่ หลังจากที่มันได้รับความไว้วางใจภายในระบบ ผ่านการตรวจสอบความปลอดภัย เสร็จสิ้นการบูรณาการ (integration) และเซ็นสัญญาที่มีผลผูกพันความรับผิดชอบต่อผลลัพธ์
กลอนคือผู้ใช้ (user) ปัจจุบัน แพทย์อเมริกันส่วนใหญ่เปิด OpenEvidence ทุกวัน ซึ่งไม่สามารถซื้อได้ด้วยพลังคำนวณใดๆ พรุ่งนี้ห้องปฏิบัติการสามารถฝึกโมเดลทางการแพทย์ที่สมบูรณ์แบบได้ แต่ก็ยังไม่มีทางเข้าถึงนิสัยการใช้งานของแพทย์ หรือกระบวนการตัดสินใจของ UCSF เพราะความไว้วางใจถูกสร้างขึ้นอย่างช้าๆ ผ่านความสัมพันธ์ การยินยอมโดยปริยายของผู้ใช้ ไม่ใช่การลบสิ่งเหล่านี้ออกไปด้วยการไล่ระดับ (gradient descent)
นี่คืองานของบริษัทแอปพลิเคชัน (application company) แอปพลิเคชันสามารถยึดตำแหน่งในมุมที่ "ไม่สามารถฝึกสอนได้" ได้ด้วยงานที่ไม่สวยงามนัก: การจัดระเบียบความเป็นจริงส่วนตัวของบริษัท เพื่อให้โมเดลสามารถดำเนินการตามนั้น การมอบเครื่องมือในการดำเนินการให้กับโมเดล และการร่วมมือกับลูกค้าเพื่อเปลี่ยนแปลงวิธีการทำงานจริงของแรงงานของพวกเขา
บริษัทที่สามารถทำ "การแปล" แบบนี้ได้นั้นยากที่จะลอกเลียนแบบ และการแปลนี้จะไม่มีวันสิ้นสุด การบูรณาการและการบำรุงรักษาจะดำเนินต่อไปตราบเท่าที่ความสัมพันธ์กับลูกค้าดำรงอยู่ ทีมที่ชนะในเรื่องนี้คือทีมที่นำวิศวกรผู้เชี่ยวชาญเฉพาะด้านและเครื่องมือไปไว้ใกล้ชิดกับลูกค้า
ยกตัวอย่างเช่น ในสำนักงานกฎหมายชั้นนำแห่งหนึ่ง ธุรกิจ M&A เพียงอย่างเดียวมีเกือบพันรายการต่อปี คุณไม่สามารถให้ผู้ช่วยทนายความหลายร้อยคนดาวน์โหลดเอกสารของลูกค้าลงเดสก์ท็อปทีละคน แล้วส่งให้ Agent ทั่วไปอ่านทั้งหมดได้ เหตุผลด้านความลับก็ไม่อนุญาตให้ทำเช่นนั้นแล้ว ยังมีปัญหาอื่นๆ อีกนับสิบประการ ถึงแม้จะทำได้ สิ่งที่คุณเรียนรู้ก็เป็นเพียงเศษเสี้ยว: ผู้ช่วยคนหนึ่งแก้ไขทีละจุด ไม่มีใครเห็นว่าธุรกรรมทั้งหมดไหลลื่นอย่างไร
สัญญาณที่สำคัญอย่างแท้จริงอยู่ที่ระดับของธุรกรรม ธุรกรรมหนึ่งมีรูปแบบของตัวเอง: สำหรับ M&A คือ NDA, Term Sheet, Due Diligence, Purchase Agreement, เอกสารแนบ, Closing Checklist; สำหรับคดีทรัพย์สินทางปัญญาคือ Motion, Discovery, Prior Art, และ Motion อีกมากมาย แต่ละสาขาธุรกิจมีโครงสร้างของตัวเอง ทนายความและเครื่องมือไม่สามารถสับเปลี่ยนกันได้ตามอำเภอใจ
และปัญหาที่สำนักงานกฎหมายนี้ต้องแก้ไขจริงๆ ยังอยู่ในระดับที่สูงกว่านั้น: วิธีดำเนินการทุกสาขาธุรกิจพร้อมกัน เหมือนกับหุ้นส่วนระดับสูงที่จัดการหลายร้อยเรื่องพร้อมกัน ขณะเดียวกันก็หาคดีใหม่และฝึกอบรมผู้ช่วยทนายความ การปรับเปลี่ยนบริษัทแบบนี้ไม่ใช่ปัญหาเดี่ยวที่คุณสามารถเขียนเป็นงานประเมินผลได้ มันต้องการผู้ควบคุมที่จัดการมันเหมือน "Data Baseball": เป้าหมายกลางคลุมเครือมาก ข้อมูลตอบกลับไม่สมบูรณ์ วงจรยาวนานมาก และสภาพแวดล้อมเองก็ไม่เคยหยุดนิ่ง
น่าเสียดายที่คุณค่าที่อ่านไม่ได้ก็ขายยากเช่นกัน ด้วยเหตุผลเดียวกับที่มันยากที่จะทำให้เป็นสินค้าโภคภัณฑ์: บริษัทไม่สามารถตัดสินจากภายนอกได้ว่า AI จะสามารถเปลี่ยนแปลงการดำเนินงานของมันได้จริงอย่างที่ Benchmark แสดงหรือไม่ ดังนั้น บริษัทที่แข็งแกร่งที่สุดจะหยุดพยายามพิสูจน์ตัวเองจากภายนอก แต่จะเข้าไปภายในลูกค้าก่อน แล้วจึงกำหนดราคาตามผลลัพธ์
Sierra จะเรียกเก็บเงินเฉพาะเมื่อ Agent ของมันแก้ปัญหาของลูกค้าได้เท่านั้น หากปัญหาถูกส่งต่อไปยังมนุษย์ มันจะไม่คิดเงิน ดังนั้น ราคาจึงกลายเป็นกลไกการประเมินผล และสิ่งนี้เป็นไปได้เพราะ Sierra มีสิทธิ์ในการกำหนดว่า "แก้ไขแล้ว" คืออะไร Cognition กับ Devin ทำสิ่งเดียวกันในวงการซอฟต์แวร์ โดย推出 "Performance Guarantee" เฉพาะเมื่อคุณได้รับความไว้วางใจให้เข้าไปอยู่ในระบบภายในเท่านั้น คุณถึงจะมีสิทธิ์ให้การรับประกันผลลัพธ์แบบนี้
แม้ในระดับการให้บริการ Token ซึ่งทุกคนชอบเรียกว่าเป็นชั้นของสินค้าโภคภัณฑ์ล้วนๆ มันก็ไม่ได้มีพฤติกรรมเหมือนสินค้าโภคภัณฑ์ บริษัท AI Native ที่ดีที่สุดจะรวมบริการไว้ที่ซัพพลายเออร์หนึ่งหรือสองราย เช่น Baseten หรือ Fireworks เพราะต้นทุนต่อ Token จะกลายเป็นสินค้าโภคภัณฑ์ตามเวลา แต่ความน่าเชื่อถือภายใต้ปริมาณการใช้งานจริง และการเข้าถึงทรัพยากรการคำนวณที่หายากอย่างเสถียร จะไม่กลายเป็นสินค้าโภคภัณฑ์ การเลือกสถานที่ให้บริการ Inference กับการเลือกใช้โมเดลใด เป็นสองทางเลือกที่แตกต่างกัน สิ่งเดียวที่เหมือนสินค้าโภคภัณฑ์อย่างแท้จริงใน Inference คือราคา
ข้อโต้แย้งทั่วไปคือ: ห้องปฏิบัติการคือซัพพลายเออร์ของคุณ ทำไมมันถึงไม่ขายสินค้าชั้นหนึ่งของตัวเองต่ำกว่าต้นทุนเพื่อทำลายคุณ? หรือเพิกถอนสิทธิ์การเข้าถึง API ของคุณโดยตรง แล้วยึดตลาดนี้ไปเอง? นี่คือเวอร์ชันที่แท้จริงของความรู้สึกสิ้นหวังนั้น แต่มันจะเกิดขึ้นก็ต่อเมื่อชั้นโมเดลเป็นเกมผู้เล่นคนเดียวเท่านั้น
เห็นได้ชัดว่าไม่เป็นเช่นนั้น ชั้นโมเดล更像是การแข่งขันมรณะของผู้เล่นสามคนครึ่ง โดยมีผู้เล่นระดับนานาชาติอีกกลุ่มที่ตามหลังในการฝึกอบรมประมาณหกเดือน และลีกพัฒนาที่มีขนาดใหญ่กว่าปีที่แล้วถึงห้าเท่า ลูกค้าต้องการให้ซัพพลายเออร์ของพวกเขาแข่งขันกันเอง และห้องปฏิบัติการต้องการส่วนแบ่งตลาดมากกว่าที่จะฆ่าแอปพลิเคชันใดๆ โดยเฉพาะ
คุณสามารถเห็นสิ่งนี้ได้ในตลาดที่ห้องปฏิบัติการแข่งขันกันโดยตรง ในสถานการณ์แชทสำหรับผู้บริโภค โมเดลที่ดีที่สุดไม่เคยชนะตลาดทั้งหมดอย่างง่ายดาย ChatGPT ยังคงเป็นผู้นำในการแข่งขันจริงมาหลายปี ส่วนแบ่งที่มันสูญเสียไปตอนนี้ตกเป็นของ Gemini และสาเหตุคือความสามารถในการกระจายของ Android และการค้นหา ไม่ใช่เพราะโมเดลดีกว่า ปัจจุบัน Anthropic ถูกมองว่ามีโมเดลที่ดีที่สุดในตลาดการคาดการณ์และบรรยากาศอินเทอร์เน็ต แต่มันแทบไม่ใช่ผู้เล่นหลักในแชทสำหรับผู้บริโภค แต่กลับสร้างธุรกิจในสถานการณ์องค์กรและการเขียนโค้ด
หากโมเดลที่ดีกว่าไม่สามารถแย่งผู้ใช้ของคู่แข่งในแอปพลิเคชันหลักได้ มันก็จะไม่สามารถยึดระบบเวชระเบียนของโรงพยาบาลหรือระบบความรับผิดชอบของธนาคารผ่านการผสานรวมได้ง่ายๆ ทุกวันนี้ สาธารณชนเลือกผลิตภัณฑ์โดยพิจารณาจากมากกว่าความสามารถในการเขียนโค้ด หากชั้นโมเดล前沿ยังคงแออัด ชั้นแอปพลิเคชันที่อยู่เหนือมันก็จะมีคุณค่า
หากงานไม่สามารถให้คะแนนจากภายนอกได้ ก็ต้องมีคนภายในตัดสินว่าอะไรคือคำตอบที่ดี และการตัดสินใจนี้คือเกมทั้งหมดเอง เมื่อการตัดสินใจเหล่านี้ถูกเขียนลงมากพอ ก็จะกลายเป็นเกณฑ์มาตรฐาน Harvey เผยแพร่เกณฑ์มาตรฐานด้านกฎหมาย Sierra เผยแพร่เกณฑ์มาตรฐานสำหรับ Voice Agent คุณมีสิทธิ์กำหนดว่า "ดี" หมายถึงอะไรในสาขาหนึ่งก็เพราะสาขานั้นกำลังใช้คุณอยู่แล้ว และบริษัทเหล่านี้ได้รับสิทธินี้ผ่านการต่อสู้ที่ยากลำบากในกระบวนการนำไปใช้จริง
การประเมินที่กำหนดทิศทางของเงินจริงๆ นั้นเป็นแบบส่วนตัวและเกิดขึ้นทีละบริษัท: บริษัทนี้ ในเรื่องนี้ จะยอมรับอะไรว่าเป็นงานที่ดี และสิ่งนี้ยังห่างไกลจากความสำเร็จ เพราะความลึกของกฎหมายเกินกว่าการทดสอบสาธารณะใดๆ OpenEvidence กำลังตกผลึกว่าอะไรคือคำตอบทางคลินิกที่ปลอดภัย
ทั้งหมดนี้ไม่ใช่ "การวัด" จริงๆ แต่เป็นการตัดสินว่าอะไรจริง อะไรดี การตัดสินเหล่านี้ถูกเขียนขึ้นจนกลายเป็นมาตรฐานที่คนอื่นๆ ทุกคนต้องยอมรับ ไม่ว่าห้องปฏิบัติการโมเดลพื้นฐานจะฉลาดแค่ไหน มันก็ไม่สามารถเขียนมาตรฐานเหล่านี้ขึ้นมาจากความว่างเปล่าได้ เพราะสถานะนี้มีอยู่เฉพาะภายในสาขาเท่านั้น
อำนาจนี้มักจะตกอยู่ที่ที่มันเคยอยู่แล้ว ทนายความอาวุโสเขียนบรรทัดฐานทางกฎหมาย แพทย์เป็นผู้กำหนดคำตอบทางคลินิกที่ปลอดภัย ส่วนความหมายของ "แก้ไขแล้ว" นั้น ถูกกำหนดโดยบริษัทที่มีความสัมพันธ์กับลูกค้าอยู่แล้ว
ขอบเขตการดูดซับจะยังคงสูงขึ้นเรื่อยๆ เพราะเราจะเรียนรู้ที่จะวัดงานมากขึ้นเรื่อยๆ และสิ่งที่วัดได้จะถูกกลืนกิน พื้นดินที่ไม่สามารถฝึกฝนได้จะหดตัวลงเรื่อยๆ ภายใต้เท้าของผู้ที่ยืนอยู่ ดังนั้นคุณจึงไม่สามารถหยุดอยู่ที่ตำแหน่งที่ป้องกันได้ คุณต้องเดินต่อไปยังสถานที่ที่ยังไม่สามารถให้คะแนนได้ และประเมินความเสี่ยงใหม่ๆ อย่างต่อเนื่อง
ในงานที่แคบเฉพาะ ด้วยข้อมูลส่วนตัวและระบบการประเมินของคุณเอง คุณสามารถฝึกฝนจนถึงระดับ前沿 และเอาชนะโมเดลทั่วไปในสถานการณ์สำคัญ โมเดลเฉพาะนี้จะกลายเป็นส่วนหนึ่งของคูเมือง ในทางกลับกัน หากคุณแข่งขันในด้านความสามารถของโมเดลทั่วไป นั่นคือสงครามทุน และคุณจะแพ้ให้กับผู้ที่มีพลังการคำนวณมากที่สุด นี่คือกับดักที่บริษัทที่มีการเข้าถึงแบบตื้นและงานที่อ่านได้ง่ายที่สุดมักจะตกหลุม
เมื่อบริษัทตัดสินใจที่จะฝึกฝนความสามารถที่เหนือกว่าโมเดล前沿ในงานทั่วไปจำนวนมากเพื่อความอยู่รอด ผลลัพธ์มักจะถูกกำหนดโดยขนาดของศูนย์ข้อมูลแล้ว จุดจบมักจะไม่ใช่การเกิดขึ้นของแชมป์อิสระ แต่เป็นการถูกขายให้กับผู้เล่นที่มีพลังการคำนวณเพียงพอ
ทั้งหมดข้างต้นคือการป้องกัน สิ่งที่ยากกว่าคือการโจมตี: การตัดสินใจก่อนว่าจะสร้างอะไร นี่คือสิ่งที่ฉันกำลังมองหามาตลอดทั้งปี และฉันพบมันเพียงสามครั้งเท่านั้น โมเดลไม่สามารถช่วยในเรื่องนี้ได้ คุณชี้ไปที่ไหน มันก็จะทำตามนั้น แต่มันไม่สามารถบอกคุณได้ว่าสิ่งใดควรค่าแก่การชี้ คุณไม่สามารถสร้างเกณฑ์มาตรฐานสำหรับสิ่งนี้ได้ ดังนั้นจึงไม่สามารถฝึกฝนมันได้
นี่คือเหตุผลที่ยักษ์ใหญ่ที่มีอยู่จะไม่ยึดครองทุกอย่าง: พวกมันจะปกป้องอาณาเขตที่ตนมีอยู่แล้ว และสิ่งต่อไปจะมาจากคนที่ค้นพบการใช้งานก่อนคนอื่น บางที ความตั้งใจอาจเป็นปัจจัยนำเข้าที่หายากกว่าพลังการคำนวณ
ความสิ้นหวังนี้ถูกต้องครึ่งหนึ่ง ชั้นเปลือกบางกำลังถูกดูดซับ และสิ่งที่ดูเหมือนบริษัทในวันนี้หลายแห่งก็เป็นเพียงชั้นเปลือกบาง แต่การตัดสินของมันเกี่ยวกับ "สิ่งที่เหลืออยู่หลังจากการดูดซับ" นั้นผิด กลไกนั้นชัดเจน แต่จุดสิ้นสุดไม่ใช่
สิ่งที่ฉันยินดีจะเดิมพันคือทิศทางนี้: ความฉลาดจะยังคงถูกลง และมูลค่าจะยังคงเลื่อนไปยังสถานที่ที่โมเดลไม่กี่ตัวไม่สามารถเข้าถึงได้ สิ่งที่ไม่สามารถฝึกฝนได้คือมูลค่าที่มีประวัติศาสตร์
ดังนั้น จงเข้าไปในหนึ่งในพื้นที่เหล่านี้ ทำหน้าที่แปลที่ไม่สวยงาม และเริ่มเขียนคำจำกัดความของ "ดี" ที่นั่น เพราะจะมีคนทำเช่นนั้นเสมอ คะแนนเกณฑ์มาตรฐานที่ถูกอ้างถึงมากที่สุดในปีนี้ แท้จริงแล้วคือแผนที่ดินแดนที่กำลังจะไร้ค่า และยังเป็นประกาศ: แจ้งให้บางคนรู้ว่าพวกเขากำลังจะสูญเสียสิทธิ์ในการกำหนดว่าอะไรคือ "ดี"
ยินดีต้อนรับสู่ชุมชนทางการของ BlockBeats:
กลุ่ม Telegram สมัครสมาชิก: https://t.me/theblockbeats
กลุ่ม Telegram พูดคุย: https://t.me/BlockBeats_App
บัญชี Twitter ทางการ: https://twitter.com/BlockBeatsAsia