พารามิเตอร์ระดับล้านล้านก็ยังช่วยไม่ได้กับข้อมูลสกปรก โมเดลขนาดใหญ่ในประเทศเริ่มกลับมาฝึกก่อนการฝึกใหม่

动察 Beating ข่าวด่วน AI 雷峰网ระบุว่าในช่วงครึ่งปีที่ผ่านมา ผู้ผลิตโมเดลขนาดใหญ่ในประเทศหลายรายเริ่มทำการฝึกอบรมล่วงหน้าใหม่ โดยปัญหาทั้งหมดชี้ไปที่ข้อมูล

ผู้ผลิตหนึ่งเคยใช้เวลาเกือบหนึ่งปีในการฝึกโมเดลที่มีพารามิเตอร์ระดับล้านล้าน แต่ผลลัพธ์จริงกลับถูกโมเดลเล็กที่มีพารามิเตอร์เพียงประมาณ 1% แซงหน้า ทีมงานค้นพบในที่สุดว่าปัญหาอยู่ที่ข้อมูลการฝึก ขยะจากเว็บเพจ ข้อมูลซ้ำซ้อน และการติดป้ายคุณภาพต่ำปะปนเข้าไปในชุดข้อมูลฝึก โมเดลใหญ่แค่ไหนก็รับไม่ไหว กรณีนี้มาจากแหล่งข่าวนิรนาม ยังไม่เปิดเผยชื่อบริษัทอย่างเป็นทางการ

Tencent Hunyuan ได้เปิดเผยว่าทำใหม่ไปแล้วหนึ่งรอบ ตั้งแต่เดือนกุมภาพันธ์ปีนี้ ทีมงานได้สร้างโครงสร้างพื้นฐานการฝึกอบรมล่วงหน้าและการเรียนรู้แบบเสริมกำลังใหม่ ก่อนหน้านี้สื่อเคยเปิดเผยว่า Hunyuan เวอร์ชันเก่ามีปัญหาข้อมูลจากการทำ benchmark ปะปนเข้าไปในชุดข้อมูลฝึก และกฎการติดป้ายที่สับสน ทีมใหม่ได้กำหนดมาตรฐานข้อมูลใหม่ ทำความสะอาดคลังข้อมูลเดิม และ Hy3 ยังจัดให้คุณภาพและความหลากหลายของข้อมูลเป็นรายการปรับปรุงหลัก

Alibaba และ Baidu ก็เพิ่มความเข้มงวดในการจัดการข้อมูลเช่นกัน Qwen3 ใช้โมเดลซีรีส์ Qwen2.5 ในการทำความสะอาดเอกสาร ยังเสริมข้อมูลสังเคราะห์ด้านคณิตศาสตร์และโค้ดจำนวนมาก ส่วน Wenxin 4.5 เพิ่มการลบข้อมูลซ้ำ การกรองคุณภาพต่ำ แผนที่ข้อมูล และการตรวจสอบโดยมนุษย์ ทั้งสองบริษัทไม่ได้เปิดเผยว่าตนเคยต้องทำใหม่เพราะข้อมูลสกปรก แต่โมเดลรุ่นใหม่ต่างทุ่มเทความพยายามมากขึ้นในการประมวลผลข้อมูล