Cartesia อัปเกรด H-Net: ให้โมเดลขนาดใหญ่เรียนรู้การแบ่งข้อมูลด้วยตัวเอง เพิ่มประสิทธิภาพการฝึกได้สูงสุดประมาณ 10 เท่า

动察 Beating ข่าวด่วน AI โมเดลขนาดใหญ่สามารถเรียนรู้ภาษาด้วยตนเองได้แล้ว แต่การแบ่งข้อความเป็น Token ยังคงถูกกำหนดโดยตัวแบ่งคำที่ฝึกมาแล้วล่วงหน้า ซึ่งช่วยประหยัดพลังประมวลผลแต่ก็จำกัดวิธีที่โมเดลจัดระเบียบข้อมูล เมื่อเจอคำศัพท์แปลกใหม่หรือโค้ด กฎการแบ่งแบบตายตัวอาจไม่เหมาะสม หากไม่แบ่งคำเลยและประมวลผลทีละไบต์ ค่าใช้จ่ายในการคำนวณก็จะเพิ่มขึ้นอย่างมาก

บริษัท AI ด้านเสียงอย่าง Cartesia ได้เสนอ H-Net (Hierarchical Network) ในเดือนกรกฎาคม 2025 เพื่อแก้ปัญหาความขัดแย้งนี้ โดยให้โมเดลอ่านไบต์ดิบโดยตรงและเรียนรู้วิธีแบ่งและบีบอัดข้อมูลด้วยตนเอง เช่น เมื่อเจอคำแปลกใหม่ ตอนแรกอาจแบ่งออกเป็นหลายส่วน เมื่อคำนี้ปรากฏซ้ำในบริบทมากขึ้น ก็จะค่อยๆ รวมเป็นส่วนที่น้อยลง การเปลี่ยนแปลงนี้เกิดขึ้นได้ระหว่างการอนุมานโดยไม่ต้องฝึกใหม่

ปัจจุบัน Cartesia เปิดเผย H-Net เวอร์ชันใหม่ ซึ่งประสิทธิภาพการฝึกดีขึ้นอย่างชัดเจน ในการทดลองที่ควบคุมเงื่อนไขหลักอย่างเข้มงวด พลังประมวลผลที่ต้องใช้เพื่อให้ได้ค่า loss ในการตรวจสอบเท่ากันลดลงประมาณ 22% และประสิทธิภาพการคำนวณในการประเมินผลปลายทางเพิ่มขึ้นประมาณสองเท่า ในการทดลองขนาดใหญ่ขึ้น H-Net เวอร์ชันใหม่ใช้ข้อมูลเทียบเท่าประมาณ 1 ล้านล้าน Token ก็ทำคะแนนเฉลี่ยในการทดสอบหกรายการได้เท่ากับโมเดลโอเพนซอร์ส SmolLM3 ที่ฝึกด้วยข้อมูลประมาณ 11 ล้านล้าน Token โดยใช้พลังประมวลผลในการฝึกเพียงหนึ่งในสิบของรุ่นหลัง

วิธีนี้ไม่ได้จำกัดอยู่แค่ข้อความ ทีมได้ฝึก H-Net ด้วยจีโนมของแบคทีเรียและอาร์เคีย พบว่าโมเดลสามารถระบุรูปแบบการเข้ารหัสทีละสามเบสได้เองเมื่อประมวลผลชิ้นส่วนยีนของมนุษย์ การทดลองสร้างแบบจำลอง DNA ที่เกี่ยวข้องมีประสิทธิภาพการคำนวณเพิ่มขึ้นประมาณ 6–7 เท่า

เสียงไม่มีขอบเขตคำที่ชัดเจนเหมือนข้อความ ในตอนแรก Cartesia ศึกษา H-Net ก็เพื่อให้โมเดลเสียงเรียนรู้หน่วยเสียงและคำจากเสียงต่อเนื่องโดยตรง โดยไม่ต้องพึ่งพากฎการแบ่งที่ออกแบบไว้ล่วงหน้า