Gradium เปิดซอร์สโมเดลเสียงขนาดเล็กพิเศษ: น้ำหนักเพียง 64MB แม้โทรศัพท์ไม่มีอินเทอร์เน็ตก็ยังพูดได้

动察 Beating ข่าวด่วน AI บริษัท AI เสียง Gradium เปิดโอเพนซอร์สโมเดลสร้างเสียง Phonon เริ่มทดสอบแบบส่วนตัวเมื่อเดือนเมษายนปีนี้ด้วยพารามิเตอร์ประมาณ 100 ล้าน ครั้งนี้เปิดตัวเวอร์ชัน 31 ล้านและ 40 ล้านพารามิเตอร์ พร้อมเปิดเผยน้ำหนักโมเดลเป็นครั้งแรก โดยเวอร์ชันภาษาอังกฤษ 31 ล้านพารามิเตอร์ น้ำหนัก Q8 มีขนาดเพียง 64MB สามารถรันบน CPU ทั่วไปได้ เวอร์ชัน 40 ล้านพารามิเตอร์รองรับห้าภาษา ได้แก่ อังกฤษ ฝรั่งเศส เยอรมัน สเปน โปรตุเกส มีทั้งโมเดลภาษาเดียวและโมเดลห้ารวมหนึ่ง

Phonon ถูกฝึกผ่านการกลั่นจากโมเดลที่ใหญ่กว่า มันอ่านข้อความโดยตรง ไม่ต้องแปลงเป็นหน่วยเสียงก่อน แล้วใช้ Transformer ทำนายลักษณะเสียงทีละขั้น ผ่านตัวถอดรหัส Mimi เพื่อสร้างเสียง แต่ละครั้งที่ส่งออกจะตรงกับเสียง 80 มิลลิวินาที สามารถสังเคราะห์และเล่นพร้อมกันได้ ไม่ต้องรอให้ทั้งประโยคสร้างเสร็จ

ด้านความเร็ว Gradium เปิดเผยว่า Phonon บน Snapdragon 8 Elite Gen 5 ใช้เวลาเพียง 7.5 มิลลิวินาทีในการสร้างเสียงช่วงแรก ความเร็วในการสังเคราะห์สูงถึง 24 เท่าของเวลาจริง บน CPU ของ MacBook Air M5 เสียงแรกใช้เวลาประมาณ 7 มิลลิวินาที

ด้านคุณภาพเสียง Gradium ได้จัดผู้ฟังทดสอบ 1189 คน เสร็จสิ้นการโหวตแบบ blind test มากกว่า 17,000 ครั้ง เวอร์ชันภาษาอังกฤษ 31 ล้านพารามิเตอร์ได้ 2098 Elo สูงกว่า Pocket TTS 100 ล้านพารามิเตอร์ที่ได้ 2056 ในการทดสอบภาษาอังกฤษอีกชุด 500 ประโยคที่มีข้อความซับซ้อน เช่น หมายเลขโทรศัพท์ อีเมล Phonon มีอัตราคำผิด 1.7% ต่ำกว่าโมเดลเสียงโอเพนซอร์สอีกตัว Kokoro 82 ล้านพารามิเตอร์ที่ 3.5% ผลลัพธ์เหล่านี้มาจากการทดสอบที่ Gradium เปิดเผย

Phonon เชื่อมต่อกับเครื่องมืออย่าง Ollama, MLX-Audio แล้ว พันธมิตร Xybrid ยังรัน 8B Agent, Whisper และ Phonon พร้อมกันบน MacBook M1 Pro 16GB ทำให้ตัวละครเกม 3D สนทนาแบบเรียลไทม์ได้ในสภาวะออฟไลน์ полностью

ปัจจุบันมีเพียงเวอร์ชันภาษาอังกฤษ 31 ล้านพารามิเตอร์ที่ใช้สัญญาอนุญาต Apache 2.0 อนุญาตให้ใช้เชิงพาณิชย์ได้ เวอร์ชัน 40 ล้านพารามิเตอร์และเวอร์ชันหลายภาษาใช้สัญญาอนุญาต CC BY-NC การใช้เชิงพาณิชย์ต้องขออนุญาตแยก ยังไม่เปิดตัวโมเดลภาษาจีน