Mistral เปิดตัว Voxtral 3: เชื่อมโยงการรู้จำเสียง การให้เหตุผล และการเรียกใช้เครื่องมือให้เป็น Agent แบบเรียลไทม์

动察 Beating ข่าวด่วน AI บริษัท AI สัญชาติฝรั่งเศส Mistral เปิดตัว Voxtral 3 ประกอบด้วยโมเดลถอดเสียงพูดสามรุ่น โมเดลสังเคราะห์เสียงหนึ่งรุ่น และ Voice Agent SDK แบบครบวงจร

ในการสาธิตอย่างเป็นทางการ ผู้ใช้รายหนึ่งพูดภาษาอังกฤษเพื่อขอนัดหมายแพทย์ผิวหนัง AI อ่านจดหมายส่งต่อภาษาฝรั่งเศส เรียกใช้ระบบเพื่อตรวจสอบช่วงเวลาว่าง และยืนยันเป็นภาษาอังกฤษหลังจากทำการนัดหมายเสร็จสิ้น กระบวนการทั้งหมดดำเนินการผ่านการสนทนาด้วยเสียงแบบเรียลไทม์

Voxtral 3 ไม่ใช่โมเดลเสียงขนาดใหญ่แบบ end-to-end ที่จัดการทุกงานไว้ในตัวเดียว แต่ใช้การออกแบบแบบโมดูลาร์ โดยโมเดลถอดเสียงมีหน้าที่รับรู้เสียงพูดและตัดสินใจว่าผู้ใช้พูดจบเมื่อใด โมเดลทั่วไปขนาดใหญ่เช่น Mistral Small มีหน้าที่ในการอนุมานและเรียกใช้เครื่องมือ ส่วนโมเดลสังเคราะห์เสียงมีหน้าที่ตอบกลับ SDK ที่基于 LiveKit เชื่อมโยงส่วนเหล่านี้เป็นไปป์ไลน์แบบเรียลไทม์ รองรับการโทรทางโทรศัพท์และการโทรผ่านเว็บ และยังอนุญาตให้ผู้ใช้ขัดจังหวะได้ทุกเมื่อ Mistral อ้างว่าความหน่วงในการโต้ตอบแต่ละรอบน้อยกว่า 1 วินาที นักพัฒนายังสามารถสลับโมเดลการอนุมานหรือโมเดลเสียงได้แยกกัน

ภาษาที่รองรับการถอดเสียงขยายจาก 13 ภาษาของรุ่นก่อนหน้าเป็นกว่า 50 ภาษา ส่วนการสังเคราะห์เสียงรองรับภาษากว่า 35 ภาษาและมากกว่า 50 ภาษาถิ่น ในการทดสอบการถอดเสียงแบบไม่เรียลไทม์อิสระของ Artificial Analysis นั้น Voxtral Small Transcribe 3 มีอัตราคำผิดพลาด 2.1% อยู่ในอันดับสาม รองจากโมเดลของ Alibaba และ Microsoft ส่วนการสังเคราะห์เสียงอยู่ในอันดับที่ 13

API การถอดเสียงแบบเรียลไทม์คิดค่าบริการนาทีละ 0.008 ดอลลาร์ การสังเคราะห์เสียงคิดค่าบริการ 13 ดอลลาร์ต่อล้านตัวอักษร องค์กรธุรกิจยังสามารถติดต่อ Mistral เพื่อติดตั้งใช้งานบนเซิร์ฟเวอร์ของตนเองหรือคลาวด์ส่วนตัวได้