动察 Beating ข่าวด่วน AI วันที่ 19 พฤศจิกายน Volcano Engine เปิดให้บริการ API ของโมเดลเสียงและวิดีโอแบบเรียลไทม์ Doubao SeedRealtime 1.0 อย่างเป็นทางการ โมเดลนี้เปิดตัวบนแอป Doubao ตั้งแต่เดือนสิงหาคมปีนี้ และตอนนี้นักพัฒนาบุคคลที่สามก็สามารถนำความสามารถในการสนทนาวิดีโอแบบเรียลไทม์นี้ไปเชื่อมต่อกับผลิตภัณฑ์ของตนเองได้แล้ว
SeedRealtime นำภาพจากกล้อง เสียง และลำดับเวลาใส่ไว้ในโมเดลแบบ end-to-end เดียวกัน AI สามารถสังเกตและฟังผู้ใช้พูดไปพร้อมกัน ขณะเดียวกันก็ตัดสินใจได้ว่าควรจะพูดเมื่อใด ลดความหน่วงและการสูญเสียข้อมูลที่เกิดจากการเชื่อมต่อหลายโมดูล เช่น การรู้จำเสียง การเข้าใจภาพ และการสังเคราะห์เสียงแบบดั้งเดิม
ในการสาธิตอย่างเป็นทางการ ผู้ใช้เทเมล็ดกาแฟทั้งเมล็ดลงในด้าม萃取ของเครื่องชงกาแฟ AI จะเตือนให้บดก่อนโดยไม่ต้องรอให้ถาม เมื่อเที่ยวพิพิธภัณฑ์ ผู้ใช้เพียงบอกล่วงหน้าว่าต้องการหาสิ่งของโบราณชิ้นใด โมเดลก็สามารถสังเกตผ่านกล้องอย่างต่อเนื่อง และเตือนเมื่อเป้าหมายปรากฏขึ้น นอกจากนี้ยังแยกแยะบทสนทนาของหลายคนได้ และหลีกเลี่ยงการถูกกระตุ้นผิดพลาดจากบทสนทนาของคนอื่นในสภาพแวดล้อมที่มีเสียงรบกวน
ผลการประเมินโดยมนุษย์ที่ ByteDance เปิดเผยเมื่อเดือนสิงหาคมปีนี้แสดงให้เห็นว่า เมื่อเทียบกับวิธีการเชื่อมต่อหลายโมเดลเข้าด้วยกัน ปัญหาจังหวะการสนทนาเสียงและวิดีโอของ SeedRealtime ลดลงประมาณครึ่งหนึ่ง ปรากฏการณ์เช่น การพูดแทรก การตอบสนองช้า และการถูกกระตุ้นผิดพลาดจากเสียงรบกวนพื้นหลังลดลงอย่างเห็นได้ชัด
