Perplexity เปิดตัวโมเดล Embedding ใหม่แบบโอเพนซอร์ส: อ่านทั้งเอกสารในครั้งเดียว และแม้ตัดเป็นชิ้นก็ยังคงบริบทไว้ได้

动察 Beating ข่าวด่วน AI, Perplexity เปิดโอเพนซอร์สโมเดล embedding บริบทใหม่ pplx-embed-v2-context-9b-preview ซึ่งใช้หลักสำหรับการค้นคืนแบบ RAG โดยทั่วไป embedding ทั่วไปมักตัดเอกสารยาวออกเป็นชิ้นเล็ก ๆ แล้วทำความเข้าใจแยกกัน แต่โมเดลใหม่นี้จะเข้ารหัสชิ้นส่วนเหล่านี้พร้อมกัน ทำให้แต่ละชิ้นสร้างเวกเตอร์โดยอ้างอิงบริบทของเอกสารทั้งหมดได้ โมเดลนี้เปิดให้ใช้งานแล้วบน Hugging Face ภายใต้สัญญาอนุญาต MIT

ตัวอย่างเช่น หากข้อความตอนหนึ่งเขียนเพียงว่า «มันเติบโตขึ้น 20%» เมื่อแยกออกมาจะยากที่จะรู้ว่า «มัน» คืออะไร โมเดลใหม่สามารถเข้าใจประโยคนี้โดยเชื่อมโยงกับส่วนอื่น ๆ ของเอกสารได้ ในระหว่างการฝึก โมเดลยังเรียนรู้ที่จะค้นหาทั้งคำตอบและย่อหน้าอื่น ๆ ที่สนับสนุนคำตอบไปพร้อมกัน ทำให้ AI ในลำดับถัดไปไม่เพียงได้คำตอบ แต่ยังได้หลักฐานที่จำเป็นสำหรับตรวจสอบคำตอบด้วย

ในการทดสอบแบบ blind ของ context-bench ที่ออกแบบโดย turbopuffer โมเดลใหม่มีค่า Answer@10 อยู่ที่ 45.5% สูงกว่า Voyage Context 4 อยู่ 14.4 จุดเปอร์เซ็นต์ และมี Evidence Recall@10 อยู่ที่ 40.6% สูงกว่า 5 จุดเปอร์เซ็นต์ การทดสอบประกอบด้วยเอกสารยาว 38,894 ชิ้นและคำค้นหา 2,099 รายการ โดยไม่เปิดเผยคำถาม ซึ่งช่วยลดความเสี่ยงที่ชุดทดสอบจะปนเปื้อนด้วยข้อมูลฝึก

ปัจจุบันโมเดลยังอยู่ในเวอร์ชัน Preview Perplexity เตือนว่า น้ำหนัก โมเดล อินเทอร์เฟซ และ embedding ที่สร้างขึ้นในอนาคตอาจเปลี่ยนแปลงได้ ดังนั้นเวกเตอร์ที่สร้างขึ้นในตอนนี้อาจไม่สามารถนำไปใช้ร่วมกับเวอร์ชันในอนาคตได้โดยตรง