ปลั๊กอินค้นหา AI โอเพนซอร์ส Evoke: พารามิเตอร์ 30 ล้าน อัตราการเรียกคืนใกล้เคียงกับโมเดล 600 ล้าน

动察 Beating ข่าวด่วน AI บริษัทใหม่ของ Emad Mostaque ผู้ร่วมก่อตั้ง Stability AI อย่าง Intelligent Internet ได้เปิดซอร์ส Evoke ซึ่งเป็นปลั๊กอินค้นหาฐานข้อมูล PostgreSQL ที่มีโมเดล AI ประมาณ 30.3 ล้านพารามิเตอร์ติดตั้งอยู่ภายใน เมื่อนักพัฒนาติดตั้งแล้ว ก็สามารถค้นหาเอกสารและฐานความรู้ได้โดยตรงจากในฐานข้อมูล ทั้งจับคู่คำสำคัญและค้นหาเนื้อหาที่มีความหมายใกล้เคียงกันได้

Evoke ใช้โมเดล Granite-Embedding-30M-Sparse ของ IBM เป็นพื้นฐาน โดยจะสร้างชุดคำที่เกี่ยวข้องพร้อมค่าน้ำหนักให้กับเอกสาร แม้ว่าคำค้นหาจะไม่ปรากฏในข้อความต้นฉบับ ก็ยังมีโอกาสค้นพบเนื้อหาที่ตรงกันได้ คำสำคัญและข้อมูลเชิงความหมายใช้ดัชนีการค้นหาร่วมกันชุดเดียว ไม่จำเป็นต้องดูแลดัชนีเวกเตอร์เพิ่มเติม โมเดลทำงานบน CPU ทั่วไปได้โดยตรง ไม่ต้องใช้ GPU และไม่ต้องส่งข้อมูลไปยังบริการ AI ภายนอก

ผลการทดสอบการค้นหาภาษาอังกฤษที่ทางบริษัทเปิดเผยก่อนหน้านี้แสดงให้เห็นว่า Evoke มีอัตราการค้นพบเอกสารที่เกี่ยวข้องใน 100 ผลลัพธ์แรกสูงถึง 66.7% สูงกว่าการค้นหาคำสำคัญแบบดั้งเดิมที่ 56.3% และใกล้เคียงกับโมเดล 600 ล้านพารามิเตอร์ที่ 67.1%

โค้ดและโมเดลของ Evoke เปิดซอร์สภายใต้สัญญาอนุญาต Apache-2.0 เหมาะสำหรับการค้นหาเอกสารภายในองค์กร ฐานความรู้ของ AI Agent และอื่น ๆ