OpenRouter เชื่อม Jev เข้ากับการกำหนดเส้นทางอัจฉริยะ: คำนวณความสูญเสียแคชก่อนเปลี่ยนโมเดล

动察 Beating ข่าวด่วน AI OpenRouter เปิดตัว Jev Router นำ Jev ของ TypeSafe เชื่อมต่อเข้ากับการกำหนดเส้นทางโมเดล ก่อนส่งคำขอแต่ละรอบ Jev จะประเมินความยากของงาน ข้อกำหนดด้านความแม่นยำ และดูว่าโมเดลปัจจุบันกับระดับการอนุมานเพียงพอหรือไม่ จากนั้นจึงตัดสินใจว่าจะใช้ต่อ เพิ่มความเข้มข้นในการอนุมาน หรือเปลี่ยนไปใช้โมเดลอื่น

Auto Router เดิมของ OpenRouter เน้นการเลือกโมเดลตามประเภทของงาน โดยจะประเมินก่อนว่านี่คืองานประเภทใด แล้วอ้างอิงจากสถิติการใช้งานของแต่ละโมเดลในคำขอประเภทเดียวกันในช่วง 7 วันที่ผ่านมาเพื่อเลือกเส้นทาง ส่วน Jev Router จะดูต่อไปว่ารอบนี้ยากแค่ไหน งานง่ายสามารถลดระดับได้ งานยากสามารถเพิ่ม reasoning effort ได้ และถ้าโมเดลเดิมยังแก้ปัญหาได้ก็ไม่จำเป็นต้องรีบเปลี่ยนโมเดล

ยังมีปัญหาที่ปฏิบัติจริงอีกอย่างหนึ่งก็คือ context cache ในบทสนทนายาว เมื่อเปลี่ยนโมเดล context ที่แคชไว้มักไม่สามารถนำมาใช้ซ้ำได้โดยตรง โมเดลใหม่อาจต้องประมวลผลประวัติการสนทนาทั้งหมดใหม่ Jev Router จะนำความสูญเสียนี้มาคำนวณด้วย OpenRouter กล่าวว่าจะเปลี่ยนโมเดลจริงก็ต่อเมื่อผลตอบแทนที่คาดว่าจะได้รับจากการเปลี่ยนโมเดลสูงกว่าต้นทุนในการสลับ และจะพยายามใช้โมเดลเดิมต่อไปให้มากที่สุด

OpenRouter เปิดเผยผลทดสอบของตนเองว่า ใน 4 Agent benchmark รวม 423 งาน Jev Router ทำสำเร็จ 237 งาน ขณะที่ Auto Router ทำสำเร็จ 130 งาน แก้ปัญหาได้เพิ่มขึ้นประมาณ 82% และในอีก 5 Agent benchmark ค่ามัธยฐานความหน่วงของ token แรกก็ต่ำกว่า router อื่นที่เข้าร่วมทดสอบ

แนวคิดลักษณะนี้เคยปรากฏในชุมชน Jev มาก่อนแล้ว ตัวอย่างเช่น `gholtzap/jev-codex-model-and-effort-router` จะให้ Jev เลือกโมเดลและระดับการอนุมานให้ Codex ก่อน แล้วตรึงทั้ง thread ไว้เพื่อใช้ cache ซ้ำ ส่วน `Jev-Auto-Router` พยายามเลือกโมเดลใหม่ในทุกครั้งที่เรียกใช้ ครั้งนี้ OpenRouter นำวิธีการเหล่านี้มาทำเป็นบริการกำหนดเส้นทางอย่างเป็นทางการโดยตรง