Pokee เปิดตัวโมเดล 10 ล้าน Token โดยมีบริบทใกล้เคียงกับโมเดลหลักถึง 10 เท่า

จากข้อมูลการติดตามของ Beating พบว่า Pokee AI สตาร์ทอัพด้าน AI Agent ได้เปิดตัว Pokee-Isaac 28B โมเดลมีพารามิเตอร์รวมเพียง 28 พันล้านตัว แต่หน้าต่างบริบทกลับสูงถึง 10 ล้าน Token ปัจจุบันขีดจำกัดของโมเดลกระแสหลักอยู่ที่ประมาณ 1 ล้าน Token ขณะที่ Isaac ใกล้เคียงกับ 10 เท่าของจำนวนดังกล่าว

ในการทดสอบของ Pokee เอง Isaac ในการทดสอบข้อความยาว RULER ตั้งแต่ 256,000 ถึง 4 ล้าน Token ยังคงรักษาคะแนนไว้ที่ประมาณ 95 คะแนน เมื่อขยายเต็มที่ถึง 10 ล้าน Token คะแนนยังคงอยู่ที่ 93.3 ส่วนโมเดลเปรียบเทียบอีกห้ารุ่นตั้งแต่ 2 ล้าน Token เป็นต้นไปไม่ส่งคืนผลลัพธ์ที่ใช้งานได้เลย

Pokee อธิบายว่าบริบทที่ยาวเป็นพิเศษนี้มาจากสถาปัตยกรรม "Non-pure Decoder-only" ที่พัฒนาเอง กล่าวคือไม่ได้ใช้โครงสร้างตัวถอดรหัสล้วนๆ ตามโมเดลขนาดใหญ่ทั่วไปโดยสิ้นเชิง อย่างไรก็ตาม รายงานทางเทคนิคไม่ได้เปิดเผยสถาปัตยกรรมเฉพาะ กลไกความสนใจ และแผนการจัดการหน่วยความจำ ทำให้ภายนอกยังไม่สามารถประเมินได้ว่าทำได้อย่างไร

Pokee AI ก่อตั้งขึ้นในปี 2024 โดยจู เจ๋อชิง อดีตหัวหน้าฝ่ายการเรียนรู้เสริมแอปพลิเคชันของ Meta บริษัทเคยได้รับเงินทุนรอบ Seed มูลค่า 12 ล้านดอลลาร์สหรัฐ นำโดย Point72 Ventures โดยมี Qualcomm Ventures และ Samsung NEXT เป็นต้นร่วมลงทุน