โมเดลขนาด 144M พารามิเตอร์ก็สามารถตัดสินใจแบบ Agent ได้แล้ว Julia-1 รันได้แม้กระทั่งบนแท็บเล็ต Android

动察 Beating ข่าวด่วน AI: ห้องปฏิบัติการ AI Supersonic Labs ได้เปิดตัวโมเดลตัดสินใจขนาดเบาชื่อ Julia-1 ที่มีพารามิเตอร์เพียง 144.3 ล้านตัว มันไม่สร้างข้อความยาว แต่รับบริบท คำถาม และคำตอบที่เป็นตัวเลือก 2 ถึง 20 รายการ เพื่อจำแนกประเภท ให้คะแนน และตัดสินถูกผิดได้โดยตรง สามารถใช้เลือกเครื่องมือสำหรับ Agent ทำ routing หรือตัดสินใจว่าขั้นตอนถัดไปควรทำอะไร

Julia-1 พัฒนาบนโมเดลเข้ารหัสหลายภาษาชื่อ mmBERT-small น้ำหนักโมเดลประมาณ 550MB เน้นใช้ฮาร์ดแวร์ขั้นต่ำ ทาง oficial ได้ทดสอบบน Apple M4, Intel i5-1235U และแท็บเล็ต Android ของ Samsung แล้ว บน M4 ความหน่วงมัธยฐานต่อการตัดสินใจหนึ่งครั้งอยู่ที่ประมาณ 33ms; บนแท็บเล็ต Samsung เมื่อรันด้วย CPU เพียงอย่างเดียวอยู่ที่ประมาณ 203ms และหน่วยความจำสูงสุดของโปรเซสอยู่ที่ประมาณ 393MB

ในการทดสอบเปรียบเทียบ Jev 4 ชุดที่ทาง oficial เปิดเผย Julia-1 ชนะ 3 ชุด Typed Decisions อยู่ที่ 73.15% เทียบกับผลอ้างอิงของ Jev ที่ 72.70%; AG News อยู่ที่ 94% ต่อ 91%; การจำแนกอารมณ์อยู่ที่ 86% ต่อ 48% แต่บน Banking77 ซึ่งมี 72 หมวดหมู่ Julia-1 ทำได้เพียง 64% ต่ำกว่าของ Jev ที่ 87% อย่างชัดเจน ทาง oficial กล่าวว่าเมื่อมีหมวดหมู่ตัวเลือกมากเกินไปและคล้ายกัน การกรองแบบจัดกลุ่มในปัจจุบันอาจทิ้งคำตอบที่ถูกต้องไปก่อน

ต้นทุนรวมในการฝึกและทดลองบน GPU บนคลาวด์ของ Julia-1 อยู่ที่เพียงประมาณ 104 ดอลลาร์สหรัฐ น้ำหนักโมเดล โค้ดรัน การประเมินแบบเต็ม และบันทึกแหล่งที่มาเปิดให้ใช้ทั้งหมด ภายใต้สัญญาอนุญาต Apache 2.0 ทาง oficial ยังอยู่ระหว่างพัฒนา API โดยวางแผนคิดค่าบริการ 0.025 ดอลลาร์สหรัฐต่ออินพุตหนึ่งล้านโทเคน เนื่องจากโมเดลทำเพียงการตัดสินและไม่สร้างข้อความยาว จึงไม่คิดค่าบริการโทเคนเอาต์พุต