BlockBeats รายงานว่า วันที่ 27 มิถุนายน Brian Armstrong ซีอีโอของ Coinbase โพสต์ข้อความว่า หากต้องการให้ปริมาณการใช้ token เพิ่มขึ้นแบบทวีคูณ ขณะที่ค่าใช้จ่ายด้าน AI คงที่ กุญแจสำคัญไม่ได้อยู่ที่การตั้งค่าอุปสรรคในการใช้งานหรือการแจ้งเตือนค่าใช้จ่าย แต่อยู่ที่โมเดลเริ่มต้นที่ดีกว่า การกำหนดเส้นทาง และกลไกแคช Coinbase กำลังทดลองใช้โมเดลน้ำหนักเปิดอย่าง GLM 5.2 และ Kimi 2.7 เป็นค่าเริ่มต้นผ่าน LLM Gateway ขณะเดียวกันก็ยังคงสนับสนุนให้วิศวกรเลือกโมเดลที่เหมาะสมตามภารกิจ เขากล่าวว่า 91% ของพนักงานไม่เคยถึงขีดจำกัดการใช้งาน ดังนั้นบริษัทจึงไม่เลือกที่จะลดโควต้าและเพิ่มการแจ้งเตือน แต่เปลี่ยนไปใช้โมเดลเริ่มต้นที่มีต้นทุนต่ำกว่า
ในด้านการกำหนดเส้นทางโมเดล Coinbase จะประมวลผลพรอมพ์ล่วงหน้าในกระบวนการที่กำหนดเอง และกำหนดเส้นทางภารกิจไปยังโมเดลที่เหมาะสมที่สุดตามอัตราการ命中แคชและราคาโมเดล ตัวอย่างเช่น ขั้นตอนการวางแผนอาจต้องใช้โมเดล前沿 แต่ขั้นตอนการดำเนินการอาจใช้โมเดล前沿มากเกินไป เขาเห็นว่าในอนาคตไม่ควรให้มนุษย์เลือกโมเดล แต่ AI สามารถทำงานนี้ได้โดยอัตโนมัติ
Armstrong ยังกล่าวอีกว่า การพลาดแคชเป็นวิธีที่ง่ายที่สุดในการเพิ่มต้นทุน คำขอทั้งหมดของ Coinbase มีความสามารถในการรับรู้แคช เพื่อให้สามารถใช้แคชร้อนซ้ำได้มากที่สุด ตัวอย่างเช่น หลังจากใช้แคชอย่างถูกต้อง อัตราการ命中แคชของ LibreChat เพิ่มขึ้นจาก 5% เป็น 60% นอกจากนี้ Coinbase ยังกำหนดให้วิศวกรรักษาบริบทให้กระชับ รวมถึงการเริ่มเซสชันใหม่เมื่อเปลี่ยนภารกิจ การจำกัดขอบเขตบริบทไฟล์ และการตัดการเชื่อมต่อเครื่องมือที่ไม่ได้ใช้ เป้าหมายไม่ใช่การกดปริมาณการใช้ AI แต่เป็นการสร้างโครงสร้างพื้นฐานที่รองรับการเติบโตแบบทวีคูณ จากการปฏิบัติข้างต้น Coinbase สามารถลดค่าใช้จ่ายด้าน AI ลงเกือบครึ่งหนึ่ง ขณะที่ปริมาณการใช้ token ยังคงเพิ่มขึ้นอย่างต่อเนื่อง
