Anthropic เขียน API หลักใหม่ด้วย Claude ทำให้การใช้ CPU ลดลง 40% ถึง 50%

动察 Beating ข่าวด่วน AI, Katelyn Lesse หัวหน้าฝ่ายวิศวกรรมแพลตฟอร์มของ Anthropic เปิดเผยในบทสัมภาษณ์ Latent Space ว่าบริษัทได้ย้าย Messages API จาก Python ไปเป็น Rust แล้ว หลังการปรับปรุง คาดว่าการใช้ CPU ของบริการ API ลดลงประมาณ 40% ถึง 50% และความหน่วงในการตอบสนองของ Token แรกดีขึ้นประมาณ 10% ถึง 20%

Messages API เป็นอินเทอร์เฟซหลักที่นักพัฒนาใช้เรียก Claude เมื่อปริมาณคำขอเพิ่มขึ้นอย่างต่อเนื่อง บริการแบบ monolithic ที่เขียนด้วย Python เดิมใช้ CPU มากขึ้นเรื่อยๆ ทีมจึงตัดสินใจเขียนใหม่ด้วย Rust โดยตรง แต่เมื่อเริ่มโครงการ กลุ่มที่รับผิดชอบการย้ายระบบกลับไม่มีวิศวกร Rust แม้แต่คนเดียว

สุดท้าย Claude รับหน้าที่เขียนโค้ดหลัก ส่วนวิศวกรมนุษย์รับผิดชอบการออกแบบสถาปัตยกรรมและการตรวจสอบ ทีมเริ่มต้นด้วยการสร้างเวอร์ชัน Rust ที่สมบูรณ์ ให้ระบบใหม่และระบบเก่าประมวลผลคำขอเดียวกัน เปรียบเทียบผลลัพธ์ทีละรายการ แล้วค่อยๆ สลับทราฟฟิกจริงไปยังระบบใหม่ ทีมยังรับวิศวกรที่มีประสบการณ์ Rust หลายคนระหว่างกระบวนการนี้ด้วย

Lesse กล่าวว่า การย้ายระบบขนาดนี้ในอดีตมักต้องแบ่งเป็นหลายระยะและใช้เวลาหลายปี แต่ครั้งนี้ทีมทำการย้าย API ทั้งชุดเสร็จโดยตรง และเปิดใช้งานเต็มรูปแบบแล้วในเดือนกันยายน