ตามการติดตามของ Beating นักพัฒนาอิสระ @bleysg ได้เผยแพร่รายงานการทดสอบจริงของโมเดลการเข้ารหัส MiniMax M3 บนเกณฑ์มาตรฐานซอฟต์แวร์ระยะยาว DeepSWE ในการทดสอบที่มีภารกิจพัฒนาฟังก์ชันโอเพนซอร์สจริง 113 รายการ โมเดลทำได้เพียงอัตราผ่านเกณฑ์มาตรฐานที่เข้มงวด 13.3% (15/113) ภายในเวลาจำกัดปกติ 90 นาที ซึ่งห่างไกลจากผลการประเมิน 59.0% ที่ทางบริษัทเคยประกาศไว้บนเกณฑ์มาตรฐาน SWE-bench Pro อย่างมาก ในอันดับ DeepSWE ที่เผยแพร่แล้ว ผลงานของ M3 ตามหลัง Kimi-k2.6 (24%) และ GLM-5.1 (18%) ซึ่งเป็นกระแสหลักในประเทศ แต่เหนือกว่า Gemini 3.1 Pro (10%) ของ Google และ DeepSeek V4 Pro (8%)
โดยเฉพาะอย่างยิ่ง โมเดลมีอัตราผ่านในภารกิจ JavaScript อยู่ที่ 40.0% (2/5), TypeScript 17.1% (6/35), Go 11.8% (4/34), Python 8.8% (3/34) ในขณะที่ภารกิจ Rust ทั้ง 5 รายการล้มเหลวทั้งหมด ข้อมูลการประเมินชี้ให้เห็นว่า ในภารกิจที่ยังไม่ได้รับการแก้ไขอย่างสมบูรณ์ มี 35 ภารกิจที่อัตราผ่านการทดสอบที่ซ่อนอยู่เกิน 90% ซึ่งถูกจัดประเภทเป็น "เกือบผ่าน" นอกจากนี้ ในภารกิจทั้งหมด 113 รายการ มีเพียง 8 ครั้งที่ล้มเหลวเนื่องจากการทำลายโค้ดที่มีอยู่ แสดงให้เห็นว่าโมเดลมีแนวโน้มที่จะสร้างแพตช์แบบอนุรักษ์นิยม ไม่ก่อให้เกิดข้อบกพร่องที่ย้อนกลับได้ง่าย
แต่เมื่อเทียบกับประสิทธิภาพที่ดีในการป้องกันการย้อนกลับของโค้ด ค่าใช้จ่ายในการดำเนินงานที่สูงมากของ M3 กลับกลายเป็นจุดอ่อนที่ชัดเจน ภายใต้เกณฑ์มาตรฐาน DeepSWE โมเดลมีค่ามัธยฐานของขั้นตอนการดำเนินงานต่อภารกิจสูงถึง 325 ขั้นตอน ค่ามัธยฐานของ Token ที่ส่งออกสูงถึง 80,000 รายการ และค่ามัธยฐานของต้นทุนเฉลี่ยต่อภารกิจสูงถึง 7.48 ดอลลาร์สหรัฐ ค่าใช้จ่ายทรัพยากรที่สูงนี้บ่งชี้ว่า เมื่อเทียบกับโมเดล前沿กระแสหลัก M3 ยังคงมีพื้นที่ในการปรับปรุงประสิทธิภาพการคำนวณอีกมาก รายงานการทดสอบระบุว่า หากผ่อนคลายข้อจำกัดด้านเวลา อัตราผ่านในเวลาที่ขยายออกไปของโมเดลสามารถเพิ่มขึ้นเป็น 16.8% (19/113) โดยสามารถแก้ไขภารกิจที่ซับซ้อนหลายไฟล์ซึ่งใช้เวลาเกิน 90 นาทีเพิ่มเติมอีก 4 รายการ
