lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

CertiK และนักวิจัยจากมหาวิทยาลัยโคลัมเบียเปิดตัวผลงานเทคโนโลยี TensorLean สำเร็จการตรวจสอบอย่างเป็นทางการของตัวดำเนินการ AI ระดับโปรดักชันของ DeepSeek และ FlashAttention เป็นครั้งแรกของโลก

อ่านบทความนี้ใน 9 นาที
ผลการวิจัยนี้เป็นตัวอย่างการประยุกต์ใช้การตรวจสอบเชิงรูปแบบในการคำนวณ AI จริง


เมื่อวันที่ 20 พฤศจิกายน CertiK ได้ประกาศผลงานเทคโนโลยี TensorLean ที่พัฒนาร่วมกับนักวิจัยจากมหาวิทยาลัยโคลัมเบีย ซึ่งเป็นการพิสูจน์เชิงรูปแบบของตัวดำเนินการ AI ระดับการผลิตได้สำเร็จเป็นครั้งแรกของโลก ความก้าวหน้านี้ทำให้การพิสูจน์ทางคณิตศาสตร์สามารถนำไปใช้กับโค้ดการคำนวณ AI จริงที่ผ่านการปรับแต่งประสิทธิภาพอย่างซับซ้อนได้ ช่วยให้ผู้พัฒนาระบบโมเดลขนาดใหญ่ได้รับหลักประกันความถูกต้องที่เข้มงวดยิ่งขึ้นเมื่อเพิ่มความเร็วในการฝึกและลดต้นทุนการอนุมาน


การฝึกโมเดลขนาดใหญ่และการสร้างคำตอบต้องอาศัยโปรแกรมการคำนวณระดับล่างในไลบรารีตัวดำเนินการ AI โปรแกรมที่ทำงานบน GPU เหล่านี้เรียกว่า GPU เคอร์เนล ข้อผิดพลาดเพียงจุดเดียวอาจทำให้ระบบคำนวณผลลัพธ์ผิดอย่างเงียบ ๆ ขณะทำงานตามปกติ ส่งผลกระทบต่อเอาต์พุตที่ตามมา และอาจทำให้การฝึกเบี่ยงเบนไปจากที่คาดไว้ ยกตัวอย่างการประมาณสถานการณ์ หากการฝึกที่ใช้พลังประมวลผลมูลค่า 100 ล้านดอลลาร์ มีการคำนวณ 1% ที่ต้องทำใหม่เนื่องจากข้อผิดพลาด นั่นหมายถึงค่าใช้จ่ายเพิ่มเติม 1 ล้านดอลลาร์


คุณค่าหลักของการพิสูจน์เชิงรูปแบบคือการใช้การพิสูจน์ทางคณิตศาสตร์เพื่อกำจัดข้อผิดพลาดและช่องโหว่ การทดสอบทั่วไปค้นหาปัญหาผ่านตัวอย่าง конкреกรณี ส่วนการพิสูจน์เชิงรูปแบบสามารถพิสูจน์ได้ว่าโปรแกรมเป็นไปตามข้อกำหนดเสมอภายใต้อินพุตและเงื่อนไขการทำงานที่กำหนด โดยไม่มีข้อผิดพลาดหรือช่องโหว่ภายในขอบเขตการพิสูจน์


การนำวิธีนี้ไปใช้กับโค้ด AI ระดับการผลิตมีความยากอยู่ที่การจัดการกับการปรับแต่งประสิทธิภาพจริง โปรแกรม GPU จะคำนวณไปพร้อมกับเคลื่อนย้ายข้อมูล ปรับตารางการทำงานตามขนาดงาน และใช้การคำนวณความแม่นยำต่ำลง TensorLean สามารถจัดการเงื่อนไขที่ซับซ้อนเหล่านี้ได้พร้อมกัน โดยตรวจสอบโค้ด PTX ที่สร้างขึ้นหลังการคอมไพล์โปรแกรมโดยตรง พิสูจน์ว่าการคำนวณเป็นไปตามข้อกำหนดภายใต้เงื่อนไขและช่วงความคลาดเคลื่อนที่กำหนด การพิสูจน์ทั้งหมดดำเนินการใน Lean และสามารถตรวจสอบได้ด้วยเครื่อง

เฉียงเหวยและหยางก้านเสียง สมาชิกทีมวิจัย TensorLean กล่าวว่า "การปรับแต่งที่ซับซ้อนเหล่านี้เป็นเหตุผลที่โค้ด AI ระดับการผลิตทำงานได้เร็ว ความท้าทายของเราคือการพิสูจน์ให้สำเร็จโดยไม่ละเลยเงื่อนไขการทำงานจริงเหล่านี้ เพื่อให้การตรวจสอบอย่างเข้มงวดสามารถนำไปใช้กับโค้ดประสิทธิภาพสูงที่ใช้งานจริงได้"


ทีมวิจัยได้ประเมินอินสแตนซ์ GPU เคอร์เนลที่คอมไพล์แล้ว 149 รายการ และพิสูจน์เชิงรูปแบบยืนยันว่า 83 รายการเป็นไปตามข้อกำหนด Lean ที่เกี่ยวข้อง การศึกษาครั้งนี้ครอบคลุมสถาปัตยกรรม GPU ต่างรุ่น และเกี่ยวข้องกับ DeepGEMM ของ DeepSeek และไลบรารีตัวดำเนินการ FlashAttention ที่ใช้กันอย่างแพร่หลาย ทีมพบปัญหาความถูกต้อง 38 รายการใน 6 ไลบรารี โดย DeepGEMM มี 2 รายการ และ FlashAttention มี 23 รายการ


กู้หรงฮุย ผู้ร่วมก่อตั้ง CertiK และศาสตราจารย์ภาควิชาวิทยาการคอมพิวเตอร์แห่งมหาวิทยาลัยโคลัมเบีย กล่าวว่า "หลังจากค้นพบช่องโหว่แล้ว ยังจำเป็นต้องพิสูจน์ว่าโปรแกรมที่แก้ไขแล้วเป็นไปตามข้อกำหนดภายใต้เงื่อนไขที่กำหนด สำหรับผู้พัฒนาระบบโมเดลขนาดใหญ่ ทุกครั้งที่เพิ่มความเร็วควรมีพื้นฐานความถูกต้องที่เชื่อถือได้ เราหวังว่าจะทำให้การตรวจสอบอย่างเข้มงวดนี้ก้าวทันการ迭代ของโค้ด และกันความเสี่ยงจากข้อผิดพลาดในการคำนวณไว้ก่อนการฝึกและการปรับใช้ในวงกว้างให้มากที่สุด"


คุณค่าที่แท้จริงของความสำเร็จนี้ต่อผู้ผลิตโมเดลขนาดใหญ่ อยู่ที่การปรับปรุงประสิทธิภาพในแต่ละรอบ หลังจากอัปเดตโค้ด ทีมวิจัยและพัฒนานอกจากจะวัดการเพิ่มขึ้นของความเร็วแล้ว ยังสามารถรันการตรวจสอบซ้ำ เพื่อตรวจสอบว่าการปรับปรุงนั้นทำให้เกิดข้อผิดพลาดในการคำนวณหรือไม่ และให้การพิสูจน์ที่เครื่องจักรสามารถตรวจสอบได้สำหรับโปรแกรมที่ตรงตามข้อกำหนด ซึ่งช่วยลดการสิ้นเปลืองพลังประมวลผล การทำงานซ้ำในการฝึก และความเสี่ยงที่ผลลัพธ์ที่ผิดพลาดจะไหลเข้าสู่การคำนวณในลำดับถัดไป


การคำนวณประเภทเดียวกันยังสามารถนำข้อกำหนดการตรวจสอบที่มีอยู่กลับมาใช้ซ้ำได้ ทำให้วิธีนี้สามารถนำไปใช้กับเคอร์เนลได้มากขึ้น และรันซ้ำได้ทุกครั้งที่โค้ดอัปเดต มอบพื้นฐานที่เชื่อถือได้มากขึ้นสำหรับการเพิ่มประสิทธิภาพการคำนวณ AI อย่างต่อเนื่อง


ในเดือนตุลาคมปีนี้ Anthropic ก็ได้เผยแพร่งานวิจัยที่ใช้ Claude สร้างการพิสูจน์ทางคณิตศาสตร์สำหรับซอฟต์แวร์โอเพนซอร์ส TensorLean มุ่งเน้นการคำนวณระดับล่างของ AI เอง และแสดงให้เห็นคุณค่าของการตรวจสอบแบบฟอร์มัลอัตโนมัติในการนำไปใช้กับโค้ด AI ระดับการผลิต


ยินดีต้อนรับสู่ชุมชนทางการของ BlockBeats:

กลุ่ม Telegram สมัครสมาชิก: https://t.me/theblockbeats

กลุ่ม Telegram พูดคุย: https://t.me/BlockBeats_App

บัญชี Twitter ทางการ: https://twitter.com/BlockBeatsAsia

举报 แก้ไข/รายงาน
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
แก้ไข/รายงาน
ส่ง