lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
หน้าแรก
AI
OPRR
ด่วน
ความลึก
กิจกรรม
BlockBeats Pro
เพิ่มเติม
การเงิน
พิเศษ
ระบบนิเวศบล็อกเชน
รายการ
พอดแคสต์
ข้อมูล
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
Partnered With:

เครื่องหมายสำคัญของพลังคำนวณในประเทศ: การฝึกอบรมหลังพารามิเตอร์เต็มรูปแบบของโมเดล DeepSeek ขนาด 1.6 ล้านล้านพารามิเตอร์บนการ์ด Ascend 910C จำนวนพันใบสำเร็จแล้ว

ตามการติดตามของ Beating ทีมวิจัยร่วมซึ่งประกอบด้วย Shenzhen He Tao College, มหาวิทยาลัยเทคโนโลยีฮาร์บิน (เซินเจิ้น), สถาบันวิจัยข้อมูลขนาดใหญ่เซินเจิ้น และทีมงานที่เกี่ยวข้องจากหัวเว่ย พร้อมด้วยความร่วมมือจากแพลตฟอร์มพลังประมวลผล AI ของ Shenzhen Smart City (深智城) ได้ประกาศความสำเร็จในการรันการฝึกหลังพารามิเตอร์เต็มรูปแบบ (Post-training) สำหรับโมเดลขนาดใหญ่ DeepSeek-V4-Pro ที่มีพารามิเตอร์ 1.6 ล้านล้าน บนแพลตฟอร์มพลังประมวลผล AI ในประเทศ

นี่เป็นครั้งแรกที่องค์กรบุคคลที่สามทั่วโลกสามารถดำเนินการฝึกหลังพารามิเตอร์เต็มรูปแบบสำหรับโมเดลขนาด 1.6 ล้านล้านพารามิเตอร์บนแพลตฟอร์มพลังประมวลผลในประเทศ

เมื่อเปรียบเทียบกับการฝึกก่อน (Pre-training) ซึ่งเริ่มจากศูนย์ การฝึกหลัง (Post-training) ซึ่งรวมถึงการปรับแต่งแบบมีผู้สอน (SFT) และการเรียนรู้แบบเสริมแรง (RL) จะเน้นการปรับโมเดลให้สอดคล้องกับคำสั่งคุณภาพสูงและความชอบของมนุษย์ เพื่อสอนให้โมเดลปฏิบัติตามคำสั่งและทำงานเฉพาะด้าน อย่างไรก็ตาม สำหรับโมเดลสถาปัตยกรรม MoE ที่มีพารามิเตอร์ 1.6 ล้านล้าน การฝึกหลังพารามิเตอร์เต็มรูปแบบยังคงมีความต้องการที่เข้มงวดมากในด้านความจุหน่วยความจำของฮาร์ดแวร์พื้นฐาน แบนด์วิธการสื่อสารระหว่างการ์ดหลายใบ (เช่น การสื่อสารแบบทุกต่อทุกที่เกิดจากการกำหนดเส้นทาง MoE) และความเสถียรของคลัสเตอร์ขนาดใหญ่ ทีมวิจัยร่วมอาศัยคลัสเตอร์พลังประมวลผล Huawei Ascend 910C ที่มีชิปมากกว่าพันตัว โดยการปรับกลยุทธ์การกระจายโหลดและการปรับสมดุลโหลดให้เหมาะสม สามารถเอาชนะปัญหาคอขวดด้านการสื่อสารได้ ในระหว่างกระบวนการฝึกที่ยาวนานกว่า 1,500 สเต็ป ระบบไม่เกิดการหยุดชะงักแม้แต่ครั้งเดียว อัตราการใช้พลังประมวลผลของโมเดล (MFU) เกิน 30% ประสิทธิภาพของตัวดำเนินการหลักเพิ่มขึ้น 14% และตัวชี้วัดทั้งหมดถึงมาตรฐานการทำงานระดับอุตสาหกรรม

การวิเคราะห์ในอุตสาหกรรมชี้ให้เห็นว่า ความสำเร็จของคลัสเตอร์ Huawei Ascend 910C ในการฝึกโมเดลระดับล้านล้านพารามิเตอร์ ยืนยันถึงความเป็นไปได้ทางเทคนิคของชิป AI ในประเทศในการรองรับงานฝึกเชิงลึกของโมเดลขนาดใหญ่พิเศษ เนื่องจากก่อนหน้านี้ การฝึกก่อนหลักของโมเดลขนาดใหญ่มักพึ่งพาคลัสเตอร์ GPU ของ Nvidia พลังประมวลผลในประเทศส่วนใหญ่รับผิดชอบงานอนุมาน (Inference) หรือการปรับแต่งพารามิเตอร์ขนาดเล็ก ความสำเร็จของความร่วมมือครั้งนี้บ่งชี้ว่าระบบนิเวศพลังประมวลผลในประเทศกำลังเร่งเปลี่ยนผ่านจาก "รองรับเฉพาะการอนุมาน" ไปสู่ "การรองรับการฝึกพารามิเตอร์เต็มรูปแบบของโมเดลขนาดใหญ่พิเศษ" ซึ่งเป็นการปิดวงจรทางเทคนิค

举报 แก้ไข/รายงาน
ที่เกี่ยวข้องแนะนำ
เทคโนโลยีไม่ควรเป็นของหรูที่สูงส่ง
โดยลดความยากง่ายในการฝึกและการประมวลผล การแข่งขันในพื้นฐาน AI จะนำบริษัทผู้ผลิตอุปกรณ์จัดเก็บข้อมูล ชิป และเครือข่ายในประเทศมากขึ้นเข้าร่วมกระบวนการ
ถ้าทุกอย่างเป็นไปด้วยดี เร็วที่สุดคือปลายปีนี้
V4-Pro-Max (โหมดพลัสความสามารถของการคาดเดาสูงสุด) ประกาศตัวเองว่าเป็นโมเดล Open Source ที่แข็งแกร่งที่สุดในปัจจุบัน มีเกณฑ์การเข้ารหัสที่ระดับสูงมาก และช่วงแตกต่างของการคาดเดาและงานของเอเจนต์กับเอเจนต์ระดับประชาสัมพันธ์ที่สูงทั้งในด้านการคาดเดาและการทำงานปิดตำนานได้ลดลงอย่างเห็นได้ชัด
แก้ไข/รายงาน
ส่ง
เพิ่มคลัง
เห็นได้เฉพาะตัวเอง
สาธารณะ
บันทึก
เลือกคลัง
เพิ่มคลัง
ยกเลิก
เสร็จสิ้น