นักวิจัยใช้คลัสเตอร์ GPU ที่กระจายไปทั่วโลกและผสมผสานข้อมูลส่วนตัวและสาธารณะเพื่อฝึกโมเดลภาษาขนาดใหญ่ประเภทใหม่ (LLM) ได้สำเร็จ ซึ่งเป็นความก้าวหน้าครั้งสำคัญที่อาจล้มล้างรูปแบบการสร้างกระแสหลักในปัจจุบันของปัญญาประดิษฐ์ได้

Flower AI และ Vana ซึ่งเป็นสตาร์ทอัพด้าน AI สองแห่งที่ดำเนินเส้นทางที่ไม่ธรรมดา ได้ร่วมมือกันสร้างโมเดลใหม่ที่เรียกว่า Collective-1 Flower AI ได้พัฒนาเทคโนโลยีที่ช่วยให้สามารถกระจายงานการฝึกอบรมไปยังคอมพิวเตอร์ในเครือข่ายหลายร้อยเครื่อง และบริษัทต่างๆ มากมายนำโซลูชันของ Flower AI มาใช้เพื่อฝึกอบรมโมเดล AI โดยไม่ต้องใช้พลังการประมวลผลหรือข้อมูลแบบรวมศูนย์ Vana มีแหล่งข้อมูลที่หลากหลาย รวมถึงแพลตฟอร์ม X, Reddit และข้อความส่วนตัวของ Telegram

เมื่อพิจารณาจากมาตรฐานในปัจจุบัน Collective-1 ถือเป็นสิ่งที่มีขนาดเล็ก โดยมีพารามิเตอร์จำนวน 7 พันล้านตัว (ซึ่งร่วมกันกำหนดพลังของโมเดล) ซึ่งแตกต่างอย่างมากจากพารามิเตอร์จำนวนหลายร้อยพันล้านตัวในโมเดลขั้นสูงที่สุดในปัจจุบัน เช่น โมเดลที่รองรับ ChatGPT, Claude และ Gemini

Nic Lane นักวิทยาศาสตร์คอมพิวเตอร์จากมหาวิทยาลัยเคมบริดจ์และผู้ร่วมก่อตั้ง Flower AI กล่าวว่าแนวทางแบบกระจายนี้มีศักยภาพในการเอาชนะข้อจำกัดด้านขนาดของ Collective-1 ได้ เขาเปิดเผยว่า Flower AI กำลังฝึกโมเดลพารามิเตอร์ 30 พันล้านโดยใช้ข้อมูลดั้งเดิม และวางแผนที่จะพัฒนาโมเดลพารามิเตอร์ 100 พันล้านในช่วงปลายปีนี้ ซึ่งเป็นระดับที่ใกล้เคียงกับโมเดลของผู้นำในอุตสาหกรรม “สิ่งนี้มีศักยภาพที่จะปฏิวัติวิธีคิดของผู้คนเกี่ยวกับ AI และเรากำลังผลักดันมันให้ก้าวไปข้างหน้า” เลนกล่าว นอกจากนี้ สตาร์ทอัพยังรวมภาพพร้อมเสียงในการฝึกอบรมเพื่อสร้างแบบจำลองหลายโหมดอีกด้วย

การสร้างแบบจำลองแบบกระจายอาจปรับเปลี่ยนพลังอำนาจในอุตสาหกรรม AI ได้ด้วย

ปัจจุบัน บริษัท AI พึ่งพาสองเสาหลักในการสร้างแบบจำลอง: ข้อมูลการฝึกอบรมจำนวนมากและพลังการประมวลผลจำนวนมากที่รวมอยู่ในศูนย์ข้อมูล - ศูนย์ข้อมูลเหล่านี้เชื่อมต่อกับคลัสเตอร์ GPU ขั้นสูงผ่านเครือข่ายใยแก้วนำแสงความเร็วสูงพิเศษ นอกจากนี้ พวกเขายังพึ่งพาชุดข้อมูลที่เปิดเผยต่อสาธารณะซึ่งรวบรวมมาจากเว็บไซต์เป็นอย่างมาก (แม้ว่าบางส่วนจะเกี่ยวข้องกับเนื้อหาที่มีลิขสิทธิ์) ซึ่งรวมถึงหน้าเว็บและเนื้อหาหนังสือ

รูปแบบนี้หมายความว่าเฉพาะบริษัทที่มีแหล่งเงินทุนที่แข็งแกร่งและประเทศที่สามารถเข้าถึงชิประดับไฮเอนด์จำนวนมากเท่านั้นที่สามารถพัฒนาโมเดลล้ำสมัยที่ทรงคุณค่าที่สุดได้ แม้แต่โมเดลโอเพนซอร์สเช่น Llama ของ Meta และ R1 ของ Deep Quest ก็มาจากบริษัทที่มีศูนย์ข้อมูลขนาดใหญ่ แนวทางแบบกระจายช่วยให้วิสาหกิจขนาดกลางและขนาดย่อมรวมถึงมหาวิทยาลัยสามารถพัฒนา AI เชิงนิเวศได้โดยการบูรณาการทรัพยากรแบบกระจายอำนาจ หรือช่วยให้ประเทศที่ขาดโครงสร้างพื้นฐานแบบดั้งเดิมสามารถสร้างโมเดลที่แข็งแกร่งกว่าได้โดยการเชื่อมโยงศูนย์ข้อมูลหลายแห่งเข้าด้วยกัน

Lane เชื่อว่าอุตสาหกรรม AI จะสนับสนุนแนวทางใหม่ๆ ที่สามารถข้ามพ้นข้อจำกัดของศูนย์ข้อมูลเพียงแห่งเดียวมากขึ้น “เมื่อเทียบกับรูปแบบศูนย์ข้อมูลแล้วโซลูชันแบบกระจายสามารถปรับขนาดพลังการประมวลผลได้อย่างสวยงามยิ่งขึ้น” เขากล่าวอธิบาย

Helen Toner ผู้เชี่ยวชาญด้านการกำกับดูแล AI จากศูนย์ความปลอดภัยและเทคโนโลยีเกิดใหม่ ให้ความเห็นว่าโซลูชันของ Flower AI "อาจส่งผลกระทบอย่างมีนัยสำคัญต่อการแข่งขันและการกำกับดูแล AI" เธอชี้ให้เห็นว่า: "แม้ว่าการที่จะเทียบเคียงกับเทคโนโลยีที่ล้ำสมัยที่สุดนั้นยังคงเป็นเรื่องยาก แต่ก็นับว่ามีค่ามากในฐานะกลยุทธ์ที่ทำตามได้รวดเร็ว"

แบ่งแยกและพิชิต

แกนหลักของการฝึกอบรม AI แบบกระจายอำนาจนั้นอยู่ที่การสร้างตรรกะของการจัดสรรพลังในการประมวลผลขึ้นมาใหม่ การสร้างแบบจำลองภาษาขนาดใหญ่จำเป็นต้องป้อนข้อความจำนวนมากลงในระบบและปรับพารามิเตอร์เพื่อสร้างการตอบสนองที่มีประสิทธิผล ศูนย์ข้อมูลแบบดั้งเดิมจะแบ่งงานการฝึกอบรมไปยัง GPU ที่แตกต่างกันเพื่อการดำเนินการและรวมเข้าเป็นโมเดลหลักแบบรวมเป็นระยะๆ

เทคโนโลยีใหม่ช่วยให้การทำงานที่เคยทำในศูนย์ข้อมูลขนาดใหญ่สามารถกระจายไปยังอุปกรณ์ฮาร์ดแวร์ที่อยู่ห่างกันหลายไมล์และเชื่อมต่อด้วยเครือข่ายธรรมดาเท่านั้น

ยักษ์ใหญ่ในอุตสาหกรรมยังสำรวจการเรียนรู้แบบกระจายอีกด้วย เมื่อปีที่แล้วนักวิจัยของ Google ได้เสนอกรอบการทำงานใหม่ที่เรียกว่า "Distributed Path Combination" (DiPaCo) ซึ่งช่วยปรับปรุงประสิทธิภาพของการฝึกอบรมแบบกระจาย เพื่อการสร้างแบบจำลองเช่น Collective-1 Lane นักวิชาการชาวจีนและอังกฤษได้ร่วมกันพัฒนาเครื่องมือใหม่ที่เรียกว่า Photon ซึ่งใช้วิธีการแทนข้อมูลที่มีประสิทธิภาพมากขึ้นและโซลูชันการรวมการแบ่งปันการฝึกอบรม Lane ยอมรับว่าถึงแม้กระบวนการนี้จะช้ากว่าการฝึกอบรมแบบเดิม แต่ก็มีความยืดหยุ่นมากกว่า และสามารถเพิ่มการฝึกอบรมที่เร่งด้วยฮาร์ดแวร์ได้ตลอดเวลา Photon ได้รับการพัฒนาโดยนักวิจัยจากมหาวิทยาลัยไปรษณีย์และโทรคมนาคมปักกิ่งและมหาวิทยาลัยเจ้อเจียง และเปิดให้ใช้งานเป็นโอเพ่นซอร์สเมื่อเดือนที่แล้ว Vana พันธมิตรของ Flower AI กำลังพยายามให้ผู้ใช้สามารถแบ่งปันข้อมูลส่วนบุคคลกับผู้สร้าง AI ในรูปแบบใหม่ๆ ซอฟต์แวร์ของบริษัทช่วยให้ผู้ใช้สามารถมีส่วนร่วมด้วยข้อมูลส่วนตัวจากแพลตฟอร์มเช่น X และ Reddit ระบุการใช้งาน และยังรับรางวัลทางการเงินได้อีกด้วย

แอนนา คาซเลาสคัส ผู้ร่วมก่อตั้งบริษัทวานา กล่าวว่า การเคลื่อนไหวครั้งนี้มีจุดมุ่งหมายเพื่อแตะศักยภาพของข้อมูลที่ยังไม่ได้ถูกใช้ประโยชน์ พร้อมทั้งให้ผู้ใช้ควบคุมได้มากขึ้น “นี่เป็นครั้งแรกที่ข้อมูลที่ไม่เป็นสาธารณะเหล่านี้ ซึ่งโดยปกติแล้วจะไม่มีให้สำหรับโมเดล AI จะถูกนำมาใช้สำหรับการฝึกอบรมโมเดลขั้นพื้นฐาน และผู้ใช้สามารถเป็นเจ้าของสิทธิและผลประโยชน์ของโมเดลที่สร้างขึ้นด้วยข้อมูลของตนเองได้” เธอกล่าวเน้นย้ำ

Mirco Musolesi นักวิทยาศาสตร์คอมพิวเตอร์จาก University College London ชี้ให้เห็นว่าคุณค่าสำคัญของการฝึกอบรมแบบกระจายอยู่ที่การปลดล็อกข้อมูลประเภทใหม่ "การนำไปใช้กับโมเดลที่ล้ำสมัยทำให้ภาคอุตสาหกรรม AI สามารถใช้ข้อมูลที่ละเอียดอ่อนแบบกระจายอำนาจในสาขาต่างๆ เช่น การแพทย์และการเงิน เพื่อการฝึกอบรมได้ ในขณะที่หลีกเลี่ยงความเสี่ยงจากการรวมศูนย์ข้อมูล"

ลิงก์ต้นฉบับ

ยินดีต้อนรับสู่ชุมชนทางการของ BlockBeats:

กลุ่ม Telegram สมัครสมาชิก: https://t.me/theblockbeats

กลุ่ม Telegram พูดคุย: https://t.me/BlockBeats_App

บัญชี Twitter ทางการ: https://twitter.com/BlockBeatsAsia