วิธีทำวิจัยให้ดี: ฝึกฝนความสามารถที่แท้จริงที่สามารถ "ฝึกฝนอย่างตั้งใจ" ได้

อ่านบทความนี้ใน 18 นาที

ทักษะการวิจัยไม่ใช่พรสวรรค์ แต่เป็นชุดทักษะเล็กๆ ที่สามารถฝึกฝนได้อย่างตั้งใจ

หัวข้อต้นฉบับ: วิธีเก่งในการวิจัย

ผู้เขียนต้นฉบับ: vivek นักวิเคราะห์ AI

ผู้แปลต้นฉบับ: พี่ฝึกหัด MinLi ผู้สร้าง AI

ไม่มีใครเคยสอนคุณจริงๆ ว่าต้องทำวิจัยอย่างไร คุณแค่ได้โต๊ะทำงาน ปัญหาที่คนอื่นเลือกไว้ให้ และคำสั่งคลุมเครือว่า "สร้างสิ่งใหม่ๆ"

ดังนั้น คนส่วนใหญ่จึงถอดรหัสงานนี้จากสิ่งที่พวกเขาเห็น (เช่น เอกสารวิชาการ โพสต์ และประกาศ) และสุดท้ายพวกเขาก็เรียนรู้แค่วิธี "ดูเหมือน" นักวิจัย ไม่ใช่วิธี "เป็น" นักวิจัย ความสามารถในการวิจัยที่แท้จริงคือการสะสมทักษะเล็กๆ น้อยๆ หลายอย่าง และเกือบทุกทักษะสามารถพัฒนาได้ผ่านการฝึกฝนอย่างตั้งใจ

เลือกปัญหาของคุณเอง

Richard Hamming มีนิสัยที่ทำให้เขาไม่เป็นที่นิยมในช่วงพักเที่ยงที่ Bell Labs เขาจะถามคนที่นั่งข้างๆ ว่าปัญหาสำคัญในสาขาของพวกเขาคืออะไร แล้วถามว่าทำไมพวกเขาถึงไม่ศึกษาปัญหาเหล่านั้น ทุกคนจึงเปลี่ยนโต๊ะกินข้าว

คำถามนี้เจ็บปวด เพราะพวกเราส่วนใหญ่ให้คำตอบที่ดีไม่ได้ เราไม่ได้เลือกปัญหา แต่เรากำลังดูดซับปัญหา—จากอาจารย์ที่ปรึกษา จากประกาศของห้องปฏิบัติการใหญ่ๆ ในไตรมาสที่แล้ว จากเอกสารที่ทุกคนแชร์และอ้างถึงในสัปดาห์นี้

ปัญหาของการดูดซับปัญหาคือ คุณมีแค่ข้อสรุป แต่ไม่รู้ตรรกะเบื้องหลัง คุณรู้ว่าห้องปฏิบัติการชื่อดังบางแห่งสนใจทิศทางหนึ่ง แต่คุณไม่รู้ว่าทำไม ไม่รู้ว่าพวกเขาคาดหวังจะค้นพบอะไร และไม่รู้ว่าสถานการณ์ใดจะทำให้พวกเขาละทิ้งทิศทางนั้น

เมื่อพวกเขาเปลี่ยนทิศทาง คุณจะรู้ตัวอีกทีก็หนึ่งปีให้หลัง และในปัญหาที่กำลังเป็นที่นิยม คุณกำลังแข่งกับคน 1,000 คนที่เริ่มก่อนคุณและมีพลังการคำนวณมากกว่า

คู่มือการวิจัย Machine Learning ของ John Schulman แบ่งงานนี้ออกเป็นสองรูปแบบ รูปแบบแรก คุณอ่านวรรณกรรมและมองหาจุดที่ปรับปรุงได้ รูปแบบที่สอง คุณเลือกผลลัพธ์ที่คุณปรารถนาอย่างแท้จริง แล้วย้อนกลับไปออกแบบการทดลอง

เขาแนะนำรูปแบบที่สอง เหตุผลที่ซ่อนอยู่คือมันสร้างความแปลกใหม่ เป้าหมายที่คุณใส่ใจจริงๆ จะลากคุณไปสู่ดินแดนที่ไม่มีเอกสารทบทวนวรรณกรรมใดเคยครอบคลุม

ส่วน "รสนิยม" (taste) คนมักพูดถึงมันเหมือนเป็นพรสวรรค์ แต่มันแสดงออกเหมือนกล้ามเนื้อมากกว่า

ก่อนเริ่มการทดลองแต่ละครั้ง ให้ลองทำนายผลลัพธ์ก่อน ปกปิดส่วนผลลัพธ์ของบทความทางวิชาการ แล้วเดาข้อมูลจากวิธีการเพียงอย่างเดียว จดบันทึกผลงานที่เผยแพร่ในเดือนนี้ซึ่งยังคงมีความสำคัญในอีกสองปีข้างหน้า แล้วกลับมาตรวจสอบอัตราการทำนายที่ถูกต้องของคุณในภายหลัง การทำนายหนึ่งครั้งบวกกับการแก้ไขหนึ่งครั้ง ทำซ้ำหลายร้อยครั้ง — นี่คือวิธีที่โมเดลที่ดีทุกตัวถูกฝึกฝน รวมถึงโมเดลในสมองของคุณด้วย

อัปเกรดอินพุตของคุณ

รายการอ่านที่ใช้ร่วมกันสร้างแนวคิดที่ใช้ร่วมกัน หากแหล่งข้อมูลข่าวสารของคุณเป็นเพียงรายการยอดนิยมจาก arXiv บวกกับสิ่งที่เหลืออยู่หลังจากการคัดกรองในกลุ่มแชท คุณจะได้ข้อสรุปเดียวกันกับทุกคนในเวลาเดียวกัน ซึ่งทำให้ข้อสรุปเหล่านี้แทบไม่มีค่า

คุณค่าของข้อมูลเก่าถูกประเมินต่ำเกินไปอย่างรุนแรง สาขานี้มักจะเล่นซ้ำอดีตของตัวเองด้วยความล่าช้า: Mixture of Experts (MoE) ย้อนกลับไปถึงปี 1991, LSTM ถึงปี 1997, และ backpropagation กลายเป็นกระแสหลักในปี 1986

ริช ซัตตัน (Rich Sutton) เขียน "The Bitter Lesson" ในปี 2019 ด้วยตัวอักษรเพียงพันกว่าตัว และการทำนายวิถีการพัฒนาของสาขานี้แม่นยำกว่าบทความทบทวนที่ยาวกว่าสิบเท่า คล็อด แชนนอน (Claude Shannon) เคยบรรยายเกี่ยวกับความคิดสร้างสรรค์ในปี 1952 กลยุทธ์แรกของเขาคือการย่อปัญหาให้เล็กจนแทบไม่มีความสำคัญ แก้ปัญหาที่ถูกย่อนี้ แล้วค่อยๆ เพิ่มความยากกลับเข้าไปทีละน้อย

แค่กลยุทธ์นี้เพียงอย่างเดียวก็ช่วยให้คุณทะลุกำแพงได้มากกว่าคำแนะนำด้านประสิทธิภาพการทำงานสมัยใหม่ใดๆ

ความกว้างและความลึกมีความสำคัญเท่าเทียมกัน การวิจัยด้านการตีความ (Interpretability) ยืมแนวคิดจากประสาทวิทยาศาสตร์อย่างไม่ปิดบัง การออกแบบการประเมิน (Eval) คือการออกแบบกลไกที่สวมเสื้อคลุมสีขาว แค่มีความรู้เชิงปฏิบัติว่า GPU ย้ายหน่วยความจำอย่างไร คุณก็สามารถตัดสินได้ก่อนที่ผลการทดสอบมาตรฐานจะออกมาว่าบทความเกี่ยวกับสถาปัตยกรรมใดจะล้มเหลว และสถิติที่ซื่อสัตย์อาจเป็นทักษะที่หายากที่สุดในสาขา machine learning ที่นี่ "ความเข้มงวด" ที่เผยแพร่ต่อสาธารณะจำนวนมากเป็นเพียง "ความรู้สึก" ที่มีแถบความคลาดเคลื่อน

อีกสิ่งหนึ่ง ไปอ่านบทความต้นฉบับ ไม่ใช่โพสต์สรุป ภาคผนวกคือที่ที่ซ่อนความลับ และส่วน "ข้อจำกัด" มักจะเป็นส่วนที่ซื่อสัตย์ที่สุดในเอกสารทั้งหมด

เขียนทุกอย่างลงไป

พอล เกรแฮม (Paul Graham) ชี้ให้เห็นว่า ความคิดมักจะรู้สึกว่าสมบูรณ์แบบแล้วก่อนที่คุณจะพยายามแปลงเป็นตัวอักษร แต่การเขียนลงบนกระดาษจะเปิดเผยช่องโหว่ที่สมองของคุณปิดบังไว้: สมมติฐานที่คุณไม่เคยทดสอบ ขั้นตอนที่ไม่สอดคล้องกันจริงๆ หรือข้ออ้างสองข้อที่ขัดแย้งกันอย่างเงียบๆ

หลักการของฟายน์แมน (Feynman) คือ คนแรกที่คุณต้องหลีกเลี่ยงการหลอกลวงคือตัวคุณเอง เพราะคุณคือเป้าหมายที่ง่ายที่สุดที่จะถูกหลอก การเขียนเป็นกลไกป้องกันที่ถูกที่สุดที่เคยถูกประดิษฐ์ขึ้นมา

ดาร์วิน (Darwin) ไปไกลกว่านั้น โดยเขาทำให้มันเป็นระบบ: ข้อเท็จจริงใดๆ ที่ขัดแย้งกับทฤษฎีของเขาจะถูกบันทึกทันที เพราะเขาค้นพบว่าความจำของเขาลบหลักฐานที่ไม่เป็นประโยชน์ได้เร็วกว่าหลักฐานที่เป็นประโยชน์มาก เช่นเดียวกับที่ความจำของคุณทำกับบันทึกความล้มเหลวของคุณ

จงรักษานิสัยการจดบันทึก: สมมติฐาน การตั้งค่า ความคาดหวัง ผลลัพธ์ ความรู้ที่อัปเดต การอ่านบันทึกของเดือนก่อนจะทำให้คุณรู้สึกถ่อมตนอย่างที่สุด ไม่มีผู้ตรวจสอบคนไหนให้ผลแบบนี้ได้