Hyperparameter คืออะไร? ค่าที่ตั้งก่อนฝึกและควบคุมว่าโมเดลจะเรียนอย่างไร
Hyperparameter (ไฮเปอร์พารามิเตอร์) คือ ค่าที่เราตั้งขึ้นก่อนเริ่มฝึกโมเดล เพื่อกำหนดลักษณะของกระบวนการเรียนรู้ เช่น ความเร็วในการปรับพารามิเตอร์ จำนวนรอบฝึก หรือจำนวนกลุ่ม มันต่างจากพารามิเตอร์ภายในที่โมเดลปรับเองจากข้อมูล โดยเราจะเลือกไฮเปอร์พารามิเตอร์ก่อน แล้วโมเดลจึงเรียนพารามิเตอร์ภายในให้เหมาะสม
ไฮเปอร์พารามิเตอร์คืออะไร
ในการฝึกการเรียนรู้ของเครื่องมีค่าสองระดับที่ควรแยกกัน:
- พารามิเตอร์ (Parameter): ค่าภายในโมเดลที่ถูกปรับเองระหว่างฝึก เช่น ค่าน้ำหนักในโครงข่ายประสาทเทียม
- ไฮเปอร์พารามิเตอร์ (Hyperparameter): ค่าที่เราตั้งก่อนฝึกเพื่อควบคุมวิธีเรียนรู้
ลองนึกภาพการอบขนม: พารามิเตอร์คือสิ่งที่เปลี่ยนไปในเตาอบตามธรรมชาติ ส่วนไฮเปอร์พารามิเตอร์คืออุณหภูมิและเวลาที่เราตั้งก่อนเริ่ม
ตัวอย่างไฮเปอร์พารามิเตอร์
- อัตราการเรียนรู้ (Learning rate): ควบคุมว่าแต่ละรอบจะปรับพารามิเตอร์มากเพียงใด
- จำนวนรอบฝึก (Epoch): จำนวนครั้งที่โมเดลเห็นข้อมูลทั้งชุด
- ขนาดกลุ่มย่อย (Batch size): จำนวนตัวอย่างที่ใช้ต่อหนึ่งการปรับ
- จำนวนกลุ่ม (k): ในK-meansต้องกำหนดล่วงหน้า
- จำนวนชั้นและโหนด: ในโครงข่ายประสาทลึก
ปรับไฮเปอร์พารามิเตอร์อย่างไร
การเลือกค่าที่เหมาะสมเรียกว่าการจูน (tuning) โดยลองหลายชุดแล้ววัดผล:
Grid Search
กำหนดค่าที่จะลองเป็นตาราง แล้วทดสอบทุกชุดผสม ง่ายต่อการจัดระเบียบแต่อาจใช้เวลามากเมื่อมีหลายปัจจัย
Random Search
สุ่มเลือกค่าภายในช่วงที่กำหนด มักคุ้มค่ากว่าเมื่อมีไฮเปอร์พารามิเตอร์หลายตัว
การใช้การตรวจสอบข้าม
เพื่อไม่ให้ผลลำเอียงจากการแบ่งข้อมูลชุดเดียว มักใช้ cross-validation ประเมินแต่ละชุดค่า แล้วเลือกชุดที่ให้ผลสม่ำเสมอที่สุด
ตารางขั้นตอน
| ขั้น | การกระทำ |
|---|---|
| 1 | เลือกไฮเปอร์พารามิเตอร์และช่วงค่า |
| 2 | ลองหลายชุดด้วย grid หรือ random search |
| 3 | ประเมินด้วย cross-validation |
| 4 | เลือกชุดที่ให้ผลดีแล้วฝึกใหม่ |
ทำไมสำคัญ
- ค่าที่ตั้งไม่เหมาะอาจทำให้โมเดลเรียนช้า ไม่ลดฟังก์ชันการสูญเสียหรือไม่เข้าสู่การเคลื่อนลงตามความชันที่ดี
- การจูนช่วยให้ความสมดุลระหว่างความแม่นยำและการนำไปใช้กับข้อมูลใหม่
- ค่าที่ทำให้ชุดฝึกดีมากเกินไปอาจนำไปสู่ภาวะโอเวอร์ฟิตติ้ง
ข้อควรระวัง
- การลองทุกชุดผสมอาจใช้เวลาและทรัพยากรสูง
- ไม่ควรจูนบนข้อมูลทดสอบชุดเดียวกับที่ใช้ตัดสินผลสุดท้าย
- ช่วงค่าที่ดีขึ้นกับขนาดข้อมูลและชนิดโมเดล
- ผลดีบนชุดฝึกอย่างเดียวไม่เพียงพอ ต้องดูข้อมูลที่โมเดลไม่เคยเห็น
FAQ
ไฮเปอร์พารามิเตอร์ต่างจากพารามิเตอร์อย่างไร?
ไฮเปอร์พารามิเตอร์ตั้งก่อนฝึก ส่วนพารามิเตอร์เป็นค่าภายในที่โมเดลปรับเองจากข้อมูลระหว่างฝึก
ตัวอย่างไฮเปอร์พารามิเตอร์มีอะไรบ้าง?
เช่น learning rate, epoch, batch size, จำนวนกลุ่ม (k) และจำนวนชั้นของโครงข่าย
Grid Search คืออะไร?
วิธีลองทุกชุดค่าที่กำหนดไว้ในตาราง ใช้งานง่ายแต่อาจเสียเวลามากเมื่อปัจจัยเยอะ
ทำไมต้องใช้ cross-validation?
เพื่อประเมินแต่ละชุดค่าหลายรอบ ลดความลำเอียงจากการแบ่งข้อมูลชุดเดียว
จูนมากเกินไปมีผลเสียไหม?
มี อาจทำให้โมเดลปรับเข้ากับข้อมูลเฉพาะมากเกินไปและเกิด overfitting กับข้อมูลใหม่
สรุป
- ไฮเปอร์พารามิเตอร์คือค่าที่ตั้งก่อนฝึกเพื่อควบคุมการเรียนรู้
- ต่างจากพารามิเตอร์ภายในที่โมเดลปรับเอง
- ตัวอย่าง ได้แก่ learning rate, epoch, batch size และจำนวนกลุ่ม
- การจูนใช้ grid search, random search และ cross-validation
- ช่วยให้โมเดลเรียนได้ดีและลดความเสี่ยง overfitting
- ควรประเมินบนข้อมูลที่ไม่เคยใช้ฝึก
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free