Regularization คืออะไร? การป้องกัน Overfitting สำหรับมือใหม่
Regularization (การเรกูลาไรซ์) คือเทคนิคที่จำกัดขนาดของค่าน้ำหนักในโมเดลโดยเพิ่มค่าเสียหายตามค่าน้ำหนักเข้าไปในฟังก์ชันสูญเสีย เพื่อป้องกันการเรียนรู้เกิน (overfitting) และช่วยให้โมเดลทำงานกับข้อมูลใหม่ได้ดีขึ้น
ภาษาง่าย ๆ
เมื่อโมเดลฟิตแน่นเกินไป มันจะจดจำสัญญาณรบกวนในข้อมูลฝึกอบรมและให้ค่าน้ำหนักสูงแก่หลาย ๆ คุณลักษณะ การเรกูลาไรซ์ทำหน้าที่ถ่วงไม่ให้ค่าน้ำหนักโตเกินควร ทำให้เส้นแบ่งเขตเรียบและกว้างขึ้น บทความนี้ต่อยอดจากเรื่อง overfitting ซึ่งควรอ่านก่อน
แนวคิดหลัก
ค่าเสียหายเดิมของโมเดลมาจากเอนโทรปีไขว้ หรือค่าเฉลี่ยผลรวมความคลาดเคลื่อนกำลังสอง การเรกูลาไรซ์จะบวกค่าเสียหายอีกส่วนหนึ่งตามค่าน้ำหนักเข้าไป ยิ่งน้ำหนักมาก ค่าเสียหายส่วนนี้ยิ่งมาก จึงกดดันให้โมเดลเลือกน้ำหนักที่เล็กลง
L1 และ L2 ต่างกันอย่างไร
| ประเภท | วิธีคิดค่าเสียหาย | ผลต่อค่าน้ำหนัก |
|---|---|---|
| L2 | ตามน้ำหนักยกกำลังสอง | ลดน้ำหนักให้เล็กลงแต่ไม่ค่อยเป็นศูนย์ |
| L1 | ตามค่าสัมบูรณ์ของน้ำหนัก | ผลักน้ำหนักบางส่วนให้เป็นศูนย์ได้ |
L2
L2 คิดค่าเสียหายเพิ่มตามค่าน้ำหนักยกกำลังสอง:
[ J_+ = \frac{\lambda}{n}\sum_{j=1}^{m} w_j^2 ]
L1
L1 คิดค่าเสียหายเพิ่มตามค่าสัมบูรณ์ของน้ำหนัก:
[ J_+ = \frac{\lambda}{n}\sum_{j=1}^{m} |w_j| ]
บทบาทของพารามิเตอร์ λ
สัญลักษณ์ ( \lambda ) คือขนาดของการเรกูลาไรซ์ ถ้ามากจะยิ่งถ่วงให้น้ำหนักเพิ่มสูงได้ยาก และถ้าเป็นศูนย์จะกลายเป็นการฝึกแบบไม่มีเรกูลาไรซ์ ค่าของ ( \lambda ) จึงเป็นพารามิเตอร์สำคัญที่ต้องเลือกให้เหมาะกับข้อมูล เช่น ผ่านการลองหลายค่าและเปรียบเทียบกับชุดตรวจสอบ
การปรับน้ำหนักในแต่ละรอบ
ค่าน้ำหนักที่แก้ในแต่ละรอบขึ้นกับอนุพันธ์ของค่าเสียหายส่วนนี้ ในกรณี L2 คำนวณอนุพันธ์ได้เป็น:
[ \frac{\partial J_+}{\partial w_j} = \frac{2\lambda}{n}w_j ]
ส่วน L1 เป็นฟังก์ชันไม่ต่อเนื่องที่ศูนย์ จึงต้องแยกพิจารณาตามเครื่องหมายของน้ำหนัก เมื่อรวมกับขั้นตอนการลดตามค่าการไล่ระดับ น้ำหนักจะถูกดึงเข้าหาศูนย์ทีละน้อย ซึ่ง L2 มักเรียกอีกอย่างว่า weight decay
L1 ช่วยคัดเลือกคุณลักษณะ
เนื่องจาก L1 สามารถผลักน้ำหนักบางส่วนให้เป็นศูนย์ได้ คุณลักษณะที่น้ำหนักเป็นศูนย์จะไม่ถูกใช้ในการทำนาย จึงช่วยคัดเลือกคุณลักษณะที่สำคัญขึ้นโดยปริยาย ส่วน L2 มักกระจายการลดน้ำหนักไปหลายคุณลักษณะและให้ค่าที่เสถียรกว่า
ข้อจำกัด
การเรกูลาไรซ์ไม่ได้ช่วยแก้ทุกปัญหา หากตั้ง ( \lambda ) สูงเกินไป โมเดลอาจถูกจำกัดมากจนจับรูปแบบสำคัญไม่ได้และกลายเป็น underfitting การเลือกประเภทและระดับที่เหมาะสมจึงต้องตรวจสอบกับข้อมูลจริง
FAQ
Regularization คืออะไร สั้น ๆ?
เทคนิคเพิ่มค่าเสียหายตามค่าน้ำหนักเพื่อจำกัดความซับซ้อนและป้องกัน overfitting
L1 และ L2 ต่างกันอย่างไร?
L2 ใช้กำลังสองของน้ำหนัก ส่วน L1 ใช้ค่าสัมบูรณ์และสามารถทำให้น้ำหนักเป็นศูนย์ได้
พารามิเตอร์ λ ทำหน้าที่อะไร?
ควบคุมความเข้มของการเรกูลาไรซ์ ยิ่งมากยิ่งกดน้ำหนักให้เล็กลง
เกิดอะไรขึ้นถ้าใช้ λ สูงเกินไป?
โมเดลอาจง่ายเกินไป จับรูปแบบสำคัญไม่ได้และเกิด underfitting
สรุป
- การเรกูลาไรซ์เพิ่มค่าเสียหายตามค่าน้ำหนักเพื่อป้องกัน overfitting
- L2 ลดน้ำหนักด้วยกำลังสอง ส่วน L1 ใช้ค่าสัมบูรณ์และช่วยคัดเลือกคุณลักษณะ
- ( \lambda ) ควบคุมความเข้มและต้องเลือกให้เหมาะกับข้อมูล
- L2 ทำนองเดียวกับ weight decay ในการฝึกแบบไล่ระดับ
อ่านต่อ [machine learning คืออะไร](machine-learning-khue-arai) และ [overfitting คืออะไร](overfitting-khue-arai)
หมายเหตุบรรณาธิการ: บทความนี้ผ่านการตรวจสอบข้ามแหล่งแล้วด้วยแหล่งอิสระสองแหล่งจากผู้เผยแพร่ต่างกัน (แหล่งภาษาไทยเดิมและ IBM Think) แต่ยังรอการตรวจทานจากเจ้าของภาษาก่อนเลื่อนสถานะเป็นทางการ
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free