Regularization คืออะไร? การป้องกัน Overfitting สำหรับมือใหม่

Updated · By Viviai

Regularization (การเรกูลาไรซ์) คือเทคนิคที่จำกัดขนาดของค่าน้ำหนักในโมเดลโดยเพิ่มค่าเสียหายตามค่าน้ำหนักเข้าไปในฟังก์ชันสูญเสีย เพื่อป้องกันการเรียนรู้เกิน (overfitting) และช่วยให้โมเดลทำงานกับข้อมูลใหม่ได้ดีขึ้น

ภาษาง่าย ๆ

เมื่อโมเดลฟิตแน่นเกินไป มันจะจดจำสัญญาณรบกวนในข้อมูลฝึกอบรมและให้ค่าน้ำหนักสูงแก่หลาย ๆ คุณลักษณะ การเรกูลาไรซ์ทำหน้าที่ถ่วงไม่ให้ค่าน้ำหนักโตเกินควร ทำให้เส้นแบ่งเขตเรียบและกว้างขึ้น บทความนี้ต่อยอดจากเรื่อง overfitting ซึ่งควรอ่านก่อน

แนวคิดหลัก

ค่าเสียหายเดิมของโมเดลมาจากเอนโทรปีไขว้ หรือค่าเฉลี่ยผลรวมความคลาดเคลื่อนกำลังสอง การเรกูลาไรซ์จะบวกค่าเสียหายอีกส่วนหนึ่งตามค่าน้ำหนักเข้าไป ยิ่งน้ำหนักมาก ค่าเสียหายส่วนนี้ยิ่งมาก จึงกดดันให้โมเดลเลือกน้ำหนักที่เล็กลง

L1 และ L2 ต่างกันอย่างไร

ประเภท วิธีคิดค่าเสียหาย ผลต่อค่าน้ำหนัก
L2 ตามน้ำหนักยกกำลังสอง ลดน้ำหนักให้เล็กลงแต่ไม่ค่อยเป็นศูนย์
L1 ตามค่าสัมบูรณ์ของน้ำหนัก ผลักน้ำหนักบางส่วนให้เป็นศูนย์ได้

L2

L2 คิดค่าเสียหายเพิ่มตามค่าน้ำหนักยกกำลังสอง:

[ J_+ = \frac{\lambda}{n}\sum_{j=1}^{m} w_j^2 ]

L1

L1 คิดค่าเสียหายเพิ่มตามค่าสัมบูรณ์ของน้ำหนัก:

[ J_+ = \frac{\lambda}{n}\sum_{j=1}^{m} |w_j| ]

บทบาทของพารามิเตอร์ λ

สัญลักษณ์ ( \lambda ) คือขนาดของการเรกูลาไรซ์ ถ้ามากจะยิ่งถ่วงให้น้ำหนักเพิ่มสูงได้ยาก และถ้าเป็นศูนย์จะกลายเป็นการฝึกแบบไม่มีเรกูลาไรซ์ ค่าของ ( \lambda ) จึงเป็นพารามิเตอร์สำคัญที่ต้องเลือกให้เหมาะกับข้อมูล เช่น ผ่านการลองหลายค่าและเปรียบเทียบกับชุดตรวจสอบ

การปรับน้ำหนักในแต่ละรอบ

ค่าน้ำหนักที่แก้ในแต่ละรอบขึ้นกับอนุพันธ์ของค่าเสียหายส่วนนี้ ในกรณี L2 คำนวณอนุพันธ์ได้เป็น:

[ \frac{\partial J_+}{\partial w_j} = \frac{2\lambda}{n}w_j ]

ส่วน L1 เป็นฟังก์ชันไม่ต่อเนื่องที่ศูนย์ จึงต้องแยกพิจารณาตามเครื่องหมายของน้ำหนัก เมื่อรวมกับขั้นตอนการลดตามค่าการไล่ระดับ น้ำหนักจะถูกดึงเข้าหาศูนย์ทีละน้อย ซึ่ง L2 มักเรียกอีกอย่างว่า weight decay

L1 ช่วยคัดเลือกคุณลักษณะ

เนื่องจาก L1 สามารถผลักน้ำหนักบางส่วนให้เป็นศูนย์ได้ คุณลักษณะที่น้ำหนักเป็นศูนย์จะไม่ถูกใช้ในการทำนาย จึงช่วยคัดเลือกคุณลักษณะที่สำคัญขึ้นโดยปริยาย ส่วน L2 มักกระจายการลดน้ำหนักไปหลายคุณลักษณะและให้ค่าที่เสถียรกว่า

ข้อจำกัด

การเรกูลาไรซ์ไม่ได้ช่วยแก้ทุกปัญหา หากตั้ง ( \lambda ) สูงเกินไป โมเดลอาจถูกจำกัดมากจนจับรูปแบบสำคัญไม่ได้และกลายเป็น underfitting การเลือกประเภทและระดับที่เหมาะสมจึงต้องตรวจสอบกับข้อมูลจริง

FAQ

Regularization คืออะไร สั้น ๆ?

เทคนิคเพิ่มค่าเสียหายตามค่าน้ำหนักเพื่อจำกัดความซับซ้อนและป้องกัน overfitting

L1 และ L2 ต่างกันอย่างไร?

L2 ใช้กำลังสองของน้ำหนัก ส่วน L1 ใช้ค่าสัมบูรณ์และสามารถทำให้น้ำหนักเป็นศูนย์ได้

พารามิเตอร์ λ ทำหน้าที่อะไร?

ควบคุมความเข้มของการเรกูลาไรซ์ ยิ่งมากยิ่งกดน้ำหนักให้เล็กลง

เกิดอะไรขึ้นถ้าใช้ λ สูงเกินไป?

โมเดลอาจง่ายเกินไป จับรูปแบบสำคัญไม่ได้และเกิด underfitting

สรุป

อ่านต่อ [machine learning คืออะไร](machine-learning-khue-arai) และ [overfitting คืออะไร](overfitting-khue-arai)


หมายเหตุบรรณาธิการ: บทความนี้ผ่านการตรวจสอบข้ามแหล่งแล้วด้วยแหล่งอิสระสองแหล่งจากผู้เผยแพร่ต่างกัน (แหล่งภาษาไทยเดิมและ IBM Think) แต่ยังรอการตรวจทานจากเจ้าของภาษาก่อนเลื่อนสถานะเป็นทางการ

Sources

  1. https://phyblas.hinaboshi.com/20170928
  2. https://www.ibm.com/think/topics/regularization

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free