Gradient Descent คืออะไร? ขั้นตอนวิธีปรับน้ำหนักให้ข้อผิดพลาดลดลง

Updated · By Viviai

Gradient Descent หรือการเคลื่อนลงตามความชัน คือขั้นตอนวิธีเพิ่มประสิทธิภาพที่ใช้หาค่าต่ำสุดของฟังก์ชัน โดยคำนวณความชัน ณ จุดที่อยู่ แล้วเคลื่อนที่ไปทิศตรงข้ามกับความชันซ้ำ ๆ จนค่าฟังก์ชันลดลงและลู่เข้าสู่จุดที่ต้องการ เป็นวิธีที่มักใช้ปรับน้ำหนักของโครงข่ายประสาทเทียม ร่วมกับแบ็กพร็อพ

ภาพรวมของแนวคิด

ลองนึกภาพคนตาบอดยืนอยู่บนเนินเขาและต้องการลงไปยังหุบเขา ที่มองไม่เห็นเส้นทาง แต่สามารถสัมผัสได้ว่าพื้นลาดไปทางไหน คนคนนั้นจะก้าวลงตามทิศที่ลาดชันที่สุด แล้วหยุดพักสัมผัสความชันใหม่ ทำซ้ำไปเรื่อย ๆ ก็จะค่อย ๆ ลงถึงจุดต่ำได้ Gradient descent ทำงานแบบเดียวกัน แต่ใช้ค่าความชันทางคณิตศาสตร์แทนการสัมผัสพื้น

ความชันบอกทิศทางที่ฟังก์ชันเพิ่มขึ้นเร็วที่สุด การเคลื่อนที่สวนทางจึงเป็นการลดค่าฟังก์ชัน

ขั้นตอนการทำงาน

  1. กำหนดค่าเริ่มต้นของพารามิเตอร์ อาจสุ่มหรือกำหนดเอง
  2. คำนวณความชันของฟังก์ชันต้นทุนเทียบกับพารามิเตอร์ ณ จุดปัจจุบัน
  3. ปรับพารามิเตอร์ไปทิศตรงข้ามความชันตามขนาดก้าวที่กำหนด
  4. ทำซ้ำจนกว่าความชันเข้าใกล้ศูนย์หรือครบจำนวนรอบที่วางไว้

การปรับแต่ละก้าวเขียนได้เป็น:

[ \theta_{\text{ใหม่}} = \theta - \alpha \frac{\partial L}{\partial \theta} ]

โดย (\alpha) คืออัตราการเรียนรู้ หรือขนาดของก้าวที่เคลื่อนที่ในแต่ละรอบ

บทบาทของอัตราการเรียนรู้

อัตราการเรียนรู้ ผลที่เกิดขึ้น
เล็กเกินไป ลู่เข้าช้า ต้องใช้จำนวนรอบมาก
เหมาะสม ค่อย ๆ ลดค่าฟังก์ชันอย่างมีเสถียรภาพ
ใหญ่เกินไป อาจกระโดดข้ามจุดต่ำสุดและลู่ออกได้

อัตราการเรียนรู้ไม่ใช่ค่าคงที่ที่เหมาะกับทุกปัญหา หลายงานเริ่มจากค่าหนึ่งแล้วค่อยปรับให้เล็กลงเมื่อเข้าใกล้จุดหมาย

รูปแบบที่นิยมใช้

รูปแบบ ลักษณะ ข้อสังเกต
Batch gradient descent ใช้ข้อมูลทั้งหมดก่อนอัปเดตหนึ่งครั้ง เสถียรแต่หนักเมื่อข้อมูลใหญ่
Stochastic gradient descent (SGD) อัปเดตทีละตัวอย่าง เร็วและสุ่ม แต่เส้นทางแกว่งได้
Mini-batch gradient descent อัปเดตเป็นชุดย่อย ทางสายกลางที่นิยมใช้ในงานจริง

Mini-batch ช่วยสมดุลระหว่างความเสถียรของการคำนวณทั้งชุดกับความรวดเร็วของการอัปเดตถี่ ๆ แบ็กพร็อพจะช่วยคำนวณความชันให้ในแต่ละรอบ

ความท้าทายที่พบบ่อย

เทคนิคสมัยใหม่ เช่น ตัวเพิ่มประสิทธิภาพที่ปรับอัตราการเรียนรู้เอง และการทำให้เป็นมาตรฐานของข้อมูล ช่วยลดปัญหาเหล่านี้

ความสัมพันธ์กับแบ็กพร็อพ

ทั้งสองแนวคิดมักถูกกล่าวถึงคู่กันแต่คนละหน้าที่:

กล่าวอย่างย่อ แบ็กพร็อพให้ข้อมูลทิศทาง ส่วนการเคลื่อนลงตามความชันลงมือปรับค่า

การใช้งานนอกเหนือจากโครงข่ายประสาท

แม้จะเป็นที่รู้จักในการเรียนรู้เชิงลึก แต่หลักการนี้ใช้กับปัญหาเพิ่มประสิทธิภาพทั่วไปที่ฟังก์ชันสามารถหาอนุพันธ์ได้ เช่น การปรับพารามิเตอร์ของแบบจำลองสถิติหรือการถดถอย ส่วนการทำให้เป็นปกติ มักถูกเพิ่มเข้าไปในฟังก์ชันต้นทุนเพื่อควบคุมความซับซ้อนของแบบจำลอง

คำถามที่พบบ่อย

Gradient descent ใช้ทำอะไร?

ใช้หาพารามิเตอร์ที่ทำให้ฟังก์ชันต้นทุนมีค่าต่ำ โดยเคลื่อนที่สวนทางกับความชันในแต่ละรอบ

อัตราการเรียนรู้คืออะไร?

คือขนาดของก้าวที่ใช้ปรับพารามิเตอร์ ค่าเล็กไปทำให้ช้า ค่าใหญ่ไปอาจทำให้เลยจุดและไม่เสถียร

SGD ต่างจากแบบใช้ข้อมูลทั้งชุดอย่างไร?

SGD อัปเดตตามตัวอย่างหรือชุดย่อย ทำให้อัปเดตถี่และเร็วขึ้น แต่เส้นทางอาจแกว่งกว่าการใช้ข้อมูลทั้งหมดในคราวเดียว

เหตุใดจึงอาจติดค่าต่ำสุดเฉพาะที่?

เพราะเมื่อความชันเป็นศูนย์ ขั้นตอนวิธีจะหยุดเคลื่อนที่ ทั้งที่อาจยังมีจุดต่ำกว่าในบริเวณอื่นของฟังก์ชัน

แบ็กพร็อพกับ gradient descent เหมือนกันไหม?

ไม่เหมือน แบ็กพร็อพคำนวณความชันของข้อผิดพลาด ส่วน gradient descent ใช้ความชันนั้นปรับพารามิเตอร์

ขั้นตอนถัดไป

เพื่อให้เห็นภาพครบ ควรอ่านเรื่องการแพร่กระจายย้อนกลับคืออะไร และโครงข่ายประสาทเทียมคืออะไร จากนั้นศึกษาตัวเพิ่มประสิทธิภาพที่ปรับอัตราการเรียนรู้เองและบทบาทของฟังก์ชันต้นทุน

Sources

  1. https://th.wikipedia.org/wiki/การเคลื่อนลงตามความชัน
  2. https://en.wikipedia.org/wiki/Gradient_descent

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free