Backpropagation คืออะไร? วิธีที่โครงข่ายประสาทเรียนรู้จากข้อผิดพลาด
Backpropagation หรือการแพร่กระจายย้อนกลับ คือขั้นตอนวิธีฝึกโครงข่ายประสาทเทียม โดยคำนวณความชันของข้อผิดพลาดเทียบกับน้ำหนักแต่ละค่า แล้วส่งต่อข้อผิดพลาดจากชั้นสุดท้ายย้อนกลับไปยังชั้นแรกเพื่อปรับน้ำหนัก โดยทั่วไปใช้คู่กับการเคลื่อนลงตามความชัน และเป็นรากฐานของการเรียนรู้เชิงลึก
ปัญหาที่แบ็กพร็อพแก้ไข
โครงข่ายประสาทหลายชั้นมีน้ำหนักจำนวนมาก เมื่อแบบจำลองทำนายผิด หากมองเพียงผลลัพธ์สุดท้ายจะไม่ทราบว่าควรปรับน้ำหนักตัวใด การแพร่กระจายย้อนกลับช่วยตอบคำถามนี้ โดยวัดว่าน้ำหนักแต่ละค่ามีส่วนทำให้เกิดข้อผิดพลาดมากน้อยเพียงใด เพื่อปรับทิศทางที่จะช่วยลดข้อผิดพลาด
ชื่อภาษาอังกฤษมาจาก "backward propagation of errors" แปลว่าการส่งผ่านข้อผิดพลาดย้อนกลับ ข้อมูลยังคงไหลไปข้างหน้าตามปกติ แต่ข้อมูลเกี่ยวกับข้อผิดพลาดจะเดินทางย้อนกลับ
สองช่วงของหนึ่งรอบการฝึก
| ช่วง | ทิศทาง | หน้าที่หลัก |
|---|---|---|
| การแพร่ไปข้างหน้า (forward pass) | จากชั้นนำเข้าสู่ชั้นออก | คำนวณผลทำนายจากข้อมูลปัจจุบัน |
| การแพร่ย้อนกลับ (backward pass) | จากชั้นออกกลับชั้นนำเข้า | คำนวณความชันของข้อผิดพลาดต่อน้ำหนักแต่ละค่า |
เมื่อได้ความชันแล้ว ขั้นตอนวิธีเพิ่มประสิทธิภาพจะนำไปอัปเดตน้ำหนัก แบ็กพร็อพรับผิดชอบการหาความชัน ส่วนการอัปเดตเป็นหน้าที่ของตัวเพิ่มประสิทธิภาพ
ช่วงที่ 1: การแพร่ไปข้างหน้า
ข้อมูลไหลผ่านแต่ละชั้น โดยแต่ละเซลล์ประสาทรวมค่าน้ำหนักแล้วผ่านฟังก์ชันกระตุ้น โครงข่ายให้ผลทำนาย จากนั้นฟังก์ชันวัดข้อผิดพลาดจะเปรียบเทียบผลทำนายกับค่าที่ต้องการ แล้วสรุปออกมาเป็นค่าข้อผิดพลาดหนึ่งค่า ช่วงนี้ยังไม่มีการเปลี่ยนแปลงน้ำหนัก
ช่วงที่ 2: แพร่ย้อนกลับและอัปเดต
ข้อผิดพลาดที่ชั้นออกถูกส่งย้อนกลับไปยังชั้นซ่อนทีละชั้น ด้วยกฎลูกโซ่ของแคลคูลัส โครงข่ายจึงคำนวณความชันของข้อผิดพลาดเทียบกับน้ำหนักแต่ละค่าได้ เครื่องหมายของความชันบอกทิศทางที่ข้อผิดพลาดเพิ่มขึ้น น้ำหนักจึงถูกปรับไปในทิศตรงข้าม:
[ w_{\text{ใหม่}} = w - \eta \frac{\partial L}{\partial w} ]
โดย (\eta) คืออัตราการเรียนรู้ ซึ่งควบคุมว่าแต่ละก้าวจะปรับน้ำหนักมากหรือน้อย
ตัวอย่างที่เข้าใจง่าย
ลองนึกถึงสายการผลิตที่คนหลายคนส่งต่องานกัน แล้วคนสุดท้ายตรวจคุณภาพ เมื่อพบข้อผิดพลาด ผู้ตรวจจะไม่เพียงบอกว่าผิด แต่ยังย้อนดูทีละขั้นตอนว่าใครควรแก้ตรงไหน รอบถัดไปแต่ละคนจึงปรับงานของตนเล็กน้อย เมื่อทำซ้ำไปเรื่อย ๆ ข้อผิดพลาดก็ลดลง แบ็กพร็อพทำงานคล้ายกัน แต่เปลี่ยนคนเป็นน้ำหนัก และเปลี่ยนคำตักเตือนเป็นความชัน
เงื่อนไขที่จำเป็น
- ฟังก์ชันกระตุ้นต้องหาอนุพันธ์ได้ มิฉะนั้นจะไม่สามารถระบุทิศทางการปรับได้
- ต้องทราบผลลัพธ์ที่ต้องการสำหรับแต่ละตัวอย่างเพื่อคำนวณข้อผิดพลาด จึงมักจัดเป็นวิธีของการเรียนรู้แบบมีผู้สอน
- ข้อมูลและน้ำหนักถูกจัดในรูปแบบเทนเซอร์เพื่อให้คำนวณอนุพันธ์ได้รวดเร็วบนฮาร์ดแวร์แบบขนาน
แบ็กพร็อพสามารถใช้กับโครงข่ายที่ไม่มีผู้สอนได้ด้วย เช่น ออโตเอ็นโค้ดเดอร์ที่มีเป้าหมายในการสร้างข้อมูลนำเข้ากลับคืนมา
บทบาทของกฎลูกโซ่
เซลล์ประสาทแต่ละตัวเป็นข้อหนึ่งในห่วงโซ่การคำนวณ ข้อผิดพลาดสุดท้ายขึ้นอยู่กับชั้นออก ชั้นออกขึ้นอยู่กับชั้นก่อนหน้า และย้อนต่อไปเรื่อย ๆ กฎลูกโซ่จะคูณอนุพันธ์ของแต่ละข้อเข้าด้วยกัน เพื่อบอกว่าการเปลี่ยนแปลงเล็กน้อยของน้ำหนักตัวหนึ่งจะส่งผลต่อข้อผิดพลาดสุดท้ายอย่างไร ทำให้คำนวณความชันทั้งโครงข่ายได้ในรอบเดียว
ปัญหาที่มักพบ
- ความชันเลือนหาย (vanishing gradient): เมื่ออนุพันธ์ถูกคูณกันหลายชั้น ความชันอาจเข้าใกล้ศูนย์จนชั้นแรกแทบไม่เรียนรู้
- ความชันระเบิด (exploding gradient): ความชันอาจขยายใหญ่เกินจนการอัปเดตไม่เสถียร
- ขึ้นกับอัตราการเรียนรู้: ค่าที่สูงเกินไปทำให้แกว่ง ส่วนค่าต่ำเกินไปทำให้เรียนช้า
- เสี่ยงต่อการเรียนแบบท่องจำ: ควรเฝ้าดูโอเวอร์ฟิตติง และใช้การทำให้เป็นปกติ ช่วย
สถาปัตยกรรมสมัยใหม่จึงใช้ฟังก์ชันกระตุ้น การทำให้เป็นมาตรฐาน และการเชื่อมต่อแบบทางลัดเพื่อลดปัญหาเกี่ยวกับความชัน
ความสัมพันธ์กับแนวคิดอื่น
| แนวคิด | บทบาท |
|---|---|
| Backpropagation | คำนวณความชันของข้อผิดพลาดเทียบกับน้ำหนัก |
| Gradient descent | ใช้ความชันในการอัปเดตน้ำหนัก |
| อัตราการเรียนรู้ | ควบคุมขนาดของก้าวที่อัปเดต |
| ฟังก์ชันกระตุ้น | ต้องหาอนุพันธ์ได้เพื่อให้แบ็กพร็อพทำงาน |
| ตัวเพิ่มประสิทธิภาพ | กฎการอัปเดต เช่น SGD หรือ Adam |
ในการปฏิบัติ ข้อมูลมักถูกแบ่งเป็นชุดย่อย (mini-batches) แล้วใช้การเคลื่อนลงตามความชันแบบเฟ้นสุ่ม ซึ่งแบ็กพร็อพจะช่วยคำนวณความชันให้ในแต่ละชุด
คำถามที่พบบ่อย
แบ็กพร็อพเหมือนกับการเคลื่อนลงตามความชันหรือไม่?
ไม่เหมือนกัน แบ็กพร็อพคำนวณความชันของทั้งโครงข่าย ส่วนการเคลื่อนลงตามความชันนำความชันนั้นไปอัปเดตน้ำหนัก ทั้งสองมักใช้คู่กันแต่ทำหน้าที่คนละส่วน
เหตุใดต้องส่งข้อผิดพลาดย้อนกลับ?
เพราะน้ำหนักแต่ละค่าส่งผลโดยตรงต่อชั้นถัดไปเท่านั้น การส่งย้อนกลับด้วยกฎลูกโซ่ช่วยปันส่วนข้อผิดพลาดกลับไปยังน้ำหนักที่เป็นต้นเหตุได้ถูกต้อง
ใช้แบ็กพร็อพกับการเรียนรู้แบบไม่มีผู้สอนได้หรือไม่?
ได้ เช่น ออโตเอ็นโค้ดเดอร์ใช้แบ็กพร็อพเพื่อลดข้อผิดพลาดในการสร้างข้อมูลกลับมา แม้จะไม่มีป้ายกำกับภายนอก
ความชันเลือนหายคืออะไร?
คือภาวะที่ความชันหดเล็กลงมากเมื่อผ่านหลายชั้น ทำให้ชั้นแรกเรียนรู้ได้น้อย และเป็นเหตุผลหนึ่งของการพัฒนาสถาปัตยกรรมและฟังก์ชันกระตุ้นใหม่ ๆ
ขั้นตอนถัดไป
เพื่อให้เห็นภาพรวม ควรอ่านเรื่องโครงข่ายประสาทเทียมคืออะไร และการเรียนรู้เชิงลึกคืออะไร จากนั้นศึกษาบทบาทของอัตราการเรียนรู้และฟังก์ชันกระตุ้นต่อไป
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free