Activation Function คืออะไร? ตัวกำหนดว่าโหนดในโครงข่ายประสาทจะส่งสัญญาณหรือไม่

Updated · By Viviai

Activation Function (ฟังก์ชันกระตุ้น หรือฟังก์ชันถ่ายโอน) คือ ฟังก์ชันที่กำหนดค่าขาออกของแต่ละโหนดในโครงข่ายประสาทเทียม จากผลรวมของสัญญาณขาเข้า โดยช่วยตัดสินว่าโหนดนี้ควรส่งสัญญาณออกมามากเพียงใด หากไม่มีฟังก์ชันกระตุ้น โครงข่ายจะจำลองได้เพียงความสัมพันธ์เชิงเส้นตรง และไม่สามารถเรียนรู้รูปแบบที่ซับซ้อนได้

ฟังก์ชันกระตุ้นคืออะไร

แต่ละโหนดจะรวมสัญญาณขาเข้าที่ถ่วงน้ำหนักแล้วเป็นค่าหนึ่งค่า จากนั้นฟังก์ชันกระตุ้นจะแปลงค่านั้นเป็นขาออก ลองนึกภาพสวิตช์หรือเกณฑ์: หากสัญญาณมากพอ โหนดจะตื่นและส่งสัญญาณต่อ หากไม่ถึงเกณฑ์ก็จะส่งออกน้อยหรือไม่ส่งเลย

ทำไมต้องมี

หากใช้การแปลงเชิงเส้นล้วน ไม่ว่าจะมีกี่ชั้น ผลลัพธ์สุดท้ายก็ยังเทียบเท่าชั้นเชิงเส้นชั้นเดียว ฟังก์ชันกระตุ้นที่ไม่เป็นเชิงเส้นจึงทำให้การเรียนรู้เชิงลึกสามารถจับความสัมพันธ์ซับซ้อนในข้อมูลได้

ฟังก์ชันกระตุ้นที่พบบ่อย

Sigmoid

แปลงค่าใด ๆ ให้อยู่ระหว่าง 0 ถึง 1:

[ \sigma(x) = \frac{1}{1+e^{-x}} ]

เหมาะกับงานที่ต้องการค่าความน่าจะเป็น แต่มีปัญหาเมื่อค่าขาเข้าสูงมากหรือต่ำมาก เพราะค่าความชันจะเล็กจนเกือบศูนย์

Tanh

คล้าย sigmoid แต่ให้ค่าระหว่าง -1 ถึง 1 ทำให้ค่ามีศูนย์กลางอยู่ที่ศูนย์

ReLU (Rectified Linear Unit)

คืนค่า 0 เมื่อขาเข้าเป็นลบ และคืนค่าเดิมเมื่อขาเข้าเป็นบวก:

[ \text{ReLU}(x) = \max(0, x) ]

คำนวณเร็วและช่วยลดปัญหาความชันเล็ก จึงเป็นที่นิยมในชั้นซ่อนของโมเดลปัจจุบัน

ตารางเปรียบเทียบ

ฟังก์ชัน ช่วงค่าขาออก จุดเด่น
Sigmoid 0 ถึง 1 อ่านเป็นความน่าจะเป็นได้
Tanh -1 ถึง 1 ค่ามีศูนย์กลางที่ศูนย์
ReLU 0 ถึงค่าบวก คำนวณเร็ว นิยมใช้ชั้นซ่อน

ทำงานร่วมกับการฝึกอย่างไร

ระหว่างการแพร่กระจายย้อนกลับ โมเดลจะใช้ค่าความชันของฟังก์ชันกระตุ้นเพื่อปรับพารามิเตอร์ให้ฟังก์ชันการสูญเสียลดลง การเลือกฟังก์ชันกระตุ้นจึงมีผลต่อความเร็วและคุณภาพของการเรียนรู้

ข้อควรระวัง

FAQ

ฟังก์ชันกระตุ้นทำหน้าที่อะไร?

แปลงผลรวมสัญญาณขาเข้าของโหนดเป็นขาออก และตัดสินว่าโหนดควรส่งสัญญาณมากเพียงใด

ทำไมต้องใช้ฟังก์ชันที่ไม่เป็นเชิงเส้น?

เพื่อให้โครงข่ายเรียนรู้ความสัมพันธ์ซับซ้อนได้ หากเป็นเชิงเส้นล้วน หลายชั้นก็ไม่ได้ช่วยเพิ่มความสามารถ

ReLU คืออะไร?

ฟังก์ชันที่คืนค่า 0 สำหรับขาเข้าลบ และคืนค่าเดิมสำหรับขาเข้าบวก คำนวณเร็วและนิยมใช้ในชั้นซ่อน

Sigmoid กับ Tanh ต่างกันอย่างไร?

Sigmoid ให้ค่าระหว่าง 0 ถึง 1 ส่วน tanh ให้ค่าระหว่าง -1 ถึง 1 และมีศูนย์กลางที่ศูนย์

ทุกชั้นต้องใช้ฟังก์ชันเดียวกันไหม?

ไม่จำเป็น สามารถเลือกฟังก์ชันกระตุ้นต่างกันตามหน้าที่ของแต่ละชั้นได้

สรุป

Sources

  1. https://th.wikipedia.org/wiki/%E0%B8%9F%E0%B8%B1%E0%B8%87%E0%B8%81%E0%B9%8C%E0%B8%8A%E0%B8%B1%E0%B8%99%E0%B8%81%E0%B8%A3%E0%B8%B0%E0%B8%95%E0%B8%B8%E0%B9%89%E0%B8%99
  2. https://en.wikipedia.org/wiki/Activation_function

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free