RNN คืออะไร? นิวรัลเน็ตเวิร์กแบบวนกลับสำหรับข้อมูลลำดับ อธิบายง่าย ๆ

Updated · By Viviai

นิวรัลเน็ตเวิร์กแบบวนกลับ (Recurrent Neural Network, ย่อว่า RNN) เป็นโมเดลดีปเลิร์นนิงที่ออกแบบมาเพื่อประมวลผลข้อมูลตามลำดับ เช่น คำ ประโยค เสียงพูด และข้อมูลอนุกรมเวลา จุดเด่นสำคัญคือ RNN มีเส้นทางวนกลับที่ส่งผ่านสถานะจากขั้นตอนหนึ่งไปยังขั้นตอนถัดไป ทำให้โมเดลสามารถใช้ข้อมูลที่เคยพบมาก่อนในการตีความส่วนปัจจุบัน แทนที่จะประมวลผลแต่ละส่วนแยกจากกัน

คำตอบสั้น ๆ: RNN ทำงานอย่างไร

โมเดลทั่วไปไม่เก็บบริบทระหว่างอินพุต ส่วน RNN เพิ่มวงจรที่ทุกขั้นตอนเวลา จะรับอินพุตปัจจุบันพร้อมสถานะซ่อนจากขั้นตอนก่อน แล้วสร้างสถานะซ่อนใหม่เพื่อส่งต่อ

รูปแบบการคำนวณเบื้องต้น:

เมทริกซ์น้ำหนัก (W_x, W_h, W_y) ถูกใช้ร่วมกันในทุกขั้นตอนเวลา ไม่ได้สร้างชุดใหม่แยกแต่ละขั้นตอน

ส่วนประกอบหลัก

ลำดับการประมวลผลตามขั้นตอนเวลา

  1. ที่ขั้นตอน (t) โมเดลรับอินพุต (x_t) และสถานะซ่อน (h_{t-1})
  2. ทั้งสองค่าถูกรวมผ่านฟังก์ชัน tanh ให้เป็นสถานะซ่อนใหม่ (h_t)
  3. (h_t) ถูกใช้คำนวณเอาต์พุต (y_t)
  4. (h_t) ถูกส่งต่อไปยังขั้นตอน (t+1) แล้วทำซ้ำจนจบลำดับ

เนื่องจากน้ำหนักชุดเดียวกันใช้ร่วมทั้งลำดับ จำนวนพารามิเตอร์จึงไม่เพิ่มตามความยาวประโยค และโมเดลเรียนกฎที่ใช้ได้กับทุกตำแหน่ง

เหตุใด RNN จึงเหมาะกับข้อมูลลำดับ

ลำดับในข้อมูลหลายชนิดมีความหมาย การเรียงคำในประโยค โน้ตเพลง หรือค่าที่เปลี่ยนตามเวลาล้วนขึ้นอยู่กับองค์ประกอบก่อนหน้า สถานะซ่อนช่วยให้ RNN ใช้บริบทเดิมในการเข้าใจส่วนที่กำลังประมวลผล

ชนิดข้อมูล ตัวอย่างงาน
ข้อความ วิเคราะห์ความรู้สึก สร้างแบบจำลองภาษา แปลภาษา
เสียงพูด รู้จำเสียงพูด เปลี่ยนเสียงเป็นข้อความ
อนุกรมเวลา พยากรณ์ค่า ข้อมูลเซ็นเซอร์ เวชระเบียน
ลายมือ รู้จำลายมือที่เขียนต่อกัน

RNN มีความเชื่อมโยงใกล้ชิดกับการประมวลผลภาษาธรรมชาติ และอยู่ในตระกูลโครงข่ายประสาทเทียม ภายใต้แนวคิดการเรียนรู้แบบมีผู้สอน

ปัญหาเกรดิเอนต์เลือนและเกรดิเอนต์ระเบิด

ระหว่างฝึก RNN จะถูก "คลี่ออก" ตามเวลาและเรียนรู้ด้วยการแพร่ย้อนผ่านเวลา (Backpropagation Through Time) เกรดิเอนต์ของข้อผิดพลาดถูกคูณสะสมหลายขั้นตอน ก่อให้เกิดสองอาการ:

RNN แบบพื้นฐานจึงมักจัดการความสัมพันธ์ที่ยาวมากได้จำกัด นำไปสู่สถาปัตยกรรมที่มีประตูควบคุม

LSTM และ GRU

ทั้งสองแบบช่วยรักษาเส้นทางเกรดิเอนต์ให้ข้อมูลไม่เลือนหายในลำดับที่ยาวขึ้น

จุดแข็งและข้อควรระวัง

จุดแข็ง

ข้อควรระวัง

คำถามที่พบบ่อย

RNN ต่างจากโครงข่ายประสาททั่วไปอย่างไร?

โครงข่ายทั่วไปประมวลผลอินพุตแบบอิสระและไม่เก็บบริบท ส่วน RNN มีวงจรนำสถานะซ่อนผ่านขั้นตอนเวลา ทำให้ผลลัพธ์ปัจจุบันขึ้นกับข้อมูลที่เคยปรากฏก่อนได้

สถานะซ่อนมีบทบาทอะไร?

สถานะซ่อนคือเวกเตอร์สรุปข้อมูลที่อ่านมาถึงขั้นตอนปัจจุบัน ทำหน้าที่หน่วยความจำระยะสั้นและถูกส่งต่อไปยังขั้นตอนถัดไป

ควรใช้ LSTM หรือ GRU เมื่อใด?

เมื่อลำดับอินพุตยาวและ RNN พื้นฐานประสบปัญหาเกรดิเอนต์เลือน LSTM หรือ GRU ช่วยรักษาข้อมูลสำคัญ โดย GRU มักเบากว่า ส่วน LSTM มีการควบคุมหน่วยความจำครบถ้วนกว่า

RNN ยังใช้งานอยู่ในปัจจุบันหรือไม่?

RNN และรูปแบบย่อยเคยเป็นหลักในข้อมูลลำดับ แต่หลายงานในปัจจุบันหันไปใช้สถาปัตยกรรมทรานส์ฟอร์เมอร์ อย่างไรก็ตาม แนวคิดเรื่องสถานะซ่อนและความสัมพันธ์ตามลำดับยังเป็นพื้นฐานสำคัญ

หมายเหตุของบรรณาธิการ

บทความนี้ผ่านการตรวจสอบข้ามแหล่งแล้ว โดยมีแหล่งข้อมูลอิสระสองแหล่งจากผู้เผยแพร่ต่างกัน (แหล่งภาษาไทยเดิมและ IBM Think) จึงผ่านเกณฑ์สองแหล่งอิสระ แต่ยังรอการตรวจทานจากเจ้าของภาษาก่อนเลื่อนสถานะเป็นทางการ

สรุป

นิวรัลเน็ตเวิร์กแบบวนกลับประมวลผลข้อมูลลำดับด้วยการรักษาสถานะซ่อนที่ส่งผ่านทุกขั้นตอนเวลา และใช้น้ำหนักร่วมกันทั้งลำดับ ปัญหาเกรดิเอนต์เลือนนำไปสู่ LSTM และ GRU ซึ่งช่วยรักษาข้อมูลระยะยาว นี่เป็นสถาปัตยกรรมพื้นฐานสำหรับทำความเข้าใจว่าเอไอจัดการข้อความ เสียงพูด และข้อมูลเวลาอย่างไร

Sources

  1. https://aws.amazon.com/th/what-is/recurrent-neural-network/
  2. https://www.ibm.com/topics/recurrent-neural-networks

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free