LSTM คืออะไร? โครงข่ายที่จำข้อมูลลำดับได้นานขึ้นด้วยประตูควบคุม

Updated · By Viviai

LSTM (Long Short-Term Memory หรือหน่วยความจำระยะสั้นแบบยาว) คือ สถาปัตยกรรมโครงข่ายประสาทแบบเวียนซ้ำชนิดหนึ่ง ออกแบบให้จำข้อมูลจากช่วงต้นของลำดับได้นานขึ้น และแก้ปัญหาที่โครงข่ายเวียนซ้ำแบบเดิมลืมข้อมูลเมื่อลำดับยาวมาก โดยใช้ประตู (gate) ควบคุมว่าจะเก็บ ลืม หรือส่งผ่านข้อมูลใด นิยมใช้กับข้อความ อนุกรมเวลา และเสียง

LSTM คืออะไร

โครงข่ายประสาทแบบเวียนซ้ำประมวลผลข้อมูลทีละขั้นตามลำดับและส่งสถานะจากขั้นก่อนหน้ามายังขั้นถัดไป เหมาะกับข้อมูลที่ลำดับมีความสำคัญ เช่น ประโยคหรือค่าตามเวลา แต่แบบดั้งเดิมมีจุดอ่อนเมื่อข้อมูลที่ต้องจำอยู่ห่างออกไปหลายขั้น

ปัญหาของ RNN แบบเดิม

เมื่อสัญญาณความชันถูกส่งย้อนกลับผ่านหลายขั้น ค่าอาจเล็กลงเรื่อย ๆ จนเกือบศูนย์ ทำให้โมเดลไม่สามารถเชื่อมโยงข้อมูลต้นลำดับกับปลายลำดับได้ LSTM ถูกเสนอขึ้นเพื่อแก้ปัญหานี้ด้วยเส้นทางที่เก็บข้อมูลได้คงที่กว่า

ส่วนประกอบของ LSTM

เส้นทางสถานะเซลล์ (Cell State)

เป็นเส้นสายหลักที่ข้อมูลไหลผ่านทุกขั้น โดยมีประตูคอยเพิ่มหรือลบข้อมูล ทำให้สารสำคัญอยู่ได้นาน

ประตูหลักสามตัว

ภาพรวมเชิงแนวคิด

แต่ละขั้นจะอ่านขาเข้าและสถานะก่อนหน้า แล้วประตูทั้งสามจะปรับสถานะเซลล์และให้ขาออก คล้ายการอ่านหนังสือพร้อมจดโน้ตที่คอยขีดฆ่าข้อมูลเก่า เพิ่มข้อมูลใหม่ และสรุปสิ่งที่ต้องใช้

ทำงานกับข้อมูลลำดับอย่างไร

  1. รับขาเข้าของขั้นปัจจุบันและสถานะจากขั้นก่อน
  2. ประตูลืมเลือกว่าจะลบข้อมูลใด
  3. ประตุขาเข้าเลือกข้อมูลใหม่ที่จะบันทึก
  4. อัปเดตสถานะเซลล์
  5. ประตุขาออกกำหนดค่าที่ส่งต่อ

การฝึกใช้การแพร่กระจายย้อนกลับผ่านขั้นเวลา โดยประตูช่วยรักษาความชันไม่ให้เลือนหายเร็วเกินไป

ใช้งานที่ไหน

งาน ตัวอย่าง
การประมวลผลภาษาธรรมชาติ วิเคราะห์ความรู้สึก แปลภาษา ทำนายคำถัดไป
อนุกรมเวลา พยากรณ์ยอดขาย ความต้องการ สภาพอากาศ
เสียงและดนตรี จำแนกเสียง สร้างลำดับเสียง
วิดีโอ ติดตามเหตุการณ์ตามเฟรม
แปลงเสียงเป็นข้อความ ใช้บริบทของลำดับเสียง

LSTM กับสถาปัตยกรรมอื่น

ข้อควรระวัง

FAQ

LSTM ใช้ทำอะไร?

จำและเชื่อมโยงข้อมูลในลำดับที่ยาว เช่น ข้อความ อนุกรมเวลา และเสียง โดยแก้ปัญหาที่ RNN แบบเดิมลืมข้อมูลต้นลำดับ

LSTM ต่างจาก RNN อย่างไร?

LSTM เป็น RNN ชนิดพิเศษที่มีประตูและสถานะเซลล์ ช่วยเก็บข้อมูลสำคัญได้นานกว่า RNN แบบดั้งเดิม

ประตูทั้งสามทำหน้าที่อะไร?

ประตูลืมทิ้งข้อมูลเก่า ประตุขาเข้าเพิ่มข้อมูลใหม่ และประตุขาออกกำหนดสิ่งที่ส่งออกในขั้นนั้น

LSTM กับ Transformer ต่างกันอย่างไร?

LSTM ประมวลผลทีละขั้นตามลำดับ ส่วนทรานส์ฟอร์เมอร์ใช้ความใส่ใจและประมวลผลขนานได้ จึงมักเร็วกว่าในงานขนาดใหญ่

LSTM ยังนิยมใช้อยู่ไหม?

ยังใช้ในงานอนุกรมเวลาและอุปกรณ์ที่มีทรัพยากรจำกัด แม้หลายงานภาษาจะเปลี่ยนไปใช้ทรานส์ฟอร์เมอร์มากขึ้น

สรุป

Sources

  1. https://th.wikipedia.org/wiki/%E0%B8%AB%E0%B8%99%E0%B9%88%E0%B8%A7%E0%B8%A2%E0%B8%84%E0%B8%A7%E0%B8%B2%E0%B8%A1%E0%B8%88%E0%B8%B3%E0%B8%A3%E0%B8%B0%E0%B8%A2%E0%B8%B0%E0%B8%AA%E0%B8%B1%E0%B9%88%E0%B8%99%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%A2%E0%B8%B2%E0%B8%A7
  2. https://en.wikipedia.org/wiki/Long_short-term_memory

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free