LSTM คืออะไร? โครงข่ายที่จำข้อมูลลำดับได้นานขึ้นด้วยประตูควบคุม
LSTM (Long Short-Term Memory หรือหน่วยความจำระยะสั้นแบบยาว) คือ สถาปัตยกรรมโครงข่ายประสาทแบบเวียนซ้ำชนิดหนึ่ง ออกแบบให้จำข้อมูลจากช่วงต้นของลำดับได้นานขึ้น และแก้ปัญหาที่โครงข่ายเวียนซ้ำแบบเดิมลืมข้อมูลเมื่อลำดับยาวมาก โดยใช้ประตู (gate) ควบคุมว่าจะเก็บ ลืม หรือส่งผ่านข้อมูลใด นิยมใช้กับข้อความ อนุกรมเวลา และเสียง
LSTM คืออะไร
โครงข่ายประสาทแบบเวียนซ้ำประมวลผลข้อมูลทีละขั้นตามลำดับและส่งสถานะจากขั้นก่อนหน้ามายังขั้นถัดไป เหมาะกับข้อมูลที่ลำดับมีความสำคัญ เช่น ประโยคหรือค่าตามเวลา แต่แบบดั้งเดิมมีจุดอ่อนเมื่อข้อมูลที่ต้องจำอยู่ห่างออกไปหลายขั้น
ปัญหาของ RNN แบบเดิม
เมื่อสัญญาณความชันถูกส่งย้อนกลับผ่านหลายขั้น ค่าอาจเล็กลงเรื่อย ๆ จนเกือบศูนย์ ทำให้โมเดลไม่สามารถเชื่อมโยงข้อมูลต้นลำดับกับปลายลำดับได้ LSTM ถูกเสนอขึ้นเพื่อแก้ปัญหานี้ด้วยเส้นทางที่เก็บข้อมูลได้คงที่กว่า
ส่วนประกอบของ LSTM
เส้นทางสถานะเซลล์ (Cell State)
เป็นเส้นสายหลักที่ข้อมูลไหลผ่านทุกขั้น โดยมีประตูคอยเพิ่มหรือลบข้อมูล ทำให้สารสำคัญอยู่ได้นาน
ประตูหลักสามตัว
- Forget gate (ประตูลืม): ตัดสินว่าจะทิ้งข้อมูลใดจากสถานะเดิม
- Input gate (ประตุขาเข้า): เลือกว่าจะเพิ่มข้อมูลใหม่ใดเข้าสถานะ
- Output gate (ประตุขาออก): กำหนดว่าจะส่งค่าใดเป็นขาออกของขั้นนี้
ภาพรวมเชิงแนวคิด
แต่ละขั้นจะอ่านขาเข้าและสถานะก่อนหน้า แล้วประตูทั้งสามจะปรับสถานะเซลล์และให้ขาออก คล้ายการอ่านหนังสือพร้อมจดโน้ตที่คอยขีดฆ่าข้อมูลเก่า เพิ่มข้อมูลใหม่ และสรุปสิ่งที่ต้องใช้
ทำงานกับข้อมูลลำดับอย่างไร
- รับขาเข้าของขั้นปัจจุบันและสถานะจากขั้นก่อน
- ประตูลืมเลือกว่าจะลบข้อมูลใด
- ประตุขาเข้าเลือกข้อมูลใหม่ที่จะบันทึก
- อัปเดตสถานะเซลล์
- ประตุขาออกกำหนดค่าที่ส่งต่อ
การฝึกใช้การแพร่กระจายย้อนกลับผ่านขั้นเวลา โดยประตูช่วยรักษาความชันไม่ให้เลือนหายเร็วเกินไป
ใช้งานที่ไหน
| งาน | ตัวอย่าง |
|---|---|
| การประมวลผลภาษาธรรมชาติ | วิเคราะห์ความรู้สึก แปลภาษา ทำนายคำถัดไป |
| อนุกรมเวลา | พยากรณ์ยอดขาย ความต้องการ สภาพอากาศ |
| เสียงและดนตรี | จำแนกเสียง สร้างลำดับเสียง |
| วิดีโอ | ติดตามเหตุการณ์ตามเฟรม |
| แปลงเสียงเป็นข้อความ | ใช้บริบทของลำดับเสียง |
LSTM กับสถาปัตยกรรมอื่น
- GRU: เป็นรูปแบบที่กระชับกว่าโดยรวมประตูบางตัวเข้าด้วยกัน มีพารามิเตอร์น้อยกว่า
- ทรานส์ฟอร์เมอร์: ใช้กลไกความใส่ใจและประมวลผลขนานได้ ในงานจำนวนมากจึงนิยมใช้ทรานส์ฟอร์เมอร์แทน แต่ LSTM ยังพบในงานอนุกรมเวลาและทรัพยากรจำกัด
ข้อควรระวัง
- LSTM มีพารามิเตอร์มากกว่า RNN แบบเรียบง่าย จึงต้องการข้อมูลและเวลาฝึกมากขึ้น
- ประมวลผลตามลำดับทีละขั้น ไม่ขนานได้ง่ายเท่าทรานส์ฟอร์เมอร์
- หากปรับไม่ดีอาจเกิดภาวะโอเวอร์ฟิตติ้ง
- ไม่ใช่ทางออกของทุกงาน ควรเลือกตามลักษณะข้อมูล
FAQ
LSTM ใช้ทำอะไร?
จำและเชื่อมโยงข้อมูลในลำดับที่ยาว เช่น ข้อความ อนุกรมเวลา และเสียง โดยแก้ปัญหาที่ RNN แบบเดิมลืมข้อมูลต้นลำดับ
LSTM ต่างจาก RNN อย่างไร?
LSTM เป็น RNN ชนิดพิเศษที่มีประตูและสถานะเซลล์ ช่วยเก็บข้อมูลสำคัญได้นานกว่า RNN แบบดั้งเดิม
ประตูทั้งสามทำหน้าที่อะไร?
ประตูลืมทิ้งข้อมูลเก่า ประตุขาเข้าเพิ่มข้อมูลใหม่ และประตุขาออกกำหนดสิ่งที่ส่งออกในขั้นนั้น
LSTM กับ Transformer ต่างกันอย่างไร?
LSTM ประมวลผลทีละขั้นตามลำดับ ส่วนทรานส์ฟอร์เมอร์ใช้ความใส่ใจและประมวลผลขนานได้ จึงมักเร็วกว่าในงานขนาดใหญ่
LSTM ยังนิยมใช้อยู่ไหม?
ยังใช้ในงานอนุกรมเวลาและอุปกรณ์ที่มีทรัพยากรจำกัด แม้หลายงานภาษาจะเปลี่ยนไปใช้ทรานส์ฟอร์เมอร์มากขึ้น
สรุป
- LSTM เป็นโครงข่ายประสาทแบบเวียนซ้ำที่จำข้อมูลได้นานขึ้น
- แก้ปัญหาความชันเลือนหายของ RNN แบบเดิม
- ใช้สถานะเซลล์และประตูสามตัวคุมการเก็บและลืม
- เหมาะกับข้อความ อนุกรมเวลา เสียง และวิดีโอ
- GRU เป็นรูปแบบกระชับกว่า ส่วนทรานส์ฟอร์เมอร์ประมวลผลขนานได้
- ควรเลือกตามลักษณะข้อมูลและทรัพยากร
Sources
- https://th.wikipedia.org/wiki/%E0%B8%AB%E0%B8%99%E0%B9%88%E0%B8%A7%E0%B8%A2%E0%B8%84%E0%B8%A7%E0%B8%B2%E0%B8%A1%E0%B8%88%E0%B8%B3%E0%B8%A3%E0%B8%B0%E0%B8%A2%E0%B8%B0%E0%B8%AA%E0%B8%B1%E0%B9%88%E0%B8%99%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%A2%E0%B8%B2%E0%B8%A7
- https://en.wikipedia.org/wiki/Long_short-term_memory
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free