LSTM Itu Apa? Penjelasan Jaringan Saraf yang Bisa Ingat Lama

Updated · By Viviai

LSTM (Long Short-Term Memory) adalah jenis jaringan saraf berulang yang dirancang untuk mengingat informasi dalam jangka waktu lama pada data berurutan, dengan memakai sel memori dan gerbang yang mengatur aliran informasi. LSTM diperkenalkan untuk mengatasi masalah gradien hilang yang membuat jaringan saraf berulang biasa sulit menangkap ketergantungan jarak jauh. Model ini banyak dipakai untuk teks, suara, dan deret waktu.

Bila Anda sudah membaca jaringan saraf berulang, anggap LSTM sebagai versi yang lebih rapi dalam mengelola memori. Jaringan biasa menimpa keadaan tersembunyi di setiap langkah, sehingga informasi awal cepat terlupakan. LSTM menambah jalur memori terpisah yang bisa menyimpan konteks lebih lama.

Masalah Apa yang Diselesaikan LSTM?

Jaringan saraf berulang memproses data satu langkah demi satu langkah, dan keadaan tersembunyi dari satu langkah menjadi masukan untuk langkah berikutnya. Secara teori ini memungkinkan jaringan memakai konteks masa lalu. Pada praktiknya, jaringan tersebut kesulitan dengan urutan panjang.

Saat pelatihan, sinyal kesalahan mengalir mundur melalui banyak langkah. Jika sinyal itu makin mengecil di setiap perkalian, bobot pada langkah awal hampir tidak diperbarui. Inilah masalah gradien hilang, yang membuat jaringan gagal menghubungkan informasi yang berjauhan, misalnya kata ganti dengan kata yang dirujuknya di awal kalimat.

LSTM dirancang agar gradien bisa mengalir tanpa menyusut tajam, sehingga jaringan dapat belajar ketergantungan jangka panjang yang tidak tertangani oleh jaringan berulang biasa.

Ide Inti: Sel Memori dan Gerbang

Komponen kunci LSTM adalah cell state (keadaan sel), yaitu jalur memori yang mengalir lurus dari satu langkah ke langkah berikutnya. Berbeda dengan keadaan tersembunyi yang berubah banyak, keadaan sel hanya dimodifikasi lewat interaksi yang dikendalikan oleh gerbang.

Gerbang adalah lapisan dengan fungsi aktivasi sigmoid yang menghasilkan angka antara 0 dan 1, diikuti perkalian antar-unsur. Angka mendekati 1 berarti informasi dilewatkan, sedangkan mendekati 0 berarti informasi ditahan. Dengan mekanisme ini, LSTM memilih apa yang disimpan, apa yang dibuang, dan apa yang dikeluarkan pada setiap langkah waktu.

Tiga Gerbang pada LSTM

Satu unit LSTM standar memiliki tiga gerbang dengan peran berbeda.

Cara Perhitungan Langkah demi Langkah

Pada satu langkah waktu, urutan kerjanya sebagai berikut.

  1. Gerbang pelupa menghitung nilai dari keadaan tersembunyi sebelumnya dan masukan saat ini, lalu memilih unsur keadaan sel lama yang dipertahankan.
  2. Gerbang masuk menentukan posisi yang diperbarui, sementara tanh menyusun nilai kandidat untuk keadaan sel.
  3. Keadaan sel diperbarui dengan menggabungkan memori lama yang masih dijaga dan nilai baru yang diterima.
  4. Gerbang keluar memilih bagian keadaan sel yang ditampilkan, dan hasilnya menjadi keadaan tersembunyi baru.

Pembagian ini membuat perubahan pada keadaan sel bersifat terkendali, bukan penimpaan penuh seperti pada jaringan berulang sederhana.

Mengapa LSTM Mengatasi Gradien Hilang

Keadaan sel diperbarui lewat penjumlahan terbuka dan perkalian dengan nilai gerbang, bukan lewat rantai fungsi yang menumpuk di setiap langkah. Saat pelatihan, jalur ini memungkinkan gradien mengalir mundur melalui banyak langkah dengan perubahan yang lebih kecil.

Hasilnya, informasi dapat dipertahankan selama ratusan langkah waktu tanpa degradasi berarti. LSTM tidak menjamin setiap ketergantungan tertangani, tetapi ia menyediakan jalur yang lebih stabil untuk belajar hubungan jarak jauh dibanding jaringan berulang biasa.

LSTM vs RNN Biasa

Aspek LSTM RNN Biasa
Struktur memori Keadaan sel + keadaan tersembunyi Hanya keadaan tersembunyi
Jumlah gerbang Tiga (pelupa, masuk, keluar) Tidak ada gerbang
Penanganan urutan panjang Lebih stabil Cepat kehilangan konteks awal
Risiko gradien hilang Lebih rendah Tinggi pada urutan panjang
Jumlah parameter Lebih banyak Lebih sedikit
Biaya pelatihan Lebih besar Lebih ringan

Kapan LSTM Dipakai

LSTM umum dipakai ketika urutan dan konteks masa lalu berpengaruh pada hasil. Contoh penggunaannya meliputi pemodelan bahasa dan analisis sentimen, pengenalan suara, penerjemahan mesin, serta peramalan deret waktu seperti harga, cuaca, atau data sensor. Sejumlah tugas yang dahulu memakai LSTM kini juga memakai arsitektur transformer, tetapi LSTM masih dipakai terutama saat data berupa deret waktu dan sumber daya komputasi terbatas.

Keterbatasan

Struktur tiga gerbang membuat LSTM punya lebih banyak parameter dan waktu pelatihan lebih besar dibanding jaringan sederhana. Karena langkah-langkahnya saling bergantung, LSTM juga sulit diparalelkan sepenuhnya seperti model berbasis perhatian. Pada urutan yang sangat panjang, biaya komputasi tetap menjadi kendala, dan versi yang lebih ringkas seperti GRU kadang dipilih ketika kebutuhan parameter ingin ditekan.

Pertanyaan yang Sering Diajukan

Apa itu LSTM secara singkat? LSTM adalah jaringan saraf berulang yang memakai sel memori dan tiga gerbang untuk menyimpan serta mengatur informasi, sehingga bisa menangani konteks jangka panjang pada data berurutan.

Apa bedanya LSTM dengan RNN? RNN biasa hanya mengandalkan satu keadaan tersembunyi dan mudah kehilangan konteks awal. LSTM menambah keadaan sel dan gerbang yang mengatur aliran informasi, sehingga lebih stabil untuk urutan panjang.

Apa fungsi masing-masing gerbang? Gerbang pelupa membuang informasi lama yang tidak perlu, gerbang masuk menyimpan informasi baru, dan gerbang keluar memilih bagian memori yang ditampilkan pada langkah berikutnya.

Apakah LSTM masih dipakai setelah ada transformer? Masih. LSTM tetap digunakan untuk deret waktu dan tugas berurutan lainnya, terutama ketika biaya komputasi model berbasis perhatian terlalu besar untuk kebutuhan tersebut.

Langkah Berikutnya

Untuk melihat posisi LSTM dalam keseluruhan jaringan, baca kembali jaringan saraf berulang dan jaringan saraf tiruan. Anda juga bisa membandingkannya dengan jaringan saraf konvolusional, yang lebih sesuai untuk data bergambar.

Sources

  1. https://mti.binus.ac.id/2019/12/02/long-short-term-memory-lstm/
  2. https://rumahcoding.co.id/blog/teori-dan-implementasi-recurrent-neural-network-dengan-lstm-untuk-prediksi-time-series/
  3. https://event.cloudcomputing.id/pengetahuan-dasar/apa-long-short-term-memory
  4. https://aihub.id/pengetahuan-dasar/apa-long-short-term-memory

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free