Jaringan Saraf Berulang (RNN) Adalah? Cara Kerja dan Contohnya
Jaringan saraf berulang (Recurrent Neural Network, disingkat RNN) adalah arsitektur jaringan saraf yang dirancang untuk data sekuensial, seperti teks, ucapan, dan deret waktu. Perbedaan utamanya adalah RNN menyimpan keadaan tersembunyi (hidden state) yang diteruskan dari satu langkah waktu ke langkah berikutnya, sehingga model dapat "mengingat" informasi sebelumnya alih-alih memproses setiap input secara terpisah.
Jawaban Singkat: Cara Kerja RNN
Jaringan saraf biasa memperlakukan setiap input sebagai sesuatu yang berdiri sendiri dan tidak menyimpan konteks. RNN menambahkan sebuah putaran: pada setiap langkah, model menerima input saat ini bersama keadaan tersembunyi dari langkah sebelumnya, lalu menghasilkan keadaan tersembunyi baru dan meneruskannya.
Bentuk sederhana perhitungannya:
- Keadaan tersembunyi baru: (h_t = \tanh(W_x x_t + W_h h_{t-1} + b_h))
- Output: (y_t = W_y h_t + b_y)
Di sini (x_t) adalah input pada langkah (t), (h_{t-1}) adalah keadaan tersembunyi sebelumnya, dan matriks bobot (W_x, W_h, W_y) dibagikan ke seluruh langkah waktu, bukan dibuat baru untuk setiap langkah.
Komponen Utama RNN
- Urutan input: data dimasukkan satu per satu, misalnya satu kata pada satu waktu.
- Keadaan tersembunyi: vektor yang merangkum informasi yang sudah dibaca hingga titik ini, berperan sebagai memori jangka pendek.
- Koneksi berulang: jalur yang membawa keadaan tersembunyi kembali menjadi input pada langkah berikutnya.
- Lapisan output: menggunakan keadaan tersembunyi untuk menghasilkan prediksi, seperti kata berikutnya atau label sentimen.
- Fungsi aktivasi: umumnya tanh pada keadaan tersembunyi dan sigmoid/softmax pada output.
Alur Pemrosesan per Langkah Waktu
- Pada langkah (t), model menerima input (x_t) dan keadaan tersembunyi (h_{t-1}).
- Keduanya digabungkan dan melewati fungsi tanh untuk membentuk keadaan tersembunyi baru (h_t).
- (h_t) dipakai untuk menghitung output (y_t).
- (h_t) juga diteruskan ke langkah (t+1), dan proses berulang sampai urutan selesai.
Karena bobot yang sama dibagikan ke seluruh urutan, jumlah parameter tidak bertambah seiring panjang kalimat, dan model mempelajari pola yang berlaku pada setiap posisi.
Mengapa RNN Cocok untuk Data Berurutan
Urutan pada banyak jenis data membawa makna. Kata dalam kalimat, nada musik, atau pembacaan sensor dari waktu ke waktu bergantung pada elemen sebelumnya. Keadaan tersembunyi memungkinkan RNN memakai konteks lama untuk menafsirkan bagian yang sedang diproses.
| Jenis data | Contoh tugas |
|---|---|
| Teks | Analisis sentimen, pemodelan bahasa, penerjemahan |
| Ucapan | Pengenalan ucapan, ucapan ke teks |
| Deret waktu | Peramalan, data sensor, rekam medis |
| Tulisan tangan | Pengenalan tulisan yang tersambung |
RNN berkaitan erat dengan pemrosesan bahasa alami dan, bersama jaringan saraf tiruan, menjadi dasar banyak model LLM generasi awal.
Masalah Gradien Hilang dan Gradien Ledakan
Saat dilatih, RNN secara konseptual "dibentangkan" dan dipelajari dengan propagasi balik melalui waktu (Backpropagation Through Time, BPTT). Gradien kesalahan dikalikan berulang melewati banyak langkah, yang menimbulkan dua gejala:
- Gradien hilang (vanishing gradient): gradien menyusut pada langkah yang jauh, sehingga model sulit mempelajari ketergantungan panjang.
- Gradien ledakan (exploding gradient): gradien membesar dan membuat pelatihan tidak stabil; dapat diringankan dengan pemotongan gradien (gradient clipping).
RNN sederhana umumnya kesulitan menangani ketergantungan yang melebihi beberapa puluh langkah, sehingga arsitektur berpintu dikembangkan.
LSTM dan GRU: Dua Variasi yang Umum
- LSTM (Long Short-Term Memory): menambahkan status sel (cell state) dan tiga pintu, yaitu pintu lupa, pintu input, dan pintu output. Pintu mengatur informasi mana yang dipertahankan, ditulis, atau dikeluarkan, menjaga informasi penting melewati banyak langkah.
- GRU (Gated Recurrent Unit): menggabungkan pintu lupa dan pintu input menjadi pintu pembaruan, tanpa status sel terpisah dan hanya memakai keadaan tersembunyi. Strukturnya lebih sederhana dan sering lebih cepat dilatih dengan hasil yang berdekatan.
Keduanya menjaga "jalur gradien" agar informasi tidak cepat menghilang pada urutan panjang.
Kelebihan dan Keterbatasan
Kelebihan
- Memodelkan urutan dan konteks melalui keadaan tersembunyi.
- Bobot dibagikan sehingga dapat menangani urutan dengan panjang yang bervariasi.
- Cocok untuk berbagai tugas teks, ucapan, dan deret waktu.
Keterbatasan
- RNN dasar sulit mempelajari ketergantungan panjang karena gradien hilang.
- Langkah waktu diproses berurutan, sehingga sulit diparalelkan saat pelatihan.
- Hasil peka terhadap pra-pemrosesan dan pilihan arsitektur.
Pertanyaan yang Sering Diajukan
Apa bedanya RNN dengan jaringan saraf biasa?
Jaringan biasa memproses input secara independen dan tidak menyimpan konteks. RNN memiliki putaran yang membawa keadaan tersembunyi melewati langkah waktu, sehingga output saat ini dapat bergantung pada data yang lebih dulu muncul.
Apa fungsi keadaan tersembunyi?
Keadaan tersembunyi adalah vektor yang merangkum informasi yang sudah dibaca sampai langkah saat ini, berperan sebagai memori jangka pendek dan diteruskan ke langkah berikutnya.
Kapan sebaiknya memakai LSTM atau GRU?
Saat urutan input panjang dan RNN sederhana mengalami gradien hilang, LSTM atau GRU membantu menjaga informasi penting. GRU umumnya lebih ringan, sedangkan LSTM memiliki kontrol memori yang lebih lengkap.
Apakah RNN masih dipakai sekarang?
RNN dan variasinya pernah dominan untuk data urutan, tetapi banyak tugas kini memakai arsitektur transformer. Memahami RNN tetap berguna karena konsep keadaan tersembunyi dan ketergantungan urutan menjadi dasar untuk model yang lebih baru.
Ringkasan
Jaringan saraf berulang memproses data sekuensial dengan memelihara keadaan tersembunyi yang diteruskan tiap langkah waktu dan bobot yang dibagikan ke seluruh langkah. Tantangan gradien hilang memunculkan LSTM dan GRU yang membantu menjaga informasi jangka panjang. Ini adalah arsitektur dasar untuk memahami cara AI menangani teks, ucapan, dan data waktu.
Sources
- https://ruang-guru.github.io/ai-bootcamp-interactive/docs/llm-nlp/06-rnn.html
- https://wiki.unissula.ac.id/Pemelajaran_dalam
- https://id.eitca.org/kecerdasan-buatan/eitc-ai-gcml-pembelajaran-mesin-cloud-google/langkah-lebih-lanjut-dalam-pembelajaran-mesin/generasi-bahasa-alami/ujian-meninjau-generasi-bahasa-alami/bagaimana-pembelajaran-mesin-memungkinkan-pembuatan-bahasa-alami/
- https://garuda.kemdiktisaintek.go.id/documents/detail/6008491
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free