Apa Itu Backpropagation? Penjelasan Sederhana Jaringan Saraf

Updated · By Viviai

Backpropagation (algoritma perambatan mundur, "perambatan balik kesalahan") adalah algoritma yang memakai aturan rantai (chain rule) dari kalkulus untuk menghitung seberapa besar setiap bobot dalam jaringan saraf berkontribusi pada kesalahan prediksi; algoritma ini bekerja mundur dari lapisan keluaran, sehingga pengoptimal seperti penurunan gradien dapat menyesuaikan bobot dan mengurangi kesalahan berikutnya.

Apa yang sebenarnya dikerjakan backpropagation

Jaringan saraf membuat prediksi dengan mengalirkan data maju melalui lapisan koneksi berbobot. Saat prediksi keliru, jaringan butuh cara menanggung kesalahan: bobot mana yang harus berubah, dan seberapa besar. Backpropagation menjawabnya dengan menghitung gradien kerugian terhadap setiap bobot dan bias. Secara teknis ini adalah metode penghitungan gradien; langkah yang benar-benar mengubah bobot biasanya merupakan pengoptimal terpisah seperti penurunan gradien.

Masalah yang dipecahkannya

Menyesuaikan bobot pada model satu lapisan terbilang mudah, tetapi jaringan dengan beberapa lapisan tersembunyi membentuk rantai perhitungan yang bertumpuk. Menghitung pengaruh tiap bobot satu per satu akan mengulang banyak aritmetika. Backpropagation memakai kembali hasil antara saat bergerak mundur, sehingga melatih jaringan berlapis menjadi praktis secara komputasi. Pendekatan ini dikenal luas setelah makalah tahun 1986 oleh Rumelhart, Hinton, dan Williams, meski ide terkait diferensiasi otomatis sudah muncul lebih awal.

Laju maju versus laju mundur

Laju Arah Yang dihitung
Laju maju (forward pass) Masukan ke keluaran Aktivasi dan prediksi, lalu kerugian
Laju mundur (backward pass) Keluaran ke masukan Gradien kerugian untuk tiap bobot dan bias

Pada laju maju, setiap neuron menerapkan bobot dan fungsi aktivasi untuk menghasilkan keluaran. Fungsi kerugian kemudian membandingkan keluaran itu dengan target. Pada laju mundur, sinyal kesalahan bergerak dari lapisan keluaran kembali ke masukan, satu lapisan demi satu lapisan.

Aturan rantai, langkah demi langkah

Backpropagation adalah penggunaan aturan rantai yang efisien. Untuk lapisan (l), sebuah suku kesalahan yang sering ditulis (\delta) diturunkan dari lapisan di depannya:

[ \delta^{l} = (f^{l})' \circ (W^{l+1})^{T}\delta^{l+1} ]

Di sini ((f^{l})') adalah turunan fungsi aktivasi dan (W^{l+1}) menyimpan bobot lapisan berikutnya. Setelah (\delta) diketahui, gradien sebuah bobot mengikuti aktivasi yang masuk ke sana. Karena tiap lapisan memakai kembali gradien lapisan di depannya, kuantitas yang sama tidak dihitung ulang.

Bagaimana bobot kemudian diperbarui

Backpropagation menyediakan gradien; pengoptimal memakainya. Pada pembaruan penurunan gradien dasar, bobot (w) bergeser satu langkah kecil berlawanan dengan gradiennya:

[ w_{\text{baru}} = w_{\text{lama}} - \eta\frac{\partial L}{\partial w} ]

Simbol (\eta) adalah laju pembelajaran, yang mengatur ukuran langkah. Satu putaran penuh atas data latih, yang terbagi menjadi pembaruan maju dan mundur, sering disusun dalam epoch dan batch.

Istilah yang akan ditemui

Istilah Arti dalam konteks ini
Gradien Arah dan laju perubahan kerugian saat sebuah bobot berubah
Epoch Satu lintasan penuh atas data latih
Batch Subset contoh yang dipakai dalam satu pembaruan
Laju pembelajaran Faktor yang mengatur besar setiap pembaruan
Aturan rantai Aturan kalkulus untuk menurunkan fungsi bertumpuk

Batasan yang perlu jujur diakui

Backpropagation sendiri tidak menjamin model yang berguna; ia bergantung pada data, fungsi kerugian, dan pengoptimal yang dipilih. Pada jaringan dalam, gradien bisa menjadi sangat kecil saat bergerak mundur melewati banyak lapisan, kondisi yang disebut masalah gradien hilang (vanishing gradient), yang diatasi melalui pilihan aktivasi dan desain jaringan. Ia juga mengandalkan fungsi yang dapat diturunkan (terdiferensiasi), sehingga bagian model tanpa gradien tidak bisa dilatih dengan cara ini.

Pertanyaan umum

Apakah backpropagation sama dengan penurunan gradien?

Beda. Backpropagation menghitung gradien, sedangkan penurunan gradien adalah pengoptimal yang memakai gradien tersebut untuk memperbarui bobot. Keduanya biasanya bekerja bersama tetapi merupakan langkah terpisah.

Mengapa backpropagation bergerak mundur?

Karena kesalahan diketahui di lapisan keluaran, dan aturan rantai membuat tiap lapisan tersembunyi dapat menyimpulkan kontribusinya dari lapisan tepat di depannya, sambil memakai kembali hasil.

Apa peran turunan fungsi aktivasi?

Ia mengatur seberapa banyak sinyal kesalahan melewati neuron pada laju mundur; karena itu turunan yang mendekati nol bisa memperlambat pembelajaran.

Apakah backpropagation bekerja untuk semua jaringan saraf?

Ia berlaku untuk jaringan feed-forward dengan operasi yang dapat diturunkan; arsitektur dengan loop atau langkah non-diferensiabel membutuhkan metode tambahan atau penanganan yang dimodifikasi.

Apa yang terjadi saat memanggil .backward() di PyTorch?

Saat laju maju, PyTorch membangun graf komputasi dinamis. Ketika .backward() dipanggil, mesin autograd menelusuri graf itu mundur dan menyimpan gradien pada atribut .grad tiap parameter.

Poin utama

Lanjutkan dengan jaringan saraf tiruan, pembelajaran mendalam, dan penurunan gradien.

Sources

  1. https://id.wikipedia.org/wiki/Algoritma_perambatan_mundur
  2. https://www.ibm.com/think/topics/backpropagation

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free