Laju Pembelajaran Adalah? Penjelasan Mudah untuk Pemula
Laju pembelajaran (learning rate) adalah hiperparameter yang mengontrol seberapa besar langkah pembaruan bobot model pada setiap iterasi algoritma optimasi. Nilai ini menentukan seberapa jauh model bergerak mengikuti gradien saat mencoba menekan fungsi kesalahan, dan biasanya dilambangkan dengan huruf Yunani η. Laju pembelajaran termasuk pengaturan yang dipilih sebelum pelatihan, bukan nilai yang dipelajari model sendiri.
Cara termudah membayangkannya adalah menuruni sebuah bukit. Gradien menunjukkan arah menuju lembah, sedangkan laju pembelajaran menentukan panjang langkah. Langkah terlalu besar membuat Anda bisa melompati dasar lembah, sedangkan langkah terlalu kecil membuat perjalanan berjalan lambat.
Masalah yang Diatur Laju Pembelajaran
Selama machine learning, model memperbaiki bobotnya secara bertahap. Di setiap langkah, ia menghitung selisih antara prediksi dan data nyata, lalu menelusuri gradien untuk mengubah bobot agar kesalahan berikutnya lebih kecil. Laju pembelajaran berperan sebagai pengali pada perubahan itu.
Google Developers menjelaskan learning rate sebagai pengganda yang mengontrol seberapa kuat setiap bobot naik atau turun pada operasi mundur. Misalnya, kecepatan pembelajaran 0,3 menyesuaikan bobot tiga kali lebih kuat dibanding 0,1. Tanpa pengali yang wajar, proses penurunan gradien sulit dikendalikan.
Cara Kerjakan dalam Rumus
Pada penurunan gradien dasar, pembaruan bobot mengikuti rumus berikut.
[ \theta_{t+1} = \theta_t - \eta \, \nabla L(\theta_t) ]
Di sini (\theta_t) adalah bobot saat ini, (\nabla L(\theta_t)) adalah gradien fungsi kesalahan, dan (\eta) adalah laju pembelajaran. Gradien menentukan arah, sedangkan (\eta) menentukan jarak tempuh pada langkah itu.
Laju Terlalu Besar vs Terlalu Kecil
| Kondisi | Yang Terjadi | Tanda saat Pelatihan |
|---|---|---|
| Terlalu besar | Pembaruan melompati titik minimum, bisa berosilasi atau divergen | Kesalahan memantul atau justru naik |
| Terlalu kecil | Model bergerak lambat dan bisa tertahan di minimum lokal | Kesalahan turun sangat lambat |
| Seimbang | Kemajuan stabil menuju kesalahan yang lebih rendah | Kesalahan turun relatif konsisten |
Tidak ada satu angka yang selalu tepat untuk semua model. Nilai yang wajar bergantung pada skala data, optimizer, dan cara fitur disiapkan. IBM menekankan bahwa angka ini perlu diuji karena terlalu tinggi maupun terlalu rendah sama-sama menggagalkan tujuan pelatihan.
Jadwal Laju Pembelajaran
Banyak model tidak memakai satu nilai tetap, tetapi mengubahnya mengikuti jadwal.
- Peluruhan bertahap (step decay): laju diturunkan pada beberapa titik selama pelatihan.
- Peluruhan kosinus (cosine): laju mengekor kurva kosinus, turun lebih halus.
- Pemanasan (warmup): laju dimulai kecil lalu dinaikkan pada awal pelatihan, umum pada model besar.
Pemikirannya sederhana: langkah yang lebih besar berguna di awal untuk cepat mendekati target, lalu langkah kecil di akhir membantu menyesuaikan posisi tanpa melompati minimum.
Laju Pembelajaran Adaptif
Sejumlah optimizer menyesuaikan laju untuk setiap parameter secara terpisah, bukan memakai satu nilai global.
- AdaGrad: memberi laju lebih besar pada parameter yang jarang diperbarui, tetapi laju bisa terus mengecil.
- RMSProp: memakai rata-rata bergerak dari gradien kuadrat agar laju tidak menyusut berlebihan.
- Adam: menggabungkan momen pertama dan kedua, dengan koreksi bias, dan sering dipakai sebagai titik awal yang praktis.
Menurut tutorial DataCamp versi Indonesia, optimizer adaptif menyesuaikan learning rate per parameter sehingga cocok untuk data yang jarang (sparse) dan membantu meredam masalah gradien yang terlalu kecil. Tetap perlu diingat bahwa nilai awal pada optimizer tersebut adalah titik mula, bukan jawaban yang menjamin hasil.
Nilai Awal yang Sering Dipakai
| Situasi | Kisaran yang Biasa Dijadikan Titik Mulai |
|---|---|
| Penurunan gradien klasik | Sekitar 0,1 hingga 0,01 |
| Optimizer adaptif seperti Adam | Sering dimulai sekitar 0,001 |
| Eksperimen awal | Beberapa nilai diuji lalu dibandingkan |
Angka-angka ini hanya panduan memulai. Cara yang lebih dapat diandalkan adalah menguji beberapa nilai, memantau kurva kesalahan, dan memilih yang membuat penurunan stabil tanpa osilasi.
Pertanyaan yang Sering Muncul
Apa itu laju pembelajaran dengan bahasa sederhana?
Ia adalah pengaturan panjang langkah model saat memperbaiki diri. Nilai besar berarti berubah banyak dalam satu kali pembaruan, nilai kecil berarti berubah sedikit demi sedikit.
Apa yang terjadi jika laju pembelajaran terlalu besar?
Model bisa melompati titik terbaik, berosilasi, atau bahkan divergen sehingga kesalahan tidak turun dan bisa naik.
Apa yang terjadi jika nilainya terlalu kecil?
Pelatihan berjalan sangat lambat, membutuhkan lebih banyak iterasi, dan model bisa tertahan di minimum lokal yang kurang ideal.
Apakah nilai 0,001 selalu tepat untuk Adam?
Tidak. 0,001 hanyalah titik awal yang umum. Nilai terbaik tetap bergantung pada data dan model, sehingga perlu pengujian.
Apa bedanya jadwal dengan laju adaptif?
Jadwal mengubah laju global mengikuti rencana yang ditentukan, sedangkan metode adaptif menghitung laju berbeda untuk setiap parameter berdasarkan riwayat gradien.
Ringkasan
Laju pembelajaran mengontrol seberapa besar model memperbarui bobot di setiap langkah optimasi dan dilambangkan dengan η. Terlalu besar menyebabkan osilasi atau divergensi, terlalu kecil membuat pelatihan lambat. Jadwal dan optimizer adaptif membantu menyesuaikannya selama proses. Untuk memahami konteksnya, baca juga tentang penurunan gradien, jaringan saraf tiruan, dan regularisasi.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free