Apa Itu Regularisasi dalam Machine Learning? Cara Mengurangi Overfitting

Updated · By Viviai

Regularisasi adalah sekumpulan teknik dalam machine learning yang membatasi atau memberi penalti pada kompleksitas model, agar model tidak sekadar menghafal data latih melainkan lebih mampu menggeneralisasi data baru. Cara paling umum adalah menambahkan term penalti pada fungsi kerugian, sehingga bobot yang terlalu besar ikut dihukum dan risiko overfitting berkurang.

Intuisi sederhana

Bayangkan dua siswa menghadapi ujian. Siswa pertama menghafal semua catatan, termasuk satu contoh janggal yang hanya disebut sekali; nilai latihannya tinggi, tetapi saat ujian sebenarnya nilainya turun. Siswa kedua hanya memegang aturan inti yang sederhana; nilai latihannya sedikit lebih rendah, tetapi nilai ujiannya stabil.

Regularisasi bekerja seperti disiplin siswa kedua. Ia membuat model lebih menyukai pola umum yang sederhana daripada menghafal derau dan pasang surut acak di dalam data.

Mengapa regularisasi diperlukan

Saat model terlalu kuat atau jumlah fiturnya banyak, model dapat menyesuaikan diri terlalu erat dengan data latih, termasuk derau di dalamnya. Kondisi ini disebut overfitting: kinerja pada data yang sudah dilihat tampak bagus, tetapi kinerja pada data baru justru buruk.

DataCamp menjelaskan bahwa tanpa batasan, model memiliki keluwesan untuk menekan error latih sekecil mungkin. Regularisasi menahan keluwesan ini dengan menambahkan penalti, sehingga model mencari keseimbangan antara mencocokkan data dan tetap sederhana.

L1 dan L2: dua bentuk penalti yang umum

Aspek L1 (regresi Lasso) L2 (regresi Ridge)
Term penalti Jumlah nilai absolut koefisien Jumlah kuadrat koefisien
Efek pada bobot Sebagian menjadi tepat nol Semua mengecil, jarang mencapai nol
Seleksi fitur Ya, bersifat otomatis Tidak
Model yang dihasilkan Spars (sedikit fitur aktif) Padat, banyak fitur dengan bobot kecil
Cocok saat Banyak fitur tidak relevan Sebagian besar fitur relevan

Cara kerja L2 (regresi Ridge)

L2 memberi penalti sebanding dengan kuadrat besarnya koefisien. Semakin besar sebuah koefisien, semakin besar penalti yang ditimbulkannya, sehingga model terdorong mengecilkan bobot. Kata kuncinya adalah mengecilkan: L2 menarik koefisien ke arah nol tetapi pada praktiknya tidak menghapusnya sampai nol, sehingga setiap fitur tetap memberi kontribusi.

Pada model yang dilatih dengan penurunan gradien, L2 sering disebut weight decay karena bobot menyusut sedikit pada setiap pembaruan.

Cara kerja L1 (regresi Lasso)

L1 memberi penalti pada nilai absolut koefisien, bukan kuadratnya. Tarikannya tetap besar sampai koefisien mencapai nol, sehingga banyak koefisien yang lemah terdorong menjadi tepat nol. Inilah yang membuat L1 berfungsi sebagai seleksi fitur otomatis dan menghasilkan model yang lebih sederhana serta lebih mudah dijelaskan.

Penelitian yang tercatat di Garuda memakai LASSO dan Ridge untuk regresi linier berganda pada data berdimensi tinggi, guna mengatasi multikolinearitas, dan membandingkan keduanya lewat nilai mean squared error.

Teknik regularisasi lain

Selain penalti pada bobot, beberapa teknik lain juga dipakai untuk menekan overfitting:

Peran parameter alpha atau lambda

Kekuatan penalti diatur oleh sebuah hiperparameter yang sering ditulis alpha (α) atau lambda (λ). Nilai yang kecil hanya memberi batasan ringan, sedangkan nilai yang besar menekan model lebih kuat. Jika terlalu besar, model bisa menjadi terlalu sederhana dan justru underfit, sehingga nilainya lazim disetel melalui validasi silang.

Kelebihan dan keterbatasan

Regularisasi membantu model bekerja lebih stabil pada data baru dan memperbaiki keseimbangan bias-varians, dengan menerima sedikit kenaikan bias untuk menurunkan varians yang lebih besar. Di sisi lain, penalti yang terlalu kuat dapat menghilangkan pola yang sebenarnya berguna, dan pilihan jenis serta kekuatan regularisasi perlu diuji pada data masing-masing.

FAQ

Apa itu regularisasi secara singkat?

Teknik yang menambahkan penalti untuk membatasi kompleksitas model, sehingga model lebih mengandalkan pola umum dan tidak menghafal derau data latih.

Apa bedanya L1 dan L2?

L1 memakai nilai absolut dan dapat membuat koefisien tepat nol (seleksi fitur), sedangkan L2 memakai kuadrat dan hanya mengecilkan bobot tanpa menghapusnya.

Apa yang dimaksud weight decay?

Pandangan L2 pada pelatihan berbasis gradien, di mana bobot menyusut sedikit pada setiap langkah pembaruan.

Bisakah regularisasi menyebabkan underfitting?

Bisa. Jika penalti terlalu kuat, model menjadi terlalu sederhana dan gagal menangkap pola yang berguna.

Poin utama

Baca lanjutan apa itu overfitting dan apa itu machine learning.

Sources

  1. https://www.datacamp.com/id/tutorial/regularization-in-machine-learning
  2. https://garuda.kemdiktisaintek.go.id/author/view/7271298

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free