Apa Itu Gradient Boosting? Cara Kerja XGBoost untuk Pemula
Gradient boosting adalah teknik pembelajaran ansambel (ensemble) yang membangun sejumlah model lemah, biasanya berupa pohon keputusan, secara bertahap dan berurutan. Setiap pohon baru dilatih untuk memperbaiki kesalahan yang ditinggalkan pohon sebelumnya dengan mencocokkan gradien negatif fungsi kerugian, lalu menambahkan koreksi kecil pada prediksi. Teknik ini dipopulerkan Jerome Friedman dan menjadi dasar XGBoost, LightGBM, serta CatBoost.
Intuisi sederhana
Bayangkan seorang siswa mengerjakan soal, lalu seorang pengajar memeriksa dan menandai bagian yang masih salah. Siswa mengulang hanya pada bagian salah itu, pengajar kembali menandai sisa kesalahan, dan seterusnya sampai hasilnya membaik.
Gradient boosting bekerja dengan alur serupa. Model pertama membuat tebakan awal, model berikutnya fokus pada sisa kesalahan (residual), model berikutnya mengejar kesalahan yang masih tersisa, dan jumlah semua model membentuk prediksi akhir. Alih-alih satu pohon besar yang kaku, algoritma memakai banyak pohon kecil yang saling melengkapi.
Model lemah dan model kuat
Istilah model lemah (weak learner) merujuk pada model sederhana yang hanya sedikit lebih baik daripada menebak acak. Pada gradient boosting, model lemah yang umum adalah pohon keputusan yang dangkal.
Kekuatan algoritma tidak datang dari satu pohon, melainkan dari cara menggabungkan banyak pohon lemah menjadi satu model kuat. Setiap pohon memperbaiki kelemahan kumpulan pohon sebelumnya, sehingga kesalahan total menyusup turun secara bertahap.
Peran gradien dan fungsi kerugian
Nama gradient boosting berasal dari cara pohon baru dipilih. Pada setiap tahap, algoritma menghitung gradien negatif fungsi kerugian terhadap prediksi saat ini, lalu melatih pohon baru untuk mencocokkan arah tersebut.
- Pada kasus regresi dengan fungsi kerugian kuadrat, gradien ini sederhana: nilai aktual dikurangi nilai prediksi, yaitu residual itu sendiri.
- Pada kasus lain seperti klasifikasi log-loss, rumusnya berubah, tetapi idenya tetap: gradien menunjukkan arah dan besar koreksi yang menurunkan kerugian.
Dengan generalisasi ini, satu kerangka kerja dapat memakai berbagai fungsi kerugian untuk regresi maupun klasifikasi.
Langkah kerja gradient boosting
- Mulai dengan prediksi konstan, misalnya rata-rata target untuk regresi.
- Hitung residual atau gradien negatif dari model saat ini.
- Latih pohon baru untuk mencocokkan gradien tersebut.
- Tambahkan prediksi pohon dengan bobot kecil yang diatur laju pembelajaran (learning rate).
- Ulangi sampai jumlah pohon tercapai atau kinerja pada data validasi berhenti membaik.
Sifatnya yang berurutan membedakannya dari random forest, yang melatih banyak pohon secara independen lalu merata-ratakan hasil.
Gradient boosting vs random forest
| Aspek | Gradient boosting | Random forest |
|---|---|---|
| Cara latih | Berurutan, tiap pohon koreksi kesalahan | Paralel, pohon independen |
| Fokus | Mengejar kesalahan yang tersisa | Mengurangi varians lewat rata-rata |
| Penyetelan | Lebih sensitif, butuh kontrol overfitting | Lebih stabil dengan setelan bawaan |
| Kekuatan | Data tabular terstruktur | Umum, tahan terhadap derau |
XGBoost, LightGBM, dan CatBoost
Implementasi modern mempercepat dan memperkuat algoritma dasar.
| Pustaka | Ciri khas | Cocok saat |
|---|---|---|
| XGBoost | Regularisasi L1/L2, pemangkasan, penanganan nilai hilang | Sistem mapan yang mengutamakan keseimbangan |
| LightGBM | Tumbuh leaf-wise, histogram, latih lebih cepat | Dataset besar, iterasi cepat |
| CatBoost | Penanganan fitur kategorikal bawaan | Banyak fitur kategori dengan kardinalitas tinggi |
Rumah Coding menjelaskan bahwa XGBoost memakai regularisasi reg_alpha (L1) dan reg_lambda (L2), pemangkasan pohon, serta penanganan missing values secara otomatis untuk menekan overfitting. Riset di Garuda juga memakai XGBoost pada berbagai kasus prediksi, mulai dari harga aset kripto hingga curah hujan.
Cara menghindari overfitting
Karena pohon terus ditambahkan, model dapat terlalu menghafal data latih. Beberapa kontrol yang lazim dipakai:
- Laju pembelajaran kecil: tiap pohon hanya memberi koreksi kecil, sehingga perlu lebih banyak pohon tetapi hasil lebih halus.
- Penghentian dini (early stopping): berhenti saat kinerja data validasi tidak membaik dalam beberapa putaran.
- Regularisasi dan pembatasan kedalaman: mencegah pohon menjadi terlalu kompleks.
- Subsampling: memakai sebagian baris atau fitur pada tiap pohon.
Kelebihan dan keterbatasan
Gradient boosting sering memberi hasil yang kuat pada data tabular atau terstruktur, menangani campuran fitur numerik dan kategorikal, serta menyediakan skor kepentingan fitur (feature importance) yang membantu interpretasi. Di sisi lain, pelatihannya berurutan sehingga lebih sulit diparalelkan sepenuhnya, sensitif terhadap pilihan laju pembelajaran dan jumlah pohon, dan perlu penyetelan hati-hati agar tidak overfit.
FAQ
Apa itu gradient boosting secara singkat?
Teknik ansambel yang membangun pohon keputusan secara berurutan, dengan tiap pohon memperbaiki kesalahan pohon sebelumnya lewat gradien fungsi kerugian.
Apa bedanya dengan random forest?
Random forest melatih pohon independen dan merata-ratakan hasil, sedangkan gradient boosting melatih pohon berurutan yang saling mengoreksi kesalahan.
Mengapa XGBoost sering dipakai?
Karena menggabungkan regularisasi, pemangkasan, penanganan nilai hilang, dan optimasi yang cepat, sehingga efektif pada data tabular.
Bagaimana cara mencegah overfitting?
Memakai laju pembelajaran kecil, penghentian dini, regularisasi, serta membatasi kedalaman dan jumlah pohon.
Poin utama
- Gradient boosting membangun model lemah berurutan yang saling mengoreksi kesalahan.
- Pohon baru mencocokkan gradien negatif fungsi kerugian.
- XGBoost, LightGBM, dan CatBoost adalah implementasi yang banyak dipakai.
- Laju pembelajaran, penghentian dini, dan regularisasi menjaga model tetap umum.
Baca lanjutan pohon keputusan, regularisasi machine learning, dan apa itu overfitting.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free