Apa Itu Gradient Boosting? Cara Kerja XGBoost untuk Pemula

Updated · By Viviai

Gradient boosting adalah teknik pembelajaran ansambel (ensemble) yang membangun sejumlah model lemah, biasanya berupa pohon keputusan, secara bertahap dan berurutan. Setiap pohon baru dilatih untuk memperbaiki kesalahan yang ditinggalkan pohon sebelumnya dengan mencocokkan gradien negatif fungsi kerugian, lalu menambahkan koreksi kecil pada prediksi. Teknik ini dipopulerkan Jerome Friedman dan menjadi dasar XGBoost, LightGBM, serta CatBoost.

Intuisi sederhana

Bayangkan seorang siswa mengerjakan soal, lalu seorang pengajar memeriksa dan menandai bagian yang masih salah. Siswa mengulang hanya pada bagian salah itu, pengajar kembali menandai sisa kesalahan, dan seterusnya sampai hasilnya membaik.

Gradient boosting bekerja dengan alur serupa. Model pertama membuat tebakan awal, model berikutnya fokus pada sisa kesalahan (residual), model berikutnya mengejar kesalahan yang masih tersisa, dan jumlah semua model membentuk prediksi akhir. Alih-alih satu pohon besar yang kaku, algoritma memakai banyak pohon kecil yang saling melengkapi.

Model lemah dan model kuat

Istilah model lemah (weak learner) merujuk pada model sederhana yang hanya sedikit lebih baik daripada menebak acak. Pada gradient boosting, model lemah yang umum adalah pohon keputusan yang dangkal.

Kekuatan algoritma tidak datang dari satu pohon, melainkan dari cara menggabungkan banyak pohon lemah menjadi satu model kuat. Setiap pohon memperbaiki kelemahan kumpulan pohon sebelumnya, sehingga kesalahan total menyusup turun secara bertahap.

Peran gradien dan fungsi kerugian

Nama gradient boosting berasal dari cara pohon baru dipilih. Pada setiap tahap, algoritma menghitung gradien negatif fungsi kerugian terhadap prediksi saat ini, lalu melatih pohon baru untuk mencocokkan arah tersebut.

Dengan generalisasi ini, satu kerangka kerja dapat memakai berbagai fungsi kerugian untuk regresi maupun klasifikasi.

Langkah kerja gradient boosting

  1. Mulai dengan prediksi konstan, misalnya rata-rata target untuk regresi.
  2. Hitung residual atau gradien negatif dari model saat ini.
  3. Latih pohon baru untuk mencocokkan gradien tersebut.
  4. Tambahkan prediksi pohon dengan bobot kecil yang diatur laju pembelajaran (learning rate).
  5. Ulangi sampai jumlah pohon tercapai atau kinerja pada data validasi berhenti membaik.

Sifatnya yang berurutan membedakannya dari random forest, yang melatih banyak pohon secara independen lalu merata-ratakan hasil.

Gradient boosting vs random forest

Aspek Gradient boosting Random forest
Cara latih Berurutan, tiap pohon koreksi kesalahan Paralel, pohon independen
Fokus Mengejar kesalahan yang tersisa Mengurangi varians lewat rata-rata
Penyetelan Lebih sensitif, butuh kontrol overfitting Lebih stabil dengan setelan bawaan
Kekuatan Data tabular terstruktur Umum, tahan terhadap derau

XGBoost, LightGBM, dan CatBoost

Implementasi modern mempercepat dan memperkuat algoritma dasar.

Pustaka Ciri khas Cocok saat
XGBoost Regularisasi L1/L2, pemangkasan, penanganan nilai hilang Sistem mapan yang mengutamakan keseimbangan
LightGBM Tumbuh leaf-wise, histogram, latih lebih cepat Dataset besar, iterasi cepat
CatBoost Penanganan fitur kategorikal bawaan Banyak fitur kategori dengan kardinalitas tinggi

Rumah Coding menjelaskan bahwa XGBoost memakai regularisasi reg_alpha (L1) dan reg_lambda (L2), pemangkasan pohon, serta penanganan missing values secara otomatis untuk menekan overfitting. Riset di Garuda juga memakai XGBoost pada berbagai kasus prediksi, mulai dari harga aset kripto hingga curah hujan.

Cara menghindari overfitting

Karena pohon terus ditambahkan, model dapat terlalu menghafal data latih. Beberapa kontrol yang lazim dipakai:

Kelebihan dan keterbatasan

Gradient boosting sering memberi hasil yang kuat pada data tabular atau terstruktur, menangani campuran fitur numerik dan kategorikal, serta menyediakan skor kepentingan fitur (feature importance) yang membantu interpretasi. Di sisi lain, pelatihannya berurutan sehingga lebih sulit diparalelkan sepenuhnya, sensitif terhadap pilihan laju pembelajaran dan jumlah pohon, dan perlu penyetelan hati-hati agar tidak overfit.

FAQ

Apa itu gradient boosting secara singkat?

Teknik ansambel yang membangun pohon keputusan secara berurutan, dengan tiap pohon memperbaiki kesalahan pohon sebelumnya lewat gradien fungsi kerugian.

Apa bedanya dengan random forest?

Random forest melatih pohon independen dan merata-ratakan hasil, sedangkan gradient boosting melatih pohon berurutan yang saling mengoreksi kesalahan.

Mengapa XGBoost sering dipakai?

Karena menggabungkan regularisasi, pemangkasan, penanganan nilai hilang, dan optimasi yang cepat, sehingga efektif pada data tabular.

Bagaimana cara mencegah overfitting?

Memakai laju pembelajaran kecil, penghentian dini, regularisasi, serta membatasi kedalaman dan jumlah pohon.

Poin utama

Baca lanjutan pohon keputusan, regularisasi machine learning, dan apa itu overfitting.

Sources

  1. https://rumahcoding.co.id/blog/memahami-algoritma-gradient-boosting-implementasi-xgboost-dan-lightgbm-untuk-regresi-dan-klasifi/
  2. https://garuda.kemdiktisaintek.go.id/author/view/1582333
  3. https://repository.unhas.ac.id/id/eprint/51900/

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free