ग्रेडिएंट बूस्टिंग क्या है? XGBoost कैसे काम करता है
ग्रेडिएंट बूस्टिंग (gradient boosting) एक एन्सेंबल (ensemble) मशीन लर्निंग तकनीक है जिसमें कई कमज़ोर मॉडल, आमतौर पर छोटे डिसिज़न ट्री (decision tree), एक के बाद एक क्रम से बनाए जाते हैं। हर नया ट्री पिछले मॉडल के बचे हुए लॉस के नेगेटिव ग्रेडिएंट को फ़िट करता है और भविष्यवाणी में एक छोटा सुधार जोड़ता है। यही सिद्धांत XGBoost, LightGBM और CatBoost का आधार है।
आसान भाषा में समझें
कल्पना कीजिए कि एक शिक्षक आपका कॉपी जाँचता है और गलत हिस्सों पर निशान लगाता है। आप सिर्फ़ उन गलत हिस्सों को दोबारा हल करते हैं, शिक्षक फिर से बची गलतियाँ बताता है, और यह सिलसिला तब तक चलता है जब तक नतीजे बेहतर नहीं हो जाते।
ग्रेडिएंट बूस्टिंग कुछ ऐसा ही करता है। पहला मॉडल एक शुरुआती अनुमान लगाता है, अगला मॉडल बची हुई गलतियों (रेज़िड्यूअल) पर ध्यान देता है, और अगला मॉडल शेष त्रुटि पकड़ता है। सभी मॉडलों का योग अंतिम भविष्यवाणी बनाता है।
कमज़ोर लर्नर और मज़बूत मॉडल
कमज़ोर लर्नर (weak learner) का मतलब है एक सरल मॉडल जो यादृच्छिक अनुमान से थोड़ा ही बेहतर होता है। ग्रेडिएंट बूस्टिंग में आमतौर पर उथले (shallow) डिसिज़न ट्री कमज़ोर लर्नर का काम करते हैं।
ताकत किसी एक ट्री में नहीं, बल्कि कई कमज़ोर ट्री को जोड़ने में है। हर नया ट्री पिछले मॉडल की कमज़ोरी सुधारता है, जिससे कुल त्रुटि धीरे-धीरे घटती है।
ग्रेडिएंट और लॉस फ़ंक्शन की भूमिका
नाम का "ग्रेडिएंट" इस बात से आता है कि नया ट्री कैसे चुना जाता है। हर चरण में मौजूदा भविष्यवाणी के लिए लॉस फ़ंक्शन के नेगेटिव ग्रेडिएंट की गणना होती है, और नया ट्री उसी दिशा को फ़िट करता है।
- स्क्वायर्ड एरर (squared error) वाले रिग्रेशन में यह ग्रेडिएंट सरल है: वास्तविक मान घटा अनुमानित मान, यानी रेज़िड्यूअल।
- लॉग-लॉस (log-loss) जैसे अन्य मामलों में सूत्र बदलता है, लेकिन विचार वही रहता है: ग्रेडिएंट बताता है कि लॉस घटाने के लिए किस दिशा में सुधार करना है।
PrimeLearnPoint समझाता है कि XGBoost केवल प्रथम अवकलज (ग्रेडिएंट) के बजाय द्वितीय-कोटि टेलर विस्तार इस्तेमाल करता है, यानी ग्रेडिएंट और हेसियन (Hessian, वक्रता) दोनों, जिससे हर लीफ़ का वज़न अधिक उपयुक्त तय होता है।
ग्रेडिएंट बूस्टिंग के चरण
- एक स्थिर अनुमान से शुरू करें, जैसे रिग्रेशन में लक्ष्य का माध्य।
- मौजूदा मॉडल के रेज़िड्यूअल या नेगेटिव ग्रेडिएंट निकालें।
- उस ग्रेडिएंट को फ़िट करने के लिए नया ट्री प्रशिक्षित करें।
- ट्री की भविष्यवाणी को लर्निंग रेट से नियंत्रित छोटे वज़न के साथ जोड़ें।
- तय संख्या तक या वैलिडेशन नतीजे रुकने तक दोहराएँ।
यह क्रमिक प्रक्रिया रैंडम फ़ॉरेस्ट से अलग है, जिसमें कई ट्री स्वतंत्र रूप से बनते हैं और फिर उनका औसत लिया जाता है।
ग्रेडिएंट बूस्टिंग बनाम रैंडम फ़ॉरेस्ट
| पहलू | ग्रेडिएंट बूस्टिंग | रैंडम फ़ॉरेस्ट |
|---|---|---|
| प्रशिक्षण | क्रमिक, हर ट्री त्रुटि सुधारता है | समानांतर, ट्री स्वतंत्र |
| फ़ोकस | बची हुई गलतियाँ पकड़ना | औसत से वेरिएंस घटाना |
| ट्यूनिंग | अधिक संवेदनशील, ओवरफिटिंग नियंत्रण ज़रूरी | डिफ़ॉल्ट सेटिंग में स्थिर |
| ताकत | संरचित टेबुलर डेटा | सामान्य, शोर के प्रति सहनशील |
XGBoost, LightGBM और CatBoost
| लाइब्रेरी | खासियत | कब चुनें |
|---|---|---|
| XGBoost | L1/L2 रेगुलराइज़ेशन, प्रूनिंग, गुम मानों का इलाज | संतुलित, भरोसेमंद सिस्टम |
| LightGBM | लीफ़-वाइज़ वृद्धि, हिस्टोग्राम, तेज़ प्रशिक्षण | बड़ा डेटासेट, तेज़ पुनरावृत्ति |
| CatBoost | श्रेणीगत फ़ीचर का अंतर्निहित संचालन | उच्च-कार्डिनैलिटी श्रेणी फ़ीचर |
ओवरफिटिंग से बचाव
ट्री लगातार जुड़ते हैं, इसलिए मॉडल प्रशिक्षण डेटा रट सकता है। सामान्य उपाय:
- छोटा लर्निंग रेट: हर ट्री छोटा सुधार देता है, परिणाम अधिक कोमल होता है।
- अर्ली स्टॉपिंग: वैलिडेशन नतीजे न सुधरें तो रुकना।
- रेगुलराइज़ेशन और गहराई की सीमा: ट्री को अत्यधिक जटिल होने से रोकना।
- सबसैंपलिंग: हर ट्री में कुछ पंक्तियाँ या फ़ीचर ही उपयोग करना।
फ़ायदे और सीमाएँ
ग्रेडिएंट बूस्टिंग टेबुलर या संरचित डेटा पर मज़बूत नतीजे देता है, संख्यात्मक और श्रेणीगत फ़ीचर दोनों संभालता है, और फ़ीचर इम्पोर्टेंस स्कोर देता है जिससे व्याख्या आसान होती है। दूसरी ओर, प्रशिक्षण क्रमिक होने से पूरी तरह समानांतर करना कठिन है, और लर्निंग रेट व ट्री संख्या के प्रति संवेदनशील होने के कारण सावधान ट्यूनिंग ज़रूरी है।
FAQ
ग्रेडिएंट बूस्टिंग संक्षेप में क्या है?
एक एन्सेंबल तकनीक जिसमें डिसिज़न ट्री क्रम से बनते हैं और हर ट्री लॉस फ़ंक्शन के ग्रेडिएंट की मदद से पिछली गलतियाँ सुधारता है।
यह रैंडम फ़ॉरेस्ट से कैसे अलग है?
रैंडम फ़ॉरेस्ट स्वतंत्र ट्री का औसत लेता है, जबकि ग्रेडिएंट बूस्टिंग क्रमिक ट्री बनाकर त्रुटियाँ सुधारता है।
XGBoost हेसियन का उपयोग क्यों करता है?
द्वितीय अवकलज से लीफ़ का वज़न बेहतर तय होता है और मॉडल अधिक स्थिर होता है।
ओवरफिटिंग कैसे रोकें?
छोटे लर्निंग रेट, अर्ली स्टॉपिंग, रेगुलराइज़ेशन और ट्री की गहराई सीमित करके।
मुख्य बातें
- ग्रेडिएंट बूस्टिंग कमज़ोर मॉडल क्रम से बनाकर त्रुटि सुधारता है।
- नया ट्री लॉस के नेगेटिव ग्रेडिएंट को फ़िट करता है।
- XGBoost, LightGBM और CatBoost प्रमुख कार्यान्वयन हैं।
- लर्निंग रेट, अर्ली स्टॉपिंग और रेगुलराइज़ेशन सामान्यता बनाए रखते हैं।
आगे पढ़ें डिसिज़न ट्री क्या है, रेगुलराइज़ेशन क्या है, और ओवरफिटिंग क्या है।
संपादकीय टिप्पणी: इस लेख की अब दो स्वतंत्र स्रोतों (मूल स्रोत और IBM Think अंग्रेज़ी संस्करण) से क्रॉस-जाँच हो चुकी है, इसलिए दो-स्रोत मानदंड पूरा हो गया है। मातृभाषा समीक्षा अभी भी लंबित है, जिसके बाद ही स्थिति औपचारिक की जाएगी।
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free