Loss Function Kya Hai? मॉडल की त्रुटि मापने का गणितीय पैमाना
हानि फलन (loss function) एक गणितीय फलन है जो मॉडल की भविष्यवाणी और वास्तविक मान (ground truth) के बीच की त्रुटि को मापता है; यह बैकप्रोपेगेशन और ग्रेडिएंट डिसेंट को बताता है कि मॉडल कितना गलत है और वेट को किस दिशा में समायोजित किया जाए। प्रशिक्षण का लक्ष्य इस हानि को कम करना होता है।
Loss, Cost और Objective में अंतर
ये तीन शब्द अक्सर एक-दूसरे के स्थान पर उपयोग होते हैं, पर इनके बीच एक सूक्ष्म अंतर है:
| शब्द | अर्थ |
|---|---|
| Loss function | एकल प्रशिक्षण नमूने (single sample) की त्रुटि |
| Cost function | पूरे डेटासेट की सभी हानियों का औसत |
| Objective function | वह समग्र समीकरण जिसे मॉडल कम या अधिक करता है, जिसमें नियमितीकरण (regularization) भी शामिल हो सकता है |
सरल शब्दों में, हानि एक नमूने की गलती है, लागत पूरे डेटासेट की औसत गलती है, और उद्देश्य फलन में नियमितीकरण दंड जुड़ सकता है।
प्रतिगमन (Regression) के हानि फलन
जब लक्ष्य एक सतत संख्या हो, जैसे घर की कीमत या तापमान, तो निम्न हानि फलन प्रचलित हैं।
MSE (Mean Squared Error)
MSE हर त्रुटि का वर्ग करके औसत निकालता है:
[ \mathrm{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2 ]
इसका ग्रेडिएंट त्रुटि के समानुपाती होता है, जिससे त्रुटि घटते हुए समायोजन स्वतः छोटे होते हैं। एक सीमा यह है कि यह बाहरी मानों (outliers) के प्रति संवेदनशील होता है, क्योंकि बड़ी त्रुटि का वर्ग बहुत बड़ा दंड बन जाता है और फिट रेखा बाहरी मान की ओर खिंच सकती है।
MAE (Mean Absolute Error)
MAE त्रुटि का निरपेक्ष मान लेता है:
[ \mathrm{MAE} = \frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i| ]
यह बाहरी मानों से अपेक्षाकृत कम प्रभावित होता है। इसकी सीमा यह है कि शून्य पर यह अवकलनीय नहीं होता और न्यूनतम के निकट आकर चिकने ढंग से धीमा होने के बजाय उछल सकता है।
Huber Loss
Huber loss दोनों का मिश्रित रूप है। छोटी त्रुटि पर यह MSE जैसा चिकना व्यवहार देता है, और बड़ी त्रुटि पर MAE जैसा रैखिक दंड, ताकि बाहरी मान मॉडल को अत्यधिक विकृत न करें।
वर्गीकरण (Classification) के हानि फलन
वर्गीकरण में मॉडल प्रायिकताएँ देता है, इसलिए क्रॉस-एंट्रॉपी (cross-entropy) आधारित हानि उपयोग होती है।
Binary Cross-Entropy (BCE)
दो वर्गों की स्थिति में BCE उपयोग होता है। जब मॉडल सही वर्ग को उच्च प्रायिकता देता है, तो हानि छोटी होती है; जब वह ढाढ़स के साथ गलत वर्ग चुनता है, तो लॉगरिदमिक वक्र बड़ा दंड देता है।
Categorical Cross-Entropy (CCE)
दो से अधिक वर्गों की स्थिति में, आम तौर पर softmax आउटपुट के साथ CCE उपयोग होता है। हानि मुख्य रूप से सही वर्ग की प्रायिकता पर निर्भर करती है।
Focal Loss
जब वर्ग अत्यधिक असंतुलित हों, उदाहरण के लिए वस्तु पहचान में अधिकांश पृष्ठभूमि और बहुत कम लक्ष्य, तो focal loss आसान नमूनों का वजन घटाकर मॉडल का ध्यान कठिन और अल्पसंख्यक नमूनों पर केंद्रित करता है।
चुनाव तालिका
| समस्या का प्रकार | आउटपुट परत | उपयुक्त हानि फलन |
|---|---|---|
| प्रतिगमन (सामान्य डेटा) | रैखिक | MSE |
| प्रतिगमन (अधिक बाहरी मान) | रैखिक | Huber |
| द्विआधारी वर्गीकरण | Sigmoid | Binary Cross-Entropy |
| बहु-वर्ग वर्गीकरण | Softmax | Categorical Cross-Entropy |
| अत्यधिक असंतुलित वर्ग | Sigmoid | Focal Loss |
हानि और यथार्थता (Accuracy) में अंतर
अनुकूलन एल्गोरिदम, जैसे ग्रेडिएंट डिसेंट, हानि फलन को कम करते हैं, यथार्थता को सीधे नहीं। यथार्थता एक सोपान-जैसा (step) मान है जिसका अवकलज लगभग हर जगह शून्य होता है, इसलिए उस पर कैलकुलस आधारित अनुकूलन लागू नहीं होता। हानि फलन सतत और अवकलनीय होता है, इसीलिए प्रशिक्षण हानि पर चलता है।
संबंधित अवधारणाएँ
हानि फलन बैकप्रोपेगेशन और सक्रियण फलन के साथ मिलकर काम करता है। रैखिक प्रतिगमन और लॉजिस्टिक प्रतिगमन क्रमशः प्रतिगमन और वर्गीकरण हानि के उदाहरण हैं, जबकि नियमितीकरण उद्देश्य फलन में जुड़ने वाला दंड है।
FAQ
हानि फलन क्यों आवश्यक है?
यह मॉडल की त्रुटि को संख्या में बताता है, जिससे बैकप्रोपेगेशन और ग्रेडिएंट डिसेंट वेट को सही दिशा में समायोजित कर सकते हैं। बिना हानि मापे मॉडल को यह पता नहीं चलता कि वह सीख रहा है या नहीं।
MSE और MAE में क्या अंतर है?
MSE त्रुटि का वर्ग करता है और बाहरी मानों के प्रति संवेदनशील होता है; MAE निरपेक्ष त्रुटि लेता है और बाहरी मानों से कम प्रभावित होता है, पर शून्य पर अवकलनीय नहीं होता।
क्रॉस-एंट्रॉपी का उपयोग कब होता है?
वर्गीकरण में, जब मॉडल प्रायिकताएँ देता है। द्विआधारी वर्गीकरण के लिए BCE और बहु-वर्ग के लिए Categorical Cross-Entropy प्रचलित हैं।
Cost function और loss function एक ही हैं क्या?
नहीं। हानि फलन एक नमूने की त्रुटि मापता है, जबकि लागत फलन पूरे डेटासेट की हानियों का औसत होता है।
मॉडल हानि को अनुकूलित करता है या यथार्थता को?
मॉडल हानि फलन को कम करता है, क्योंकि वह अवकलनीय होता है। यथार्थता का अवकलज लगभग शून्य होता है, इसलिए उसे सीधे अनुकूलित नहीं किया जा सकता।
मुख्य बातें
- हानि फलन भविष्यवाणी और वास्तविक मान के बीच त्रुटि मापता है।
- MSE, MAE और Huber प्रतिगमन के लिए, तथा क्रॉस-एंट्रॉपी वर्गीकरण के लिए प्रचलित हैं।
- Loss एक नमूने की, cost पूरे डेटासेट की औसत त्रुटि होती है।
- अनुकूलन हानि पर चलता है, यथार्थता पर सीधे नहीं।
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free