Optimizer Kya Hai? मॉडल को सीखने की दिशा और चाल बताने वाला एल्गोरिदम
ऑप्टिमाइज़र (optimizer) एक एल्गोरिदम है जो प्रशिक्षण के दौरान हानि फलन को कम करने के लिए तंत्रिका नेटवर्क के वेट और बायस को बार-बार अद्यतन करता है; यह तय करता है कि बैकप्रोपेगेशन से मिले ग्रेडिएंट के आधार पर वेट को किस दिशा में और कितनी बड़ी चाल (step) से बदला जाए। सीधे शब्दों में, ऑप्टिमाइज़र वह प्रक्रिया है जिसके माध्यम से मॉडल वास्तव में "सीखता" है।
ऑप्टिमाइज़र की आवश्यकता क्यों है
प्रशिक्षण के प्रत्येक चरण में मॉडल एक भविष्यवाणी करता है, हानि फलन यह बताता है कि भविष्यवाणी कितनी गलत है, और बैकप्रोपेगेशन हर वेट के लिए ग्रेडिएंट (त्रुटि का ढलान) निकालता है। ग्रेडिएंट केवल दिशा संकेत है; यह स्वयं वेट को नहीं बदलता। वेट को अद्यतन करने का नियम ऑप्टिमाइज़र निर्धारित करता है।
एक उपयुक्त ऑप्टिमाइज़र के बिना प्रशिक्षण बहुत धीमा हो सकता है, या मॉडल किसी स्थानीय निम्नतम (local minimum) अथवा सैडल बिंदु (saddle point) पर अटक सकता है।
ग्रेडिएंट डिसेंट से SGD तक
मूल ग्रेडिएंट डिसेंट हर वेट-अद्यतन के लिए पूरे डेटासेट का मूल्यांकन करता है, जो बड़े डेटासेट पर धीमा और मेमोरी-भारी होता है। स्टोकास्टिक ग्रेडिएंट डिसेंट (SGD) इसके बजाय हर बार एक छोटे मिनी-बैच (mini-batch) पर ग्रेडिएंट निकालकर वेट अद्यतन करता है:
[ w_{t+1} = w_t - \alpha g_t ]
यहाँ ( \alpha ) सीखने की दर (learning rate) है और ( g_t ) मिनी-बैच का ग्रेडिएंट। मिनी-बैच उपयोग करने से अद्यतन अधिक बार और तेज़ी से होते हैं। एक सीमा यह है कि तिरछी ढलान (steep ravine) वाले हानि-पृष्ठ पर SGD दोनों ओर ज़ोर से दोलन (oscillate) कर सकता है और आगे धीरे बढ़ता है।
मोमेंटम के साथ SGD
मोमेंटम (momentum) भौतिकी के जड़त्व विचार से प्रेरित है और पिछले ग्रेडिएंट का एक चल-औसत (velocity) बनाए रखता है:
[ v_t = \beta v_{t-1} + (1-\beta) g_t, \qquad w_{t+1} = w_t - \alpha v_t ]
( \beta ) प्रायः लगभग 0.9 रखा जाता है। विपरीत दिशाओं के दोलन एक-दूसरे को रद्द कर देते हैं, जिससे मॉडल घाटी के तल पर तेज़ी से लुढ़कता है और छोटे उभारों तथा स्थानीय निम्नतम से बाहर निकल सकता है।
Adam: अनुकूली सीखने की दर
Adam (Adaptive Moment Estimation) को 2014 में Diederik Kingma और Jimmy Ba ने प्रस्तावित किया। यह दो विचारों को जोड़ता है: पहला क्षण ( m_t ) (मोमेंटम, ग्रेडिएंट का चल-औसत) और दूसरा क्षण ( v_t ) (RMSProp, वर्गित ग्रेडिएंट का चल-औसत)।
[ m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t, \qquad v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2 ]
चूंकि शुरुआत में ( m_0 ) और ( v_0 ) शून्य होते हैं, इसलिए पूर्वाग्रह संशोधन (bias correction) किया जाता है, और अंतिम अद्यतन इस प्रकार होता है:
[ w_{t+1} = w_t - \frac{\alpha}{\sqrt{\hat{v}_t}+\epsilon}\,\hat{m}_t ]
यहाँ ( \beta_1 ) प्रायः लगभग 0.9, ( \beta_2 ) लगभग 0.999 होता है, और ( \epsilon ) (प्रायः (10^{-8})) एक छोटी संख्या है जो विभाजन-शून्य त्रुटि (division by zero) से बचाती है। Adam हर वेट के लिए प्रभावी सीखने की दर को अनुकूलित करता है और आमतौर पर अलग से अधिक ट्यूनिंग के बिना काम करता है, इसलिए यह तेज़ प्रोटोटाइप के लिए सुविधाजनक है।
AdamW: विकेंद्रित वेट डिके
2017 में Ilya Loshchilov और Frank Hutter ने बताया कि मानक Adam में L2 नियमितीकरण (weight decay) अनुकूली हर (( \sqrt{v_t} )) से विभाजित हो जाता है, जिससे जटिल मॉडलों का नियमितीकरण अपेक्षाकृत कम प्रभावी हो सकता है। AdamW (decoupled weight decay) वेट डिके को ग्रेडिएंट अद्यतन से अलग करके सीधे वेट पर लागू करता है।
ट्रांसफ़ॉर्मर और बड़े भाषा मॉडलों के प्रशिक्षण, जैसे BERT और LLM पाइपलाइन, में AdamW एक सामान्य डिफ़ॉल्ट विकल्प है। यह नियमितीकरण के साथ मिलकर ओवरफ़िटिंग को कम करने में सहायता करता है।
सीखने की दर शेड्यूलर
पूरे प्रशिक्षण में एक स्थिर सीखने की दर रखना उपयुक्त नहीं होता। पेशेवर पाइपलाइन शेड्यूलर का उपयोग करते हैं:
- वार्मअप (warmup): शुरुआती कुछ चरणों में सीखने की दर को शून्य से चरम तक धीरे-धीरे बढ़ाया जाता है, ताकि यादृच्छिक प्रारंभिक वेट अचानक अस्थिर न हों।
- कोसाइन एनीलिंग (cosine annealing): चरम के बाद दर एक चिकने कोसाइन वक्र से धीरे-धीरे घटती है, जिससे मॉडल अंत में अधिक स्थिर निम्नतम पर टिकता है।
ऑप्टिमाइज़र चयन तालिका
| ऑप्टिमाइज़र | अतिरिक्त मेमोरी | ट्यूनिंग | सामान्य उपयोग परिदृश्य |
|---|---|---|---|
| SGD with Momentum | कम | अपेक्षाकृत अधिक | कंप्यूटर विज़न, कन्वोल्यूशनल मॉडल |
| Adam | अधिक (दो अवस्थाएँ) | कम | तेज़ प्रोटोटाइप, सामान्य प्रयोग |
| AdamW | अधिक (दो अवस्थाएँ) | कम | ट्रांसफ़ॉर्मर, बड़े भाषा मॉडल |
| RMSProp | मध्यम | कम | आवर्ती नेटवर्क (RNN/LSTM) |
संबंधित अवधारणाएँ
ऑप्टिमाइज़र हानि फलन के मान को कम करता है, बैकप्रोपेगेशन ग्रेडिएंट प्रदान करता है, और सक्रियण फलन नेटवर्क को अरैखिकता देता है। गहन शिक्षण और तंत्रिका नेटवर्क में ये घटक एक साथ कार्य करते हैं।
FAQ
ऑप्टिमाइज़र और ग्रेडिएंट डिसेंट में क्या अंतर है?
ग्रेडिएंट डिसेंट वह मूल विचार है जो ग्रेडिएंट की विपरीत दिशा में वेट बदलता है; SGD, Adam और AdamW इसी विचार के विशिष्ट कार्यान्वयन (ऑप्टिमाइज़र) हैं जो अद्यतन की चाल और स्थिरता को अलग-अलग तरीके से संभालते हैं।
Adam में epsilon क्यों होता है?
अद्यतन सूत्र के हर में ( \sqrt{\hat{v}_t}+\epsilon ) आता है। यदि किसी वेट का ग्रेडिएंट शून्य हो जाए, तो ( \epsilon ) विभाजन-शून्य से बचाकर संख्यात्मक स्थिरता बनाए रखता है।
Adam और AdamW में क्या अंतर है?
AdamW वेट डिके को ग्रेडिएंट अद्यतन से अलग (decoupled) करके लागू करता है, जिससे ट्रांसफ़ॉर्मर जैसे मॉडलों का नियमितीकरण अधिक नियंत्रित रहता है। Adam में weight decay अनुकूली हर के साथ मिल जाता है।
सीखने की दर बहुत बड़ी या बहुत छोटी हो तो क्या होता है?
बहुत बड़ी दर से प्रशिक्षण अस्थिर हो सकता है और हानि उछलने लगती है; बहुत छोटी दर से सीखने की गति बहुत धीमी हो जाती है या मॉडल जल्दी किसी बिंदु पर अटक सकता है।
क्या ऑप्टिमाइज़र यथार्थता (accuracy) को सीधे अनुकूलित करता है?
नहीं। ऑप्टिमाइज़र अवकलनीय हानि फलन को कम करता है। यथार्थता एक सोपान-जैसा मान है जिसका अवकलज प्रायः शून्य होता है, इसलिए उसे सीधे कैलकुलस आधारित अनुकूलन से नहीं घटाया जाता।
मुख्य बातें
- ऑप्टिमाइज़र ग्रेडिएंट के आधार पर वेट अद्यतन करके हानि कम करता है।
- SGD मिनी-बैच उपयोग करता है; मोमेंटम दोलन घटाता है; Adam अनुकूली दर देता है।
- AdamW weight decay को अलग करके लागू करता है और ट्रांसफ़ॉर्मर/LLM प्रशिक्षण में सामान्य है।
- warmup और cosine annealing जैसे शेड्यूलर सीखने की दर को प्रशिक्षण के दौरान नियंत्रित करते हैं।
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free