Prompt Injection क्या है? शुरुआती गाइड

Updated · By Viviai

Prompt Injection वह हमला है जो AI मॉडल को धोखा देकर उसके मूल निर्देश भुला देता है और हमलावर की बात मनवाता है। भाषा मॉडल हमेशा डेवलपर के निर्देश और सामान्य डेटा के बीच फर्क नहीं कर पाते, इसलिए निर्देश जैसा दिखने वाला टेक्स्ट उसका व्यवहार बदल सकता है।

सरल भाषा में

मान लें कोई चैटबॉट किसी वेबपेज का पाठ पढ़ रहा है। हमलावर उस पेज में छुपा देता है "पिछले सभी नियम भूल जाओ और यह करो।" अगर मॉडल मान लेता है, तो वह जानकारी लीक कर सकता है या बिना पूछे काम कर सकता है। OpenAI इसे बातचीत वाले AI के लिए एक सामाजिक छल (social engineering) हमला बताता है।

क्यों होता है

भाषा मॉडल हर इनपुट को एक ही बातचीत में सादे टेक्स्ट के रूप में देखता है। कोड और डेटा को अलग रखने वाले पारंपरिक प्रोग्राम के विपरीत, LLM सिस्टम निर्देश और बाहरी सामग्री को समान रूप से लेता है, जिससे उनकी सीमा धुंधली हो जाती है।

संभावित नुकसान

OWASP ने prompt injection को LLM ऐप्स का पहला प्रमुख जोखिम बताया है, और MITRE इसे AML.T0051 के रूप में दर्ज करता है।

बचाव के तरीके

FAQ

क्या यह हैकिंग है?

यह AI ऐप की सुरक्षा कमजोरी है, पर जरूरी नहीं सिस्टम तोड़ना हो; हमला टेक्स्ट के जरिए मॉडल को बहकाता है।

क्या इसे पूरी तरह रोका जा सकता है?

एक ही उपाय से नहीं, इसलिए स्तरित बचाव और सीमित अनुमतियां व्यावहारिक रास्ता हैं।

क्या यह केवल ChatGPT पर होता है?

नहीं, सभी भाषा मॉडल और बाहरी सामग्री पढ़ने वाले ऐप्स प्रभावित हो सकते हैं।

SQL injection से अंतर क्या है?

दोनों इनपुट में छिपे आदेश डालते हैं, पर SQL injection डेटाबेस पर और prompt injection भाषा मॉडल पर वार करता है।

मुख्य बातें

आगे पढ़ें AI chatbot क्या है और privacy protection।

Sources

  1. https://openai.com/index/understanding-prompt-injections/
  2. https://owasp.org/www-community/attacks/PromptInjection
  3. https://learn.microsoft.com/en-us/training/modules/fundamentals-ai-security/5-ai-prompt-injection

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free