लेखक: 
Generative AI कई बार ऐसा answer देता है जो भाषा में confident और believable लगता है, लेकिन factually गलत हो सकता है। इसे आम तौर पर “AI hallucination” कहा जाता है। NIST इसके लिए “confabulation” शब्द भी use करता है—यानी model ऐसा content generate करे जो गलत, fabricated या input से inconsistent हो।
AI Hallucination क्या है?
जब generative AI कोई गलत fact, fake citation, invented number या unsupported claim को confident तरीके से present करता है, तो वह hallucination का example हो सकता है। यह सिर्फ “bug” नहीं है; generative models statistical patterns के आधार पर next token predict करते हैं। इसलिए fluent output हमेशा factual output नहीं होता।
Simple example
अगर user किसी obscure report का exact statistic पूछे और model के पास reliable source न हो, तो वह plausible-looking number बना सकता है। इसी तरह model किसी non-existent research paper, fake URL या गलत date का reference दे सकता है।
Hallucination क्यों होती है?
1. Model probability पर text generate करता है
LLM database lookup engine नहीं है। वह learned patterns के आधार पर likely response generate करता है। अगर prompt ambiguous हो या factual evidence limited हो, तो wrong completion का risk बढ़ सकता है।
2. Training knowledge incomplete या outdated हो सकती है
Model के training data में हर niche fact या latest update नहीं होती। Current pricing, breaking news, policy changes या product specs जैसे areas में fresh sources जरूरी हैं।
3. Prompt ज्यादा broad हो सकता है
Open-ended prompt model को ज्यादा freedom देता है। अगर user exact source, date range और expected format define करे तो error risk कुछ कम हो सकता है।
4. Retrieved context गलत हो सकता है
RAG system में भी अगर retrieval irrelevant या outdated document लाए तो model उसी गलत context पर grounded answer दे सकता है।
Hallucination कम करने के practical तरीके
Trusted sources दें
Important factual task में model को official documents, verified pages या structured data उपलब्ध कराएं। “Internet पर search करो” से बेहतर है source priority define करना।
RAG या retrieval use करें
Relevant external knowledge retrieve करके prompt में देने से model को stronger factual context मिलता है। इससे hallucination पूरी तरह खत्म नहीं होती, लेकिन unsupported guessing की जरूरत कम हो सकती है।
Citations मांगें—और verify भी करें
Model से source links मांगना useful है, लेकिन generated citations को blindly trust न करें। Source open करके देखें कि claim वास्तव में supported है या नहीं।
Unknown answer की permission दें
System instruction में यह allowed होना चाहिए कि evidence न मिले तो model “मुझे पर्याप्त जानकारी नहीं मिली” कहे। हर सवाल का forced answer hallucination risk बढ़ा सकता है।
Structured output और constraints दें
Required fields, date range, allowed sources और format clear करने से task scope tight होता है।
Human review रखें
Finance, legal, health, regulatory, security और public-facing factual content में human verification जरूरी है। AI output को final authority नहीं मानना चाहिए।
कहाँ hallucination ज्यादा dangerous है?
- Financial figures और investment-related claims
- Medical information
- Legal interpretation
- Government policy और regulations
- Cybersecurity instructions
- Names, dates, quotes और allegations
क्या “temperature कम” करने से hallucination खत्म हो जाती है?
Lower randomness output को more consistent बना सकती है, लेकिन factual correctness guarantee नहीं करती। अगर underlying knowledge गलत है या source ही नहीं है, तो deterministic answer भी गलत हो सकता है।
Production AI system में क्या measure करना चाहिए?
- Groundedness: answer provided sources से supported है या नहीं
- Retrieval relevance: सही documents retrieve हुए या नहीं
- Factual accuracy: key claims independently सही हैं या नहीं
- Abstention quality: uncertainty में system सही समय पर answer रोकता है या नहीं
- Failure rate: known test cases में कितनी बार गलत output मिलता है
Bottom line
AI hallucination को सिर्फ better prompt से पूरी तरह solve नहीं किया जा सकता। Reliable systems trusted data, retrieval, validation, citations, evaluations और human review को combine करते हैं। सबसे important rule यह है: fluent language को evidence का substitute न मानें।
