WordPress llms.txt: यह क्या है, कैसे जोड़ें, और क्या इससे कुछ होता भी है

llms.txt एक सादी मार्कडाउन फ़ाइल है जिसे आप अपने डोमेन के रूट पर रखते हैं — https://example.com/llms.txt — और जिसमें आपके सबसे अच्छे पेज एक-एक लाइन के विवरण के साथ सूचीबद्ध होते हैं, ताकि कोई भाषा मॉडल आपकी पूरी नेविगेशन क्रॉल किए बिना आपकी काम की सामग्री तक पहुँच सके। यह एक प्रस्ताव है, मानक नहीं, और किसी बड़े AI प्रदाता ने सार्वजनिक रूप से यह पुष्टि नहीं की कि वह इस फ़ाइल को पढ़ता या उस पर अमल करता है।

इन दोनों बातों का महत्व है। फ़ॉर्मैट असली है, अच्छी तरह परिभाषित है, और इसे प्रकाशित करने में लगभग बीस मिनट लगते हैं। फ़ायदा अप्रमाणित है, और इसके इर्द-गिर्द जो कुछ आजकल बेचा जा रहा है उसका बड़ा हिस्सा इस बात पर ईमानदार नहीं है।

फ़ाइल असल में दिखती कैसी है

प्रस्तावित फ़ॉर्मैट मार्कडाउन है और उसका एक तय ढाँचा है: आपकी साइट के नाम वाला एक H1, वैकल्पिक ब्लॉककोट सारांश, फिर H2 सेक्शन जिनमें लिंक की बुलेट सूची हो और हर लिंक के बाद कोलन लगाकर छोटा विवरण। “Optional” नाम का सेक्शन बताता है कि जगह कम हो तो यह सामग्री छोड़ी जा सकती है।

# Odie Themes

> Free WordPress tools and technically honest guides for theme
> and image configuration problems.

## Guides

- [Why WordPress images look blurry after upload](https://example.com/guides/wordpress-image-blurry-after-upload): Why the 2560px cap creates a -scaled file and how to raise or disable it.
- [WordPress llms.txt](https://example.com/guides/wordpress-llms-txt): What the file is, how to add one, and what it does not do.

## Tools

- [Robots.txt generator](https://example.com/tools/wordpress-robots-txt-generator): Build a robots.txt with correct AI crawler rules.

## Optional

- [About](https://example.com/about): Who runs the site.

जानने लायक पूरा विनिर्देश बस इतना ही है। लिंक निरपेक्ष (absolute) होने चाहिए। विवरण एक वाक्य का और तथ्यपरक हो, मार्केटिंग कॉपी नहीं — पूरी बुनियाद ही यह है कि इसे मशीन पढ़ रही है, और भरे हुए विशेषण उन्हीं टोकन को बर्बाद करते हैं जिन्हें आप बचाने चले थे।

आपको llms-full.txt भी दिखेगी — एक साथी परंपरा जिसमें आपकी सामग्री का पूरा मार्कडाउन एक ही फ़ाइल में रहता है। यह कहीं ज़्यादा भारी है और llms.txt से भी कम सबूत वाली। जब तक कोई ख़ास वजह न हो, इसे छोड़ दीजिए।

ईमानदार हिस्सा

OpenAI, Anthropic, Google या Perplexity के किसी सार्वजनिक दस्तावेज़ में यह नहीं लिखा कि उनके क्रॉलर या रिट्रीवल सिस्टम llms.txt का उपयोग करते हैं। Google सार्वजनिक रूप से बता चुका है कि वह इसे सर्च के लिए इस्तेमाल नहीं करता। साइट मालिकों को सर्वर लॉग में इस फ़ाइल की रिक्वेस्ट ज़रूर दिखती हैं, पर एक फ़ेच इस बात का सबूत नहीं कि उस सामग्री ने किसी जवाब को गढ़ा — बहुत से बॉट यूँ ही अंदाज़े से फ़ाइलें टटोलते रहते हैं।

तो जो दावे आपके सामने आएँ, उनसे सावधान रहिए:

जो दावा आपको दिखेगा	स्थिति
”llms.txt AI के लिए नया robots.txt है”	ग़लत। robots.txt दस्तावेज़ित है और माना जाता है; llms.txt एक प्रस्ताव है।
“llms.txt जोड़ने से Google रैंकिंग सुधरती है”	कोई सबूत नहीं। Google ने नहीं कहा कि वह इस फ़ाइल का उपयोग करता है।
“ChatGPT आपकी llms.txt पढ़ता है”	OpenAI की ओर से अपुष्ट।
“यह प्रकाशित करने में सस्ती फ़ाइल है”	सही, और इसके पक्ष में यही एकमात्र मज़बूत तर्क है।

समझदारी वाली स्थिति यही है: सस्ता विकल्प खुला रखना। एक स्टैटिक टेक्स्ट फ़ाइल में आपका एक अपलोड लगता है, पेज-लोड समय शून्य, और जोखिम कुछ नहीं। अगर यह परंपरा अपनाई गई, तो आपके पास पहले से है। अगर कभी नहीं अपनाई गई, तो बीस मिनट गए। यह ठीक सौदा है — बस किसी को इसे “AI विज़िबिलिटी रणनीति” कहकर बेचने मत दीजिए।

इसे WordPress में जोड़ना

विकल्प 1: रूट पर स्टैटिक फ़ाइल (सुझाया गया)

फ़ाइल अपने कंप्यूटर पर लिखिए, फिर SFTP से उसी डायरेक्ट्री में अपलोड कीजिए जहाँ आपकी wp-config.php और index.php हैं।

WordPress इसे बीच में नहीं रोकता, क्योंकि .htaccess का डिफ़ॉल्ट रीराइट ब्लॉक सिर्फ़ उन्हीं रिक्वेस्ट को रूट करता है जो पहले से किसी असली फ़ाइल या डायरेक्ट्री से मेल नहीं खातीं:

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]

डिस्क पर मौजूद असली llms.txt !-f शर्त पर खरी नहीं उतरती, इसलिए Apache उसे सीधे परोस देता है और PHP चलता ही नहीं। try_files $uri $uri/ /index.php वाले Nginx सेटअप भी इसी तरह व्यवहार करते हैं।

एक चेतावनी: कुछ मैनेज्ड WordPress होस्ट वेब रूट में SFTP से लिखने नहीं देते, या साइट को रीड-ओनली कंटेनर इमेज से चलाते हैं। अगर आपका सेटअप ऐसा है, तो विकल्प 2 और 3 आपका रास्ता हैं।

विकल्प 2: कोई प्लगइन

WordPress प्लगइन डायरेक्ट्री में “llms.txt” खोजिए — कई प्लगइन अब आपकी प्रकाशित पोस्ट और पेज से यह फ़ाइल बना देते हैं, और कुछ SEO प्लगइन ने इसे फ़ीचर के रूप में जोड़ा है। अगर आप बार-बार प्रकाशित करते हैं तो यह सचमुच काम का है, क्योंकि हाथ से लिखी सूची पुरानी पड़ जाती है।

लेकिन सौदा असली है। आप एक प्लगइन, एक सेटिंग्स पेज और एक अपडेट सतह जोड़ रहे हैं — बदले में उस फ़ाइल का बनना अपने आप हो रहा है जिसे कोई पढ़ता है इसकी पुष्टि तक नहीं। अपने आप बनी सूचियाँ अक्सर हर पोस्ट को उसके अंश (excerpt) के साथ उड़ेल देती हैं, जिससे एक लंबी, बेतरतीब फ़ाइल बनती है — यानी उस चुनी हुई सूची का उल्टा जिसके लिए यह फ़ॉर्मैट बना था। प्लगइन इस्तेमाल करें तो उसका आउटपुट छाँटिए।

विकल्प 3: फ़िल्टर से अपनी थीम से परोसिए

अगर आप वेब रूट में नहीं लिख सकते पर कोड सम्पादित कर सकते हैं, तो wp-content/mu-plugins/llms-txt.php पर एक छोटा mu-plugin रखिए जो रिक्वेस्ट पकड़कर आपकी थीम के अंदर रखी फ़ाइल परोस दे:

<?php
// wp-content/mu-plugins/llms-txt.php

add_action( 'init', function () {
	$path = parse_url( $_SERVER['REQUEST_URI'] ?? '', PHP_URL_PATH );

	if ( '/llms.txt' !== $path ) {
		return;
	}

	$file = get_stylesheet_directory() . '/llms.txt';

	if ( ! is_readable( $file ) ) {
		return;
	}

	header( 'Content-Type: text/plain; charset=utf-8' );
	readfile( $file );
	exit;
} );

functions.php की जगह mu-plugin इसलिए इस्तेमाल किया गया है ताकि यह थीम बदलने और थीम अपडेट होने पर भी बचा रहे। अगर आप इसे functions.php में ही डालें, तो चाइल्ड थीम इस्तेमाल कीजिए।

जाँचिए कि यह सचमुच परोसी जा रही है

मान मत लीजिए। स्टेटस कोड और कंटेंट टाइप देखिए:

curl -sI https://example.com/llms.txt

आपको 200 और Content-Type: text/plain चाहिए। दो गड़बड़ियाँ आम हैं:

• आपको 200 मिलता है पर बॉडी में आपका 404 पेज है। WordPress ने रिक्वेस्ट निगल ली। फ़ाइल वहाँ नहीं है जहाँ आप सोच रहे हैं, या कोई प्लगइन उस रूट को हाईजैक कर रहा है।
• आपको Content-Type: text/html मिलता है। कुछ इसे थीम के ज़रिए रेंडर कर रहा है। सामग्री की चिंता करने से पहले हेडर ठीक कीजिए।

फिर ब्राउज़र में URL खोलिए और पढ़िए। अगर कोई लिंक 404 दे रहा है या साइट HTTPS होने पर भी http:// की ओर इशारा कर रहा है, तो उसे ठीक कीजिए — टूटा हुआ नक्शा नक्शा न होने से बुरा है।

आज AI क्रॉलर को असल में क्या नियंत्रित करता है

अगर आपका असली मक़सद यह प्रभावित करना है कि AI सिस्टम आपकी साइट के साथ कैसा बर्ताव करें, तो robots.txt ही वह फ़ाइल है जो दस्तावेज़ित है, मानी जाती है और अभी लागू है। GPTBot, ClaudeBot, PerplexityBot, CCBot और Google-Extended — ये सभी नामित यूज़र एजेंट हैं जिनका व्यवहार प्रकाशित है, और robots.txt तय करती है कि वे आपके पेज ला भी सकते हैं या नहीं।

असली तंत्र इसी लीवर के पीछे है। अपनी फ़ाइल robots.txt जनरेटर से बनाइए, जो आपको सिंटैक्स का अंदाज़ा लगाने के बजाय हर AI क्रॉलर को साफ़-साफ़ अनुमति देने या रोकने देता है। पहले उसे सही कीजिए, फिर llms.txt को सस्ते अटकलिया अतिरिक्त के तौर पर जोड़ लीजिए।

क्या नहीं करना है

robots.txt में AI क्रॉलर ब्लॉक करके साथ ही llms.txt प्रकाशित मत कीजिए। लोग ग़लती से ऐसा करते हैं — एक फ़ाइल मॉडल को अंदर बुलाती है, दूसरी दरवाज़ा बंद कर देती है। जीतता दरवाज़ा है।

llms.txt को सबफ़ोल्डर में मत डालिए। परंपरा सिर्फ़ रूट-स्तर की है। /blog/llms.txt पर रखी फ़ाइल वह फ़ाइल है जिसे कोई खोजेगा ही नहीं।

अपना पूरा साइटमैप इसमें मत चिपकाइए। सामान्य अंशों के साथ चार सौ लिंक एक क्रॉल-डंप है, चुना हुआ नक्शा नहीं, और यह फ़ॉर्मैट के इकलौते घोषित उद्देश्य को ही ख़त्म कर देता है। ज़्यादातर साइटों के लिए बीस से पचास सचमुच उपयोगी पेज सही आकार है।

इसके लिए असली काम टालिए मत। पेज स्पीड, साफ़ HTML, सटीक स्ट्रक्चर्ड डेटा और ऐसी सामग्री जिसे लोग सचमुच उद्धृत करें — इनका महत्व सिद्ध है। llms.txt का महत्व सिद्ध नहीं है। अपनी मेहनत इसी क्रम में लगाइए।