WordPress robots.txt: οι σωστές πρακτικές το 2026 (τι να βάλετε στ' αλήθεια μέσα)

Ένα καλό robots.txt για WordPress έχει περίπου πέντε γραμμές. Μπλοκάρετε το /wp-admin/, επιτρέψτε το admin-ajax.php, στείλτε τα crawlers στο sitemap σας και σταματήστε εκεί — οι διάσπαρτες λίστες των 40 γραμμών που θα βρείτε στα φόρουμ ως επί το πλείστον σπάνε το rendering ή δεν κάνουν απολύτως τίποτα. Όλο το αρχείο:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Αλλάξτε το domain και, αν χρησιμοποιείτε SEO plugin που αναλαμβάνει τα sitemaps, στρέψτε τη γραμμή Sitemap στο δικό του ευρετήριο. Αυτό ήταν. Αν το αρχείο σας είναι μεγαλύτερο από αυτό, οι επιπλέον γραμμές πιθανότατα σας κοστίζουν κάτι.

Το WordPress ήδη παράγει ένα — μέχρι να φτιάξετε πραγματικό αρχείο

Το WordPress διαθέτει εικονικό robots.txt. Όταν έρχεται αίτημα για το /robots.txt και δεν υπάρχει πραγματικό αρχείο στη ρίζα, το WordPress αναχαιτίζει το αίτημα και τυπώνει μια απάντηση στη μνήμη. Τίποτα δεν γράφεται στον δίσκο. Η προεπιλεγμένη έξοδος είναι το μπλοκ για το wp-admin που είδατε παραπάνω, συν μια γραμμή Sitemap: για το wp-sitemap.xml, την οποία ο πυρήνας βγάζει από το WordPress 5.5 και μετά.

Δύο πράγματα αλλάζουν αυτή την έξοδο. Αν είναι τσεκαρισμένο το Ρυθμίσεις → Ανάγνωση → Αποτροπή ευρετηρίασης του ιστότοπου από τις μηχανές αναζήτησης, το WordPress αντικαθιστά τα πάντα με Disallow: /, που μπλοκάρει τα πάντα. Αυτό το κουτάκι είναι η νούμερο ένα αιτία που ένας ιστότοπος εξαφανίζεται από την αναζήτηση μετά από launch. Δεύτερον, plugins και themes μπορούν να τροποποιήσουν την εικονική έξοδο μέσω του φίλτρου robots_txt, με τον τρόπο αυτόν προσθέτουν τα SEO plugins τις δικές τους γραμμές sitemap και κανόνες.

Τώρα το κομμάτι που τρώει ολόκληρα απογεύματα. Ένα φυσικό αρχείο robots.txt στη ρίζα του ιστότοπου υπερισχύει σιωπηλά όλων. Ο διακομιστής βρίσκει ένα πραγματικό αρχείο στον δίσκο, το σερβίρει και το WordPress δεν φορτώνει καν. Η εικονική γεννήτρια δεν τρέχει. Το φίλτρο robots_txt δεν ενεργοποιείται. Ο επεξεργαστής robots.txt του SEO plugin σας μπορεί να εξακολουθεί να σας δείχνει ένα όμορφο περιβάλλον με τους σωστούς κανόνες, και τίποτα από αυτά δεν φτάνει σε crawler.

Πού ζουν οι κανόνες	Επεξεργάσιμοι από το WordPress admin	Υπερισχύουν σε ζωντανό αίτημα
Εικονικοί (κανένα αρχείο στον δίσκο)	Ναι, μέσω του φίλτρου robots_txt ή plugin	Μόνο όταν δεν υπάρχει φυσικό αρχείο
Φυσικό αρχείο στη ρίζα	Μόνο αν το plugin γράφει στον δίσκο	Πάντα

Οπότε πριν ψάξετε οτιδήποτε: ανοίξτε το https://yoursite.com/robots.txt σε έναν φυλλομετρητή, μετά συνδεθείτε μέσω SFTP ή με τον διαχειριστή αρχείων του host σας και δείτε αν υπάρχει πραγματικό robots.txt δίπλα στα wp-config.php και .htaccess. Αν υπάρχει, αυτό το αρχείο είναι το robots.txt σας. Επεξεργαστείτε το εκεί ή διαγράψτε το και αφήστε το WordPress να αναλάβει — αλλά διαλέξτε ένα από τα δύο. Το να τρέχουν και τα δύο είναι ο τρόπος με τον οποίο οι ιστότοποι καταλήγουν με μια ξεπερασμένη διεύθυνση sitemap που δεν βρίσκει κανείς.

Γιατί το /wp-admin/ μπλοκάρεται αλλά το admin-ajax.php επιτρέπεται

Το /wp-admin/ περιέχει τον πίνακα ελέγχου. Αυτές οι διευθύνσεις είναι άχρηστες στα αποτελέσματα αναζήτησης και το crawling τους καίει crawl budget σε σελίδες που ανακατευθύνουν σε οθόνη σύνδεσης. Το μπλοκάρισμα του καταλόγου δεν αμφισβητείται από κανέναν.

Το admin-ajax.php ζει μέσα σε αυτόν τον κατάλογο αλλά δεν είναι σελίδα διαχείρισης. Είναι το endpoint που χρησιμοποιούν plugins και themes για να χειριστούν αιτήματα AJAX από το front end — κουμπιά «φόρτωσε περισσότερα», φιλτραρισμένα πλέγματα προϊόντων, υπολογιστές, φόρμες. Αν ένα crawler δεν μπορεί να το κατεβάσει, δεν βλέπει το περιεχόμενο που φορτώνουν αυτές οι λειτουργίες, και η Google αποδίδει τη σελίδα σας όπως θα την έβλεπε ένας επισκέπτης με τη λειτουργία χαλασμένη.

Το αν η Google χρειάζεται πραγματικά να κατεβάσει το admin-ajax.php στον δικό σας ιστότοπο εξαρτάται από το αν το front end σας το χρησιμοποιεί. Ειλικρινής απάντηση: σε πολλούς σύγχρονους ιστότοπους δεν έχει καμία σημασία, επειδή το theme χρησιμοποιεί το REST API στο /wp-json/. Η γραμμή Allow είναι μια φθηνή ασφάλεια απέναντι σε ένα υπαρκτό σενάριο αποτυχίας, όχι παράγοντας κατάταξης. Κρατήστε την επειδή δεν κοστίζει τίποτα.

Μην μπλοκάρετε το /wp-content/ ή το /wp-includes/

Αυτή είναι η χειρότερη συμβουλή για robots.txt που κυκλοφορεί ακόμη, και χρονολογείται από εποχή που η Google δεν απέδιδε σελίδες.

Το /wp-content/ περιέχει τα themes, τα plugins και τα uploads σας — τα stylesheets, τα scripts και τις εικόνες που κάνουν τις σελίδες σας να μοιάζουν με σελίδες. Το /wp-includes/ περιέχει JavaScript του πυρήνα από την οποία εξαρτώνται plugins. Η Google αποδίδει τις σελίδες σας με headless browser πριν τις κρίνει. Μπλοκάρετε αυτούς τους καταλόγους και ο renderer παίρνει μια σελίδα χωρίς CSS και χωρίς εικόνες. Αυτό που αξιολογεί η Google είναι ένας τοίχος αστυλάριστου κειμένου με σπασμένη διάταξη, πράγμα που επηρεάζει τόσο το πώς κατανοεί το περιεχόμενό σας όσο και το πώς βαθμολογεί τη χρηστικότητα σε κινητά.

Αν κληρονομήσατε αρχείο με αυτές τις γραμμές, διαγράψτε τες:

Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Μπορείτε να επιβεβαιώσετε τη ζημιά μόνοι σας με το εργαλείο Έλεγχος διευθύνσεων URL του Google Search Console. Τρέξτε ζωντανό έλεγχο σε οποιαδήποτε σελίδα, δείτε το στιγμιότυπο της απόδοσης και ελέγξτε τη λίστα πόρων της σελίδας για μπλοκαρισμένα στοιχεία. Αν το CSS σας εμφανίζεται μπλοκαρισμένο, αυτή είναι η αιτία.

Η οδηγία Sitemap

Μία γραμμή, απόλυτη διεύθυνση, και μπορεί να βρίσκεται οπουδήποτε μέσα στο αρχείο — δεν δένεται με κάποια ομάδα User-agent.

Sitemap: https://example.com/wp-sitemap.xml

Χρησιμοποιήστε τη διεύθυνση που όντως ανοίγει. Ο πυρήνας του WordPress σερβίρει το wp-sitemap.xml. Τα περισσότερα SEO plugins απενεργοποιούν τα sitemaps του πυρήνα και σερβίρουν το δικό τους ευρετήριο σε άλλη διαδρομή, συνήθως στο sitemap_index.xml. Φορτώστε τη διεύθυνσή σας σε φυλλομετρητή πριν την οριστικοποιήσετε — μια γραμμή Sitemap που δείχνει σε 404 είναι χειρότερη από καθόλου γραμμή, γιατί σε έναν έλεγχο φαίνεται σωστή.

Το να αναφέρετε πολλαπλά sitemaps είναι μια χαρά, ένα ανά γραμμή. Η υποβολή sitemaps στο Search Console εξακολουθεί να αξίζει ξεχωριστά· η οδηγία στο robots.txt είναι ο τρόπος με τον οποίο τα βρίσκουν όσα crawlers δεν βλέπουν ποτέ τον λογαριασμό σας στο Search Console.

Το robots.txt δεν είναι noindex, ούτε ασφάλεια

Αυτές οι δύο παρανοήσεις προκαλούν τις περισσότερες ζημιές με το robots.txt.

Το μπλοκάρισμα μιας διεύθυνσης δεν την αφαιρεί από τη Google. Το robots.txt διέπει το crawling. Αν κάποιος άλλος ιστότοπος συνδέει μια μπλοκαρισμένη διεύθυνση, η Google μπορεί να ευρετηριάσει την ίδια τη διεύθυνση — παίρνετε ένα αποτέλεσμα με σκέτη τη διεύθυνση και μια σημείωση ότι δεν υπάρχουν διαθέσιμες πληροφορίες. Και υπάρχει μια ακόμη πιο άσχημη παγίδα: αν μια σελίδα έχει ήδη meta tag noindex και μετά τη μπλοκάρετε στο robots.txt, η Google δεν μπορεί να την κάνει crawl, δεν βλέπει το noindex, και η σελίδα μπορεί να μείνει ευρετηριασμένη επ’ αόριστον. Για να αφαιρέσετε μια σελίδα, επιτρέψτε το crawling και σερβίρετε ένα meta robots tag noindex στο head της σελίδας ή μια κεφαλίδα HTTP X-Robots-Tag. Η Google σταμάτησε να υποστηρίζει τις οδηγίες noindex μέσα στο robots.txt το 2019.

Το μπλοκάρισμα μιας διαδρομής δεν την προστατεύει. Το robots.txt σας είναι εξ ορισμού δημόσιο. Αναφέροντας το /private-client-files/ λέτε σε κάθε επισκέπτη και κάθε σαρωτή ακριβώς πού να ψάξει, ενώ η συμμόρφωση είναι εθελοντική — η Google το τηρεί, τα εχθρικά bots όχι. Ό,τι χρειάζεται προστασία χρειάζεται πιστοποίηση ταυτότητας, περιορισμό IP ή κανόνες σε επίπεδο διακομιστή στο .htaccess, όχι μια γραμμή σε ένα αρχείο κειμένου που διαφημίζει τον στόχο.

Κανόνες που αξίζουν και κανόνες που δεν αξίζουν

Δύο προσθήκες είναι πραγματικά χρήσιμες σε πολλούς ιστότοπους. Το μπλοκάρισμα της διαδρομής αποτελεσμάτων αναζήτησης εμποδίζει τα crawlers να παράγουν ατελείωτες διευθύνσεις χαμηλής αξίας από την εσωτερική σας αναζήτηση. Το μπλοκάρισμα της διαδρομής καλαθιού ή ταμείου σε WooCommerce κρατά τις διευθύνσεις με παραμέτρους συνεδρίας εκτός crawl.

Disallow: /?s=
Disallow: /search/

Αγνοήστε τα εξής:

• Crawl-delay — η Google το αγνοεί εντελώς. Χρησιμοποιήστε τους ελέγχους ρυθμού crawl στο Search Console αν έχετε πραγματικό πρόβλημα φόρτου στον διακομιστή.
• Μπλοκάρισμα του /feed/ ή του /trackback/ — αβλαβείς διευθύνσεις, και τα feeds είναι χρήσιμα.
• Μακροσκελείς λίστες με ονόματα bots — τα περισσότερα bots που προσπαθεί κανείς να μπλοκάρει ούτως ή άλλως δεν δηλώνουν τίμια την ταυτότητά τους.
• Μπλοκάρισμα του /wp-json/ — μπορεί να είναι ακριβώς αυτό που χρησιμοποιεί το theme σας για να αποδώσει περιεχόμενο.

Φτιάξτε το αρχείο με τη γεννήτρια robots.txt για WordPress, που παράγει την ελάχιστη σωστή εκδοχή και σας επιτρέπει να προσθέσετε τους κανόνες για αναζήτηση και ηλεκτρονικό εμπόριο χωρίς να γράφετε συντακτικό στο χέρι.

Αφού το αλλάξετε

Φορτώστε απευθείας το https://yoursite.com/robots.txt και επιβεβαιώστε ότι αυτό που σερβίρεται είναι όντως αυτό που περιμένετε — όχι αυτό που σας δείχνει ο επεξεργαστής του plugin σας. Μετά τρέξτε έναν ζωντανό έλεγχο διεύθυνσης στο Search Console σε μια κανονική σελίδα και βεβαιωθείτε ότι κανένας πόρος CSS ή JavaScript δεν επιστρέφει ως μπλοκαρισμένος. Η Google κρατά το robots.txt στην cache για περίπου μία ημέρα, οπότε μια διόρθωση δεν ισχύει ακαριαία — ούτε όμως και ένα λάθος. Αυτή η καθυστέρηση είναι ακριβώς ο λόγος να ελέγχετε προσεκτικά αντί να δοκιμάζετε στην παραγωγή και να περιμένετε.