WordPress robots.txt faylında nə olmalıdır?

Dörd şey və artıq heç nə: joker işarəli user-agent sətri, /wp-admin/ üçün Disallow, /wp-admin/admin-ajax.php üçün Allow və tam sayt xəritəsi URL-inə işarə edən Sitemap direktivi. Bundan artığı istəyə bağlıdır və internetdə gəzən uzun blok siyahılarının əksəriyyəti həll etdiyindən çox problem yaradır.

WordPress robots.txt faylını avtomatik yaradır?

Bəli, amma yalnız virtual olanını. /robots.txt ünvanına sorğu gələndə və diskdə real fayl olmayanda WordPress cavabı yaddaşda formalaşdırır. Bu cavaba wp-admin qaydaları, 5.5 versiyasından bəri isə wp-sitemap.xml üçün Sitemap sətri daxildir. Serverinizə heç nə yazılmır.

Nə üçün robots.txt faylım WordPress-in verməli olduğu nəticəyə uyğun gəlmir?

Demək olar ki, həmişə ona görə ki, veb kökünüzdə fiziki robots.txt faylı var. Veb server həmin faylı birbaşa təqdim edir və WordPress ümumiyyətlə işə düşmür, deməli həm virtual nəticə, həm də robots_txt süzgəci səssizcə kənarda qalır. Başqa heç nəyi araşdırmazdan əvvəl saytınızın kökündə real fayl olub-olmadığını yoxlayın.

robots.txt-də wp-content və ya wp-includes bağlanmalıdır?

Xeyr. Həmin qovluqlarda səhifələrinizin render olunması üçün lazım olan CSS, JavaScript və şəkillər saxlanılır. Onları bağlamaq Google-un bu faylları götürməsinin qarşısını alır, deməli o, dizaynınızın sınıq variantını qiymətləndirir. İllər əvvəl bu, geniş yayılmış tövsiyə idi, indi isə açıq şəkildə ziyanlıdır.

robots.txt səhifəni Google indeksindən kənarda saxlaya bilər?

Xeyr. Robots.txt kraylı idarə edir, indeksləşməni yox. Bağlanmış URL-ə başqa səhifələr link verirsə, o yenə də indekslənə və nəticələrdə təsvirsiz görünə bilər. Səhifəni indeksdən kənarda saxlamaq üçün krayla icazə verin və noindex meta robots teqi və ya X-Robots-Tag başlığı təqdim edin.

robots.txt təhlükəsizlik tədbiridir?

Xeyr, əksinə. Fayl yoursite.com/robots.txt ünvanında hamıya açıqdır və istənilən adam onu oxuya bilər, deməli gizli qovluğu orada sadalamaq onun yerini reklam etmək deməkdir. Özünü yaxşı aparan kraylerlər ona könüllü riayət edir, zərərli skanerlər isə tamamilə məhəl qoymur. Həssas yolları autentifikasiya və ya server qaydaları ilə qoruyun.

2026-da WordPress robots.txt Necə Olmalıdır (İçində Nə Yazılmalıdır)

Yaxşı WordPress robots.txt faylı təxminən beş sətirlik olur. /wp-admin/ qovluğunu bağlayın, admin-ajax.php faylına icazə verin, kraylerləri sayt xəritənizə yönəldin və orada dayanın — forumlarda tapacağınız 40 sətirlik nəhəng blok siyahıları əsasən ya renderi sındırır, ya da ümumiyyətlə heç nə etmir. Faylın hamısı budur:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Domeni öz domeninizlə əvəz edin və sayt xəritələrini öz üzərinə götürən SEO plagini işlədirsinizsə, Sitemap sətrini həmin plaginin indeksinə yönəldin. Vəssalam. Faylınız bundan uzundursa, artıq sətirlər çox güman ki, sizə baha başa gəlir.

WordPress onsuz da bir dənə yaradır — siz real fayl yaradana qədər

WordPress virtual robots.txt ilə gəlir. /robots.txt üçün sorğu gələndə və veb kökünüzdə real fayl olmayanda WordPress sorğunu tutur və cavabı yaddaşda çap edir. Diskə heç nə yazılmır. Standart nəticə yuxarıdakı wp-admin blokudur, üstəgəl nüvənin WordPress 5.5-dən bəri verdiyi wp-sitemap.xml üçün Sitemap: sətri.

Bu nəticəni iki şey dəyişir. Əgər Parametrlər → Oxu → Axtarış sistemlərinin bu saytı indeksləməsinin qarşısını al qutusu işarələnibsə, WordPress hər şeyi Disallow: / ilə əvəz edir və bu, hər şeyi bağlayır. Həmin qutu saytın işə düşməsindən sonra axtarışdan yoxa çıxmasının ən çox rast gəlinən səbəbidir. İkincisi, plaginlər və mövzular virtual nəticəni robots_txt süzgəci ilə dəyişə bilir — SEO plaginləri öz sayt xəritəsi sətirlərini və qaydalarını məhz belə yeridir.

İndi isə insanların günortadan sonrasını yeyən hissə. Veb kökünüzdəki fiziki robots.txt faylı bunların hamısını səssizcə ləğv edir. Veb serveriniz diskdə real fayl tapır, onu təqdim edir və WordPress heç yüklənmir. Virtual generator işə düşmür. robots_txt süzgəci tetiklənmir. SEO plagininizin robots.txt redaktoru sizə hələ də doğru qaydalarla gözəl interfeys göstərə bilər və bunların heç biri krayler tərəfə çatmır.

Qaydalar harada yaşayır	WordPress panelindən redaktə olunur	Canlı sorğuda qalib gəlir
Virtual (diskdə fayl yoxdur)	Bəli, `robots_txt` süzgəci və ya plagin vasitəsilə	Yalnız fiziki fayl olmayanda
Veb kökündəki fiziki fayl	Yalnız plagin diskə yazırsa	Həmişə

Deməli, hər hansı araşdırmaya başlamazdan əvvəl: brauzerdə https://yoursite.com/robots.txt ünvanını açın, sonra SFTP və ya hostinqinizin fayl meneceri ilə qoşulub wp-config.php və .htaccess fayllarının yanında real robots.txt olub-olmadığını yoxlayın. Varsa, sizin robots.txt faylınız məhz odur. Ya onu orada redaktə edin, ya da silib idarəni WordPress-ə verin — amma birini seçin. Hər ikisini birdən işlətmək saytların heç kimin tapa bilmədiyi köhnəlmiş sayt xəritəsi URL-i ilə qalmasının səbəbidir.

Nə üçün /wp-admin/ bağlanır, amma admin-ajax.php-ə icazə verilir

/wp-admin/ idarə panelini saxlayır. Həmin URL-lər axtarış nəticələrində faydasızdır və onları krayl etmək krayl büdcəsini giriş ekranına yönləndirən səhifələrə xərcləyir. Bu qovluğu bağlamaq mübahisə doğurmur.

admin-ajax.php həmin qovluğun içindədir, amma idarəetmə səhifəsi deyil. Bu, plaginlərin və mövzuların ön tərəfdəki AJAX sorğularını emal etmək üçün istifadə etdiyi son nöqtədir — “daha çox yüklə” düymələri, süzgəcdən keçmiş məhsul şəbəkələri, kalkulyatorlar, formalar. Krayler onu götürə bilmirsə, həmin funksiyaların yüklədiyi məzmunu da görmür və Google sizin səhifənizi ziyarətçinin sınıq funksiya ilə görəcəyi kimi render edir.

Google-un məhz sizin saytınızda admin-ajax.php faylını götürməyə ehtiyacı olub-olmaması ön tərəfinizin ondan istifadə edib-etməməsindən asılıdır. Dürüst cavab: bir çox müasir saytda bunun heç bir fərqi yoxdur, çünki mövzu bunun əvəzinə /wp-json/ ünvanındakı REST API-dən istifadə edir. Allow sətri sıralama amili yox, real nasazlığa qarşı ucuz sığortadır. Heç nəyə başa gəlmədiyi üçün saxlayın.

/wp-content/ və /wp-includes/ qovluqlarını bağlamayın

Bu, hələ də dövriyyədə olan ən pis robots.txt tövsiyəsidir və Google-un səhifələri render etmədiyi dövrdən qalıb.

/wp-content/ mövzularınızı, plaginlərinizi, yüklədiyiniz faylları saxlayır — səhifələrinizi səhifəyə oxşadan stil cədvəllərini, skriptləri və şəkilləri. /wp-includes/ isə plaginlərin asılı olduğu nüvə JavaScript kodunu saxlayır. Google səhifələrinizi qiymətləndirməzdən əvvəl onları başsız brauzerlə render edir. Bu qovluqları bağlayın və renderə CSS-siz, şəkilsiz səhifə düşəcək. Google-un qiymətləndirdiyi şey sınıq dizaynlı, stilsiz mətn divarı olacaq və bu, həm məzmununuzu necə anlamasına, həm də mobil rahatlığı necə qiymətləndirməsinə təsir edir.

Bu sətirlərlə fayl miras almısınızsa, onları silin:

Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Ziyanı özünüz Google Search Console-un URL Yoxlaması alətində təsdiqləyə bilərsiniz. İstənilən səhifədə canlı test işə salın, render ekran görüntüsünə baxın və səhifə resursları siyahısında bağlanmış elementləri yoxlayın. CSS bağlanmış görünürsə, səbəb budur.

Sitemap direktivi

Bir sətir, mütləq URL və faylın istənilən yerində dayana bilər — o, User-agent qrupuna bağlı deyil.

Sitemap: https://example.com/wp-sitemap.xml

Həqiqətən açılan URL-dən istifadə edin. WordPress nüvəsi wp-sitemap.xml təqdim edir. SEO plaginlərinin əksəriyyəti nüvə sayt xəritələrini söndürüb öz indekslərini başqa ünvanda, adətən sitemap_index.xml ünvanında verir. Yazmazdan əvvəl URL-inizi brauzerdə yükləyin — 404 verən Sitemap sətri heç bir sətirdən pisdir, çünki auditdə düzgün görünür.

Bir neçə sayt xəritəsi sadalamaq normaldır, hər biri ayrı sətirdə. Sayt xəritələrini Search Console-a ayrıca göndərmək yenə də faydalıdır; robots.txt direktivi isə Search Console hesabınızı heç vaxt görməyən kraylerlərin onları necə tapmasıdır.

robots.txt nə noindex-dir, nə də təhlükəsizlik

Bu iki anlaşılmazlıq robots.txt ilə bağlı ziyanın çox hissəsini yaradır.

URL-i bağlamaq onu Google-dan silmir. Robots.txt kraylı idarə edir. Başqa sayt bağlanmış URL-ə link verirsə, Google URL-in özünü indeksləyə bilər — nəticədə çılpaq ünvan və məlumatın mövcud olmadığı barədə qeyd görürsünüz. Daha xoşagəlməz tələ də var: səhifədə artıq noindex meta teqi varsa və siz sonra onu robots.txt-də bağlasanız, Google onu krayl edə bilmir, noindex teqini görmür və səhifə qeyri-müəyyən müddətə indeksdə qala bilir. Səhifəni silmək üçün krayla icazə verin və səhifənin başlığında noindex meta robots teqi, yaxud X-Robots-Tag HTTP başlığı təqdim edin. Google 2019-cu ildə robots.txt daxilindəki noindex direktivlərinin dəstəyini dayandırıb.

Yolu bağlamaq onu qorumur. Sizin robots.txt faylınız təbiətcə hamıya açıqdır. Orada /private-client-files/ yazmaq hər ziyarətçiyə və hər skanerə harada axtarmalı olduğunu deyir, riayət isə könüllüdür — Google əməl edir, düşmən botlar etmir. Qorunmalı olan hər şeyə autentifikasiya, IP məhdudiyyəti və ya .htaccess faylında server səviyyəsində qaydalar lazımdır, hədəfin yerini reklam edən mətn faylındakı sətir yox.

Əlavə etməyə dəyən və dəyməyən qaydalar

İki əlavə bir çox saytda həqiqətən faydalıdır. Axtarış nəticələri yolunu bağlamaq kraylerlərin daxili axtarışınızdan sonsuz sayda dəyərsiz URL yaratmasının qarşısını alır. WooCommerce saytında səbət və ya ödəniş yolunu bağlamaq isə sessiya parametrli URL-ləri kraylın xaricində saxlayır.

Disallow: /?s=
Disallow: /search/

Bunlardan keçin:

Crawl-delay — Google onu tamamilə nəzərə almır. Serverdə real yük problemi varsa, Search Console-dakı krayl sürəti idarəçiliyindən istifadə edin.
/feed/ və ya /trackback/ bağlamaq — zərərsiz URL-lərdir, lentlər isə faydalıdır.
Ayrı-ayrı bot adlarının uzun siyahıları — insanların bloklamağa çalışdığı botların çoxu onsuz da özünü dürüst təqdim etmir.
/wp-json/ bağlamaq — bu, mövzunuzun məzmunu render etmək üçün istifadə etdiyi ünvan ola bilər.

Faylı WordPress robots.txt generatoru ilə qurun — o, minimal düzgün variantı yaradır və sintaksisi əl ilə redaktə etmədən axtarış və ticarət qaydalarını əlavə etməyə imkan verir.

Dəyişiklikdən sonra

https://yoursite.com/robots.txt ünvanını birbaşa yükləyin və təqdim olunan baytların gözlədiyiniz kimi olduğuna əmin olun — plagininizin redaktorunun göstərdiyi kimi yox. Sonra Search Console-da adi bir səhifədə canlı URL yoxlaması işə salın və heç bir CSS və ya JavaScript resursunun bağlanmış qayıtmadığını yoxlayın. Google robots.txt faylını təxminən bir gün keşdə saxlayır, deməli düzəliş də dərhal qüvvəyə minmir, səhv də. Məhz bu gecikmə istehsalda sınayıb gözləmək əvəzinə diqqətlə yoxlamağın səbəbidir.