Перейти до вмісту

Перевірка robots.txt: 5 правил для WordPress

Файл robots.txt пишуть раз і згадують про нього зазвичай тоді, коли сторінки випали з індексу. Перевірка robots.txt займає п’ять хвилин і знімає питання, яке інакше коштує тижнів здогадів: чому пошук не бачить сторінку, яку бачить людина.

Код: WP-robots-generator, ліцензія MIT.

Правило 1: файл має відкриватися без редиректу

https://example.com/robots.txt має віддати 200 і text/plain. Редирект на головну, сторінка 404 або відповідь із text/html означають, що робот читає не те, що ви йому написали, і правила не діють зовсім.

У WordPress це найчастіше наслідок іншої сторінки з тією самою адресою або правила сервера, яке перехоплює всі запити.

Правило 2: закрите не має ламати потрібне

/wp-json/ закривають заради безпеки, а потім дивуються, що редактор блоків не зберігає допис. /wp-includes/ закривають і отримують сторінку без стилів у видачі.

admin-ajax.php не закривають ніколи: від нього залежать форми, кошик і половина плагінів.

Правило 3: карта сайту вказана і робоча

Рядок Sitemap: має вести на адресу, яка відповідає 200, і на карту, яку пошук уже знає. Мертвий рядок напряму не шкодить, але він привчає не вірити файлу.

Для магазину з тисячами товарів перевірте, що карта не обрізана лімітом.

Правило 4: AI-краулери закриті свідомо

GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended і PerplexityBot закриваються шістьма рядками. Питання не в тому, чи це модно, а в тому, чи готовий бізнес віддати контент без переходу на сайт.

Рішення краще записати поруч із файлом, інакше через рік ніхто не пам’ятає, чому правила саме такі.

Правило 5: файл перевіряють після кожного переїзду

Новий домен, нова тема, новий плагін кешу, нова CDN: кожна зміна може перехопити /robots.txt або змінити те, що бачить робот. Перевірка після переїзду дешевша за місяць без трафіку.

Чим перевіряти

Три способи, і всі безкоштовні. Перший - відкрити адресу в браузері й подивитися на заголовки відповіді: код, тип вмісту, чи немає редиректу.

Другий - звіт про індексацію у Search Console і Вебмайстрі: там видно, які сторінки закриті файлом, а які просто випали. Різниця між цими двома станами і є відповідь на питання, з якого все почалося.

Третій - генератор: він збирає файл із правилами для WordPress, і його результат зручно порівняти з тим, що віддає сервер. Інструменти на сайті продукту роблять те саме для інших перевірок.

Коли файл не потрібен

Іноді правильна відповідь - не чіпати robots.txt узагалі. Маленький сайт зі ста сторінками, де все відкрито, не виграє від списку заборон: єдине, що він може зламати, це доступ до потрібного.

Файл потрібен, коли є що закривати: дублі пошуку, кошик, адмінка, фіди, тисячі службових адрес. Якщо такого немає, краще витратити цей час на карту сайту й на швидкість.

Що робити з результатом

Якщо файл на сервері відрізняється від очікуваного, спершу знайдіть, хто його віддає: тема, плагін, правило nginx або фізичний файл. Двоє джерел одночасно - і через місяць ніхто не зрозуміє, чому правило зникло.

Потім перевірте, що зміна не закрила потрібне. Найдешевший спосіб - відкрити сайт як робот у Search Console і подивитися, чи завантажується сторінка повністю.

І останнє: правку варто зафіксувати в нотатках проєкту. robots.txt не має історії в адмінці, і через півроку єдиним свідком залишиться git.

Для сайту на WordPress краще не тримати правила в двох місцях: або файл на диску, або відповідь із теми, інакше вони розійдуться і винних не знайдеться.

Перевіряйте файл після кожного релізу: кеш і CDN віддають стару версію довше, ніж здається.

І перевіряйте саме той домен, який відкриваєте: копія на staging має власний файл і власні правила.

Поруч: про продукт про решту захисту сайту і ботблокування для перевірки вже налаштованих правил.