Файл robots.txt пишуть раз і згадують про нього зазвичай тоді, коли сторінки випали з індексу. Перевірка robots.txt займає п’ять хвилин і знімає питання, яке інакше коштує тижнів здогадів: чому пошук не бачить сторінку, яку бачить людина.
Код: WP-robots-generator, ліцензія MIT.
Правило 1: файл має відкриватися без редиректу
https://example.com/robots.txt має віддати 200 і text/plain. Редирект на головну, сторінка 404 або відповідь із text/html означають, що робот читає не те, що ви йому написали, і правила не діють зовсім.
У WordPress це найчастіше наслідок іншої сторінки з тією самою адресою або правила сервера, яке перехоплює всі запити.
Правило 2: закрите не має ламати потрібне
/wp-json/ закривають заради безпеки, а потім дивуються, що редактор блоків не зберігає допис. /wp-includes/ закривають і отримують сторінку без стилів у видачі.
admin-ajax.php не закривають ніколи: від нього залежать форми, кошик і половина плагінів.
Правило 3: карта сайту вказана і робоча
Рядок Sitemap: має вести на адресу, яка відповідає 200, і на карту, яку пошук уже знає. Мертвий рядок напряму не шкодить, але він привчає не вірити файлу.
Для магазину з тисячами товарів перевірте, що карта не обрізана лімітом.
Правило 4: AI-краулери закриті свідомо
GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended і PerplexityBot закриваються шістьма рядками. Питання не в тому, чи це модно, а в тому, чи готовий бізнес віддати контент без переходу на сайт.
Рішення краще записати поруч із файлом, інакше через рік ніхто не пам’ятає, чому правила саме такі.
Правило 5: файл перевіряють після кожного переїзду
Новий домен, нова тема, новий плагін кешу, нова CDN: кожна зміна може перехопити /robots.txt або змінити те, що бачить робот. Перевірка після переїзду дешевша за місяць без трафіку.
Чим перевіряти
Три способи, і всі безкоштовні. Перший - відкрити адресу в браузері й подивитися на заголовки відповіді: код, тип вмісту, чи немає редиректу.
Другий - звіт про індексацію у Search Console і Вебмайстрі: там видно, які сторінки закриті файлом, а які просто випали. Різниця між цими двома станами і є відповідь на питання, з якого все почалося.
Третій - генератор: він збирає файл із правилами для WordPress, і його результат зручно порівняти з тим, що віддає сервер. Інструменти на сайті продукту роблять те саме для інших перевірок.
Коли файл не потрібен
Іноді правильна відповідь - не чіпати robots.txt узагалі. Маленький сайт зі ста сторінками, де все відкрито, не виграє від списку заборон: єдине, що він може зламати, це доступ до потрібного.
Файл потрібен, коли є що закривати: дублі пошуку, кошик, адмінка, фіди, тисячі службових адрес. Якщо такого немає, краще витратити цей час на карту сайту й на швидкість.
Що робити з результатом
Якщо файл на сервері відрізняється від очікуваного, спершу знайдіть, хто його віддає: тема, плагін, правило nginx або фізичний файл. Двоє джерел одночасно - і через місяць ніхто не зрозуміє, чому правило зникло.
Потім перевірте, що зміна не закрила потрібне. Найдешевший спосіб - відкрити сайт як робот у Search Console і подивитися, чи завантажується сторінка повністю.
І останнє: правку варто зафіксувати в нотатках проєкту. robots.txt не має історії в адмінці, і через півроку єдиним свідком залишиться git.
Для сайту на WordPress краще не тримати правила в двох місцях: або файл на диску, або відповідь із теми, інакше вони розійдуться і винних не знайдеться.
Перевіряйте файл після кожного релізу: кеш і CDN віддають стару версію довше, ніж здається.
І перевіряйте саме той домен, який відкриваєте: копія на staging має власний файл і власні правила.
Поруч: про продукт про решту захисту сайту і ботблокування для перевірки вже налаштованих правил.
