BotBlocker не блокує легітимних ботів. Googlebot, Bingbot та інші пошукові боти проходять перевірку і сканують сайт як звичайно. Фільтр працює з іншим трафіком: тим, що представляється пошуковим ботом, але приходить із чужої мережі.
Плутанина виникає через формулювання. «Антибот-захист» звучить як заборона всьому, що схоже на бота. Насправді перевіряється адреса, а не рядок User-Agent. Нижче - як це влаштовано і як переконатися, що індексація не страждає.
Як відрізнити справжнього бота від підробки
User-Agent підробляється за секунду: достатньо надіслати заголовок із рядком Googlebot. Тому сама по собі заявка нічого не доводить. Google описує спосіб перевірки у своїй документації: потрібно зробити зворотний DNS-запит за IP, переконатися, що ім’я належить домену googlebot.com або google.com, а потім виконати прямий запит і порівняти адресу.
Якщо зворотний запис не збігається з мережею пошуковика, це не Googlebot, хоч би що було в заголовку. Bingbot та інші великі пошуковики перевіряються так само, кожен у своїй мережі. Логіка одна: спочатку підтвердження адреси, потім доступ.
Що робить BotBlocker із запитом пошукового бота
Перевірка починається до завантаження WordPress. Плагін дивиться на IP, зворотний PTR-запис, ASN і належність до відомих мереж пошуковиків. Якщо адреса підтверджена як адреса Googlebot, запит проходить далі без капчі й без затримки. Сторінка віддається так само, як для звичайного відвідувача.
Підробка виглядає інакше. Адреса не належить пошуковику, PTR не збігається, а заголовок усе одно каже Googlebot. Такий запит дістає відмову або сторінку перевірки. Це стосується скраперів, масових сканерів і ботів, які копіюють контент під виглядом пошуковика.
Оцінка складається з кількох ознак, а не з однієї. PTR показує власника адреси, DNSBL - чи вже помічена вона в списках, ASN і GeoIP - мережу й регіон. Одна невдача нічого не вирішує: рішення ухвалює сукупність перевірок.
Як перевірити, що боти доходять до сайту
У Search Console є перевірка URL та звіт про сканування. Відкрийте головну, статтю й товар: якщо Google бачить сторінку, показує код 200 і не скаржиться на блокування, все гаразд.
Другий орієнтир - графік запитів сканування. Після ввімкнення фільтра він не повинен різко падати. Якщо кількість запитів просіла вниз, а сторінки почали віддавати 403 для адрес із мереж пошуковика, правило занадто суворе.
Третій - логи сервера. Знайдіть запити з User-Agent Googlebot і подивіться на IP. Адреси з мереж Google мають проходити з кодом 200. Якщо для них стоїть 403, перевірте налаштування фільтра: можливо, у список потрапив діапазон хостингу.
Що перевіряють в логах, коли є сумніви
Справжній Googlebot не робить сотні запитів на хвилину до однієї сторінки. Така поведінка радше схожа на підробку або на агресивний скрапер. Дивіться на частоту, на розподіл адрес і на те, чи збігається PTR із заявленим ботом.
Якщо адреса не належить Google, але представляється ним, це підробка. Її можна блокувати без ризику для індексації: справжній бот із цієї адреси не прийде.
Чого не робити
- Не блокувати за User-Agent без перевірки PTR: саме так відсікають справжніх ботів.
- Не ставити капчу на весь трафік: пошуковий бот не пройде її і сторінка випаде з індексу.
- Не закривати країни повністю: разом із ботами зникне й частина звичайних відвідувачів.
- Перевіряйте
robots.txtпісля кожного оновлення SEO-плагіна: іноді файл перезаписується й закриває розділи, які потрібні в індексі.
Ці правила стосуються будь-якого захисту, не лише BotBlocker. Різниця в тому, що перевірка адреси замінює собою грубе блокування за заголовком.
Чекліст після впровадження
- Перевірте в Search Console три адреси: головну, статтю й товар.
- Переконайтеся, що сторінки віддають 200, а не 403.
- Подивіться графік сканування за тиждень.
- Перевірте, що форми й кошик працюють.
- Знайдіть у логах запити Googlebot із підтвердженим PTR: вони мають проходити.
Що зробити далі
Подивіться можливості BotBlocker і тарифи. Для більшості сайтів достатньо Premium; Pro додає хмарну перевірку сигнатур.
Інструкції з налаштування є в документації. Якщо не впевнені, чи проходять пошукові боти після зміни правил, напишіть у підтримку: подивимося разом.
