Перейти до вмісту

Googlebot і антибот-захист: справжні боти завжди доходять до сайту

BotBlocker не блокує легітимних ботів. Googlebot, Bingbot та інші пошукові боти проходять перевірку і сканують сайт як звичайно. Фільтр працює з іншим трафіком: тим, що представляється пошуковим ботом, але приходить із чужої мережі.

Плутанина виникає через формулювання. «Антибот-захист» звучить як заборона всьому, що схоже на бота. Насправді перевіряється адреса, а не рядок User-Agent. Нижче - як це влаштовано і як переконатися, що індексація не страждає.

Як відрізнити справжнього бота від підробки

User-Agent підробляється за секунду: достатньо надіслати заголовок із рядком Googlebot. Тому сама по собі заявка нічого не доводить. Google описує спосіб перевірки у своїй документації: потрібно зробити зворотний DNS-запит за IP, переконатися, що ім’я належить домену googlebot.com або google.com, а потім виконати прямий запит і порівняти адресу.

Якщо зворотний запис не збігається з мережею пошуковика, це не Googlebot, хоч би що було в заголовку. Bingbot та інші великі пошуковики перевіряються так само, кожен у своїй мережі. Логіка одна: спочатку підтвердження адреси, потім доступ.

Що робить BotBlocker із запитом пошукового бота

Перевірка починається до завантаження WordPress. Плагін дивиться на IP, зворотний PTR-запис, ASN і належність до відомих мереж пошуковиків. Якщо адреса підтверджена як адреса Googlebot, запит проходить далі без капчі й без затримки. Сторінка віддається так само, як для звичайного відвідувача.

Підробка виглядає інакше. Адреса не належить пошуковику, PTR не збігається, а заголовок усе одно каже Googlebot. Такий запит дістає відмову або сторінку перевірки. Це стосується скраперів, масових сканерів і ботів, які копіюють контент під виглядом пошуковика.

Оцінка складається з кількох ознак, а не з однієї. PTR показує власника адреси, DNSBL - чи вже помічена вона в списках, ASN і GeoIP - мережу й регіон. Одна невдача нічого не вирішує: рішення ухвалює сукупність перевірок.

Як перевірити, що боти доходять до сайту

У Search Console є перевірка URL та звіт про сканування. Відкрийте головну, статтю й товар: якщо Google бачить сторінку, показує код 200 і не скаржиться на блокування, все гаразд.

Другий орієнтир - графік запитів сканування. Після ввімкнення фільтра він не повинен різко падати. Якщо кількість запитів просіла вниз, а сторінки почали віддавати 403 для адрес із мереж пошуковика, правило занадто суворе.

Третій - логи сервера. Знайдіть запити з User-Agent Googlebot і подивіться на IP. Адреси з мереж Google мають проходити з кодом 200. Якщо для них стоїть 403, перевірте налаштування фільтра: можливо, у список потрапив діапазон хостингу.

Що перевіряють в логах, коли є сумніви

Справжній Googlebot не робить сотні запитів на хвилину до однієї сторінки. Така поведінка радше схожа на підробку або на агресивний скрапер. Дивіться на частоту, на розподіл адрес і на те, чи збігається PTR із заявленим ботом.

Якщо адреса не належить Google, але представляється ним, це підробка. Її можна блокувати без ризику для індексації: справжній бот із цієї адреси не прийде.

Чого не робити

  • Не блокувати за User-Agent без перевірки PTR: саме так відсікають справжніх ботів.
  • Не ставити капчу на весь трафік: пошуковий бот не пройде її і сторінка випаде з індексу.
  • Не закривати країни повністю: разом із ботами зникне й частина звичайних відвідувачів.
  • Перевіряйте robots.txt після кожного оновлення SEO-плагіна: іноді файл перезаписується й закриває розділи, які потрібні в індексі.

Ці правила стосуються будь-якого захисту, не лише BotBlocker. Різниця в тому, що перевірка адреси замінює собою грубе блокування за заголовком.

Чекліст після впровадження

  1. Перевірте в Search Console три адреси: головну, статтю й товар.
  2. Переконайтеся, що сторінки віддають 200, а не 403.
  3. Подивіться графік сканування за тиждень.
  4. Перевірте, що форми й кошик працюють.
  5. Знайдіть у логах запити Googlebot із підтвердженим PTR: вони мають проходити.

Що зробити далі

Подивіться можливості BotBlocker і тарифи. Для більшості сайтів достатньо Premium; Pro додає хмарну перевірку сигнатур.

Інструкції з налаштування є в документації. Якщо не впевнені, чи проходять пошукові боти після зміни правил, напишіть у підтримку: подивимося разом.