Перейти до вмісту

Як визначити ботів у WordPress: логи, аналітика, симптоми

Боти не завжди шумлять. Часто сайт просто працює повільніше, аналітика показує дивні сесії, а хостинг радить більше пам’яті. Розберемо, як відрізнити автоматику від людей за тим, що вже є під рукою.

Симптоми, які видно без логів

Перша ознака: різкі стрибки трафіку без зростання замовлень. Друга: повільні сторінки в години, коли покупців зазвичай мало. Третя: сотні записів у логах на адреси, яких немає на сайті. Це /wp-login.php, /xmlrpc.php і випадкові рядки з цифрами.

Ще один симптом: однакова поведінка відвідувачів. Усі заходять на ту саму сторінку, проводять нуль секунд і йдуть. У статистиці це виглядає як трафік, але конверсії не дає.

Що показують логи хостингу

Логи показують найчеснішу картину. Дивіться на три речі: User-Agent, IP-адресу й частоту запитів.

  • User-Agent довжиною в один рядок або зі словом curl, python, Go-http-client майже завжди означає автоматику.
  • Одна адреса робить десятки запитів на хвилину, особливо до адмінки.
  • Запити йдуть рівними інтервалами: людина так не читає.
  • Немає Referer і cookies, хоча сторінка нібито відкрита в браузері.

Окремо перевірте POST-запити до xmlrpc.php. Якщо сайт не використовує XML-RPC, ці запити не потрібні зовсім.

Як перевірити в аналітиці

Google Analytics та інші системи показують сесії, але не завжди кажуть, хто їх створив. Орієнтуйтеся на сукупність:

  • тривалість сесії близько нуля;
  • одна сторінка за візит;
  • країни, де ви не продаєте;
  • пристрої й браузери, яких у вас майже немає;
  • сплеск у неробочий час.

Жодна ознака сама по собі не доводить, що це бот. Але кілька разом дають підставу перевірити логи.

Перевірка User-Agent і PTR

Найпростіший тест: подивитися, чи відповідає IP заявленому боту. Googlebot приходить із мереж Google, і зворотний DNS-запис це підтверджує. Якщо запит представляється Googlebot, а PTR веде на дешевий хостинг, це підробка.

Те саме стосується інших пошукових ботів. Перевірка не потребує плагіна: достатньо подивитися на IP у логах і звірити його з мережею пошуковика. Як це робить Google, описано в документації для розробників.

Що робить BotBlocker

Плагін перевіряє запит до того, як WordPress завантажить тему й плагіни. Він дивиться на IP, PTR, DNSBL, ASN і GeoIP, звіряє з базою з 5 млн сигнатур і кешує результат у Redis або Memcached.

Підозрілий запит не блокується одразу: людина проходить reCAPTCHA, бот із підробленим клієнтом далі не проходить. Це зменшує кількість хибних блокувань, які дратують покупців.

Для сайту це означає менше запитів до PHP і бази. Навантаження падає навіть тоді, коли кількість реальних відвідувачів не змінилася.

Що можна зробити без плагіна

  • Додайте в robots.txt заборону для службових адрес. Це не зупинить зловмисника, але прибере частину «порядних» сканерів.
  • Вимкніть XML-RPC, якщо він не потрібен.
  • Поставте basic auth на wp-login.php або обмежте доступ за IP.
  • Увімкніть обмеження частоти на рівні хостингу або CDN.
  • Перевірте, чи не індексуються службові сторінки.

Ці кроки дешеві й корисні, але вони не розрізняють бота й людину за сукупністю ознак. Саме тому фільтрація на рівні запиту дає більше.

Як читати логи правильно

Логи хостингу часто показують час у своєму часовому поясі, а аналітика - у вашому. Перед порівнянням зведіть обидва джерела до одного поясу, інакше пікові години не збігатимуться.

Якщо сайт стоїть за CDN, у логах буде видно IP CDN, а не відвідувача. Тоді дивіться заголовки з реальною адресою або логи самого CDN.

Кеш теж впливає: сторінка, яку віддає кеш, не створює запиту до PHP, тому в логах WordPress її може не бути. Для перевірки беріть логи вебсервера, а не логи плагіна.

Чого не робити

Не блокуйте країну повністю через кілька підозрілих адрес: разом із ботами зріжете частину покупців і пошукових ботів.

Не вірте User-Agent. Це поле підробляється за секунду, тому перевірка має спиратися на IP і мережу.

Не вмикайте капчу всім. Вона знижує конверсію, а більшість відвідувачів не винні. Капча потрібна після автоматичних перевірок, а не замість них.

Що робити з результатами

Запишіть, скільки запитів припадає на підозрілі адреси й у які години. Якщо частка висока, фільтрація окупиться швидко. Якщо низька, спочатку перевірте кеш і хостинг: проблема може бути не в ботах.

Що зробити далі

Подивіться логи за тиждень і запишіть три цифри: кількість запитів, частку підозрілих адрес і середній час відповіді. Через місяць після впровадження порівняйте їх.

Якщо хочете закрити питання швидко, подивіться можливості BotBlocker і тарифи. Для більшості сайтів достатньо Premium; Pro додає хмарну перевірку, коли атаки стають цілеспрямованими.

Довідка з журналів і перевірок є в документації BotBlocker.