Боти не завжди шумлять. Часто сайт просто працює повільніше, аналітика показує дивні сесії, а хостинг радить більше пам’яті. Розберемо, як відрізнити автоматику від людей за тим, що вже є під рукою.
Симптоми, які видно без логів
Перша ознака: різкі стрибки трафіку без зростання замовлень. Друга: повільні сторінки в години, коли покупців зазвичай мало. Третя: сотні записів у логах на адреси, яких немає на сайті. Це /wp-login.php, /xmlrpc.php і випадкові рядки з цифрами.
Ще один симптом: однакова поведінка відвідувачів. Усі заходять на ту саму сторінку, проводять нуль секунд і йдуть. У статистиці це виглядає як трафік, але конверсії не дає.
Що показують логи хостингу
Логи показують найчеснішу картину. Дивіться на три речі: User-Agent, IP-адресу й частоту запитів.
- User-Agent довжиною в один рядок або зі словом
curl,python,Go-http-clientмайже завжди означає автоматику. - Одна адреса робить десятки запитів на хвилину, особливо до адмінки.
- Запити йдуть рівними інтервалами: людина так не читає.
- Немає Referer і cookies, хоча сторінка нібито відкрита в браузері.
Окремо перевірте POST-запити до xmlrpc.php. Якщо сайт не використовує XML-RPC, ці запити не потрібні зовсім.
Як перевірити в аналітиці
Google Analytics та інші системи показують сесії, але не завжди кажуть, хто їх створив. Орієнтуйтеся на сукупність:
- тривалість сесії близько нуля;
- одна сторінка за візит;
- країни, де ви не продаєте;
- пристрої й браузери, яких у вас майже немає;
- сплеск у неробочий час.
Жодна ознака сама по собі не доводить, що це бот. Але кілька разом дають підставу перевірити логи.
Перевірка User-Agent і PTR
Найпростіший тест: подивитися, чи відповідає IP заявленому боту. Googlebot приходить із мереж Google, і зворотний DNS-запис це підтверджує. Якщо запит представляється Googlebot, а PTR веде на дешевий хостинг, це підробка.
Те саме стосується інших пошукових ботів. Перевірка не потребує плагіна: достатньо подивитися на IP у логах і звірити його з мережею пошуковика. Як це робить Google, описано в документації для розробників.
Що робить BotBlocker
Плагін перевіряє запит до того, як WordPress завантажить тему й плагіни. Він дивиться на IP, PTR, DNSBL, ASN і GeoIP, звіряє з базою з 5 млн сигнатур і кешує результат у Redis або Memcached.
Підозрілий запит не блокується одразу: людина проходить reCAPTCHA, бот із підробленим клієнтом далі не проходить. Це зменшує кількість хибних блокувань, які дратують покупців.
Для сайту це означає менше запитів до PHP і бази. Навантаження падає навіть тоді, коли кількість реальних відвідувачів не змінилася.
Що можна зробити без плагіна
- Додайте в
robots.txtзаборону для службових адрес. Це не зупинить зловмисника, але прибере частину «порядних» сканерів. - Вимкніть XML-RPC, якщо він не потрібен.
- Поставте basic auth на
wp-login.phpабо обмежте доступ за IP. - Увімкніть обмеження частоти на рівні хостингу або CDN.
- Перевірте, чи не індексуються службові сторінки.
Ці кроки дешеві й корисні, але вони не розрізняють бота й людину за сукупністю ознак. Саме тому фільтрація на рівні запиту дає більше.
Як читати логи правильно
Логи хостингу часто показують час у своєму часовому поясі, а аналітика - у вашому. Перед порівнянням зведіть обидва джерела до одного поясу, інакше пікові години не збігатимуться.
Якщо сайт стоїть за CDN, у логах буде видно IP CDN, а не відвідувача. Тоді дивіться заголовки з реальною адресою або логи самого CDN.
Кеш теж впливає: сторінка, яку віддає кеш, не створює запиту до PHP, тому в логах WordPress її може не бути. Для перевірки беріть логи вебсервера, а не логи плагіна.
Чого не робити
Не блокуйте країну повністю через кілька підозрілих адрес: разом із ботами зріжете частину покупців і пошукових ботів.
Не вірте User-Agent. Це поле підробляється за секунду, тому перевірка має спиратися на IP і мережу.
Не вмикайте капчу всім. Вона знижує конверсію, а більшість відвідувачів не винні. Капча потрібна після автоматичних перевірок, а не замість них.
Що робити з результатами
Запишіть, скільки запитів припадає на підозрілі адреси й у які години. Якщо частка висока, фільтрація окупиться швидко. Якщо низька, спочатку перевірте кеш і хостинг: проблема може бути не в ботах.
Що зробити далі
Подивіться логи за тиждень і запишіть три цифри: кількість запитів, частку підозрілих адрес і середній час відповіді. Через місяць після впровадження порівняйте їх.
Якщо хочете закрити питання швидко, подивіться можливості BotBlocker і тарифи. Для більшості сайтів достатньо Premium; Pro додає хмарну перевірку, коли атаки стають цілеспрямованими.
Довідка з журналів і перевірок є в документації BotBlocker.
