Перейти до вмісту

Скрапери і крадіжка контенту: як захистити статті та ціни

Скрапер не зламує сайт. Він читає його так само, як браузер, і забирає все, що бачить: тексти, фото, ціни, описи товарів. Для блогу це втрата унікальності, для магазину - втрата переваги в ціні.

Як працює скрапер

Найпростіший варіант - бот, який іде за посиланнями й зберігає HTML-код сторінок. Він не завантажує картинки й стилі, бо йому потрібен текст. Такий трафік майже не видно в аналітиці: сесія є, але вона триває частки секунди.

Складніші інструменти виконують JavaScript і поводяться як браузер. Вони повільніші, дорожчі в обслуговуванні й залишають більше слів у логах, але обходять прості перевірки, які дивляться лише на User-Agent.

Складніші інструменти ведуть розклад за цінами. Вони повертаються на сторінку товару щогодини, порівнюють цифри й будують графік. Для магазину це означає, що конкурент бачить ваші знижки раніше, ніж покупці.

Ознаки, які видно в логах

  • Один IP за короткий час читає десятки сторінок.
  • Запити йдуть лише до HTML, без зображень і скриптів.
  • Бот проходить увесь архів, включно з пагінацією.
  • User-Agent називає відомий інструмент або виглядає як підробка під Chrome.
  • Немає Referer, хоча переходи нібито з пошуку.

Якщо кілька ознак збігаються, варто подивитися, що саме бот забирає: статті, каталог чи ціни. Окремо зверніть увагу на сторінки товарів: ціни збирають частіше, ніж статті.

Що втрачає бізнес

Для медіа проблема в дублях. Стаття виходить на агрегаторі раніше, ніж її індексує оригінал, і пошуковик може віддати перевагу копії. Копія без посилання також забирає посилальну вагу, яку міг би отримати оригінал. Для магазину проблема в ціні: конкурент знижує свою на кілька відсотків і забирає покупця, який порівнює.

Фото і прайси теж мають вартість. Якщо ви продаєте ліцензії на зображення, автоматичний збір зменшує продажі без жодного запиту.

Юридичний шлях теж існує: скарга на копію, вимога прибрати матеріал, звернення до хостингу порушника. Він довгий і не завжди дає результат, тому дешевше не пускати збір на вході.

Як перевірити свій сайт

Подивіться логи за добу й порахуйте, скільки адрес прочитали понад двадцять сторінок. Потім перевірте, чи є серед них пошукові боти: Googlebot і Bingbot мають зворотний DNS-запис, який підтверджує мережу.

robots.txt тут не рятує: його виконують лише порядні боти, а скраперу достатньо його ігнорувати. Перевіряйте кілька днів, а не один: скрапери часто ходять за розкладом.

Чим це відрізняється від пошукового бота

Пошуковий бот приходить, щоб проіндексувати сторінку й привести відвідувача. Він представляється, має зворотний DNS-запис і дотримується правил. Скрапер приходить, щоб забрати контент: він не дає переходів і не платить за трафік.

Плутати їх небезпечно. Якщо заблокувати всіх, хто «виглядає як бот», можна втратити індексацію. Якщо не блокувати нікого, сайт годує чужі каталоги. Саме тому перевірка має бути багаторівневою.

Що робить BotBlocker

Плагін перевіряє запит до завантаження WordPress і звіряє його з базою з 5 млн сигнатур. Додатково дивиться на IP, PTR, DNSBL, ASN і GeoIP, тому ловить не тільки відомі адреси, а й нові адреси тих самих ботферм.

Результат кешується в Redis або Memcached: під час масового збору це критично, бо інакше кожен запит знову проходить усі перевірки. Підозрілий відвідувач бачить reCAPTCHA, а бот без браузера її не проходить.

Що можна зробити без плагіна

  • Закрити в robots.txt архіви й пагінацію, які не потрібні в індексі.
  • Обмежити частоту запитів на рівні хостингу або CDN.
  • Додати honeypot-посилання, яке бачить лише бот.
  • Показувати ціни після авторизації або в JS, якщо це доречно для бізнесу.
  • Стежити за копіями через пошук і надсилати скарги.

Ці кроки зменшують збиток, але не розрізняють скрапера й покупця за сукупністю ознак. Вони також не працюють, якщо бот ходить із нових адрес щоразу.

Як зрозуміти, що копіюють саме вас

Візьміть унікальну фразу зі статті й пошукайте її в лапках. Якщо вона є на іншому сайті без посилання на вас, це копія. Повторіть для кількох матеріалів: зазвичай копіюють не все, а найпопулярніше.

Для магазину перевірте унікальні описи товарів. Якщо вони з’являються на сайті-конкуренті з іншими цінами, там працює збір каталогу. Поставте нагадування в пошуку за назвою бренду й ключовими товарами.

Що зробити далі

Почніть із логів: якщо понад десять відсотків трафіку припадає на кілька адрес, фільтрація дасть помітний ефект. Подивіться можливості BotBlocker і тарифи: для більшості сайтів достатньо Premium.

Докладніше про перевірку IP і сигнатур є в документації.