Що таке трафік бота?
Трафік ботів описує будь-який трафік, який не стосується людини, на веб-сайт або додаток. Термін «бот-трафік» часто має негативну конотацію, але насправді трафік бота не обов’язково є добрим чи поганим; все залежить від призначення ботів.
Деякі боти важливі для корисних сервісів, таких як пошукові системи та цифрові помічники (наприклад, Siri, Alexa). Більшість компаній вітають таких типів ботів на своїх сайтах.
Інші боти можуть бути шкідливими, наприклад, ті, які використовуються для заповнення облікових даних, скребки даних та запуску DDoS-атак. Навіть деякі більш доброякісні “погані” боти, такі як несанкціоновані веб-сканери, можуть спричинити занепокоєння, оскільки вони можуть порушити аналітику сайтів і генерувати шахрайство при натисканні.
Вважається, що понад 40% всього трафіку в Інтернеті складає бот-трафік, і значна частина цього становить шкідливі боти. Ось чому так багато організацій шукають способи управління трафіком бота, що надходить на їх сайти.
Як можна визначити трафік бота?
Веб-інженери можуть безпосередньо переглядати мережеві запити на свої сайти та виявляти ймовірний трафік бота. Інтегрований інструмент веб-аналітики, такий як Google Analytics або Heap, також може допомогти виявити трафік бота.
Наступні аномалії аналітики є ознаками трафіку бота:
- Ненормально високі перегляди сторінок: Якщо сайт зазнає раптового, безпрецедентного та несподіваного сплеску перегляду сторінок, цілком ймовірно, що через нього натискають боти.
- Аномально високий показник відмов: коефіцієнт відмов визначає кількість користувачів, які переходять на одну сторінку на сайті, а потім залишають її, перш ніж натиснути що-небудь на сторінці. Несподіване підвищення рівня відмов може бути результатом того, як боти будуть спрямовані на одну сторінку.
- Напрочуд висока або низька тривалість сеансу: тривалість сесії або кількість часу перебування користувачів на веб-сайті має залишатися відносно стійким. Непояснене збільшення тривалості сеансу може бути вказівкою на те, що боти переглядають сайт із незвично повільною швидкістю. І навпаки, несподіване падіння тривалості сеансу може бути результатом роботи ботів, які переглядають сторінки на сайті набагато швидше, ніж людський користувач.
- Небажана конверсія: Зростання фальшивих конверсій, таких як створення облікових записів із використанням непристойних електронних адрес або контактних форм, поданих з фальшивими іменами та номерами телефонів, може бути результатом заповнення форм або спам-ботів.
- Спайк трафіку з несподіваного місця: раптовий сплеск користувачів з одного конкретного регіону, особливо з регіону, який навряд чи має велику кількість людей, які вільно володіють рідною мовою сайту, може бути свідченням трафіку бота.
Як трафік боту може зашкодити аналітиці?
Як було сказано вище, несанкціонований трафік бота може впливати на аналітичні показники, такі як перегляд сторінок, показник відмов, тривалість сеансу, геолокація користувачів та конверсії. Ці відхилення в показниках можуть створити багато розчарувань у власника сайту; дуже важко виміряти ефективність веб-сайту, заваленого активністю бота. Спроби вдосконалити сайт, такі як тестування A / B та оптимізація швидкості конверсії, також калічать статистичний шум, створюваний ботами.
Як відфільтрувати трафік боту з Google Analytics
Google Analytics надає можливість “виключити всі звернення з відомих ботів і павуків” (павуки – це боти пошукової системи, які сканують веб-сторінки). Якщо джерело трафіку бота можна визначити, користувачі також можуть надати певний список ІС, які ігноруватиме Google Analytics.
Хоча ці заходи не дозволять деяким ботам порушити аналітику, вони не зупинять усіх ботів. Крім того, більшість зловмисних ботів переслідують мету, крім того, щоб порушити аналітику трафіку, і ці заходи не роблять нічого для зменшення шкідливої діяльності ботів за межами збереження даних аналітики.
Як бот-трафік може погіршити продуктивність?
Відправка величезної кількості ботового трафіку є дуже поширеним способом для запуску DDoS-атаки. Під час деяких типів DDoS-атак стільки трафіку атак спрямовується на веб-сайт, що сервер-джерело стає перевантаженим, а сайт стає повільним або взагалі недоступним для законних користувачів.
Як трафік боту може бути поганим для бізнесу?
Деякі веб-сайти можуть бути фінансово скалічені зловмисним трафіком ботів, навіть якщо на їх ефективність не впливає. Сайти, які покладаються на рекламу, та сайти, що продають товари з обмеженим запасом, особливо вразливі.
Для сайтів, що розміщують рекламу, боти, які розміщуються на сайті та натискають на різні елементи сторінки, можуть викликати помилкові кліки оголошень; це відомо як шахрайство з натисканням. Хоча це спочатку може призвести до збільшення доходів від реклами, мережі інтернет-реклами дуже добре виявляють кліки бота. Якщо вони підозрюють, що веб-сайт чинить шахрайство з натисканням, вони вживатимуть заходів, як правило, у формі заборони цього веб-сайту та його власника від своєї мережі. З цієї причини власники сайтів, на яких розміщуються рекламні оголошення, повинні завжди насторожено ставитися до шахрайства з натисканням на бот.
Сайти з обмеженим запасом можуть бути націлені за допомогою ботів, що зберігають інвентар. Як випливає з назви, ці боти переходять на сайти електронної комерції та скидають тонни товарів у свої кошики, роблячи цей товар недоступним для придбання законними покупцями. У деяких випадках це також може спричинити непотрібне поповнення запасів у постачальника чи виробника. Боти, що зберігають інвентар, ніколи не здійснюють покупки; вони просто призначені для порушення доступності товарних запасів.
Як веб-сайти можуть управляти трафіком бота?
Першим кроком до зупинки або управління трафіком бота на веб-сайті є включення файлу robots.txt. Це файл, який містить інструкції для сканування ботів на сторінку, і він може бути налаштований так, щоб боти не відвідували веб-сторінку або взагалі взаємодіяли з нею. Але слід зазначити, що правила роботи robots.txt дотримуватимуться лише хороших ботів; це не завадить зловмисним ботам сканувати веб-сайт.
Ряд інструментів може допомогти зменшити насильницький трафік
Рішення, що обмежує швидкість, може виявити та запобігти трафіку бота, що походить з однієї IP-адреси, хоча це все ще не помітить у собі багато шкідливого трафіку бота. Крім обмеження швидкості, мережевий інженер може переглянути трафік сайту та виявити підозрілі мережеві запити, надаючи список IP-адрес, які блокуються інструментом фільтрації, таким як WAF. Це дуже трудомісткий процес і все ще зупиняє лише частину зловмисного трафіку бота.
Окремо від обмеження швидкості та прямого втручання інженера, найпростіший та найефективніший спосіб зупинити поганий трафік бота – це рішення для управління ботом. Рішення для управління ботом може використовувати інтелект та використовувати поведінковий аналіз, щоб зупинити зловмисних ботів, перш ніж вони коли-небудь перейдуть на веб-сайт. Наприклад, Cloudflare Bot Management використовує інтелект більш ніж 13 мільйонів Інтернет-ресурсів і застосовує машинне навчання для активної ідентифікації та припинення зловживань ботом.