Как определить роботность и отследить ботов в отчете по трафику

Данные о трафике могут серьезно искажаться наплывом «пауков» и роботов — специальных ботов для мониторинга. Среди них бывают «полезные» — анализирующие релевантность страницы с точки зрения поисковых сетей. Но также часть неестественного трафика составляют «вредные» роботы — боты для парсинга, спама и имитации живого трафика.

В некоторых случаях бывает полезно смотреть весь трафик целиком, чтобы методом исключения определять неестественные приливы трафика и накрутку. Но зачастую нас интересует чистый трафик, состоящий из живых посещений, которые затем превращаются в конверсии.

Команда сервиса для анализа сайта PR-CY рассказывает, как следить за посещаемостью сайта ботами и исключить их из отчета при необходимости.

Роботность сайта и боты в трафике

Зачем смотреть роботность трафика сайта

Повысить доход от рекламы

Определить наплыв роботов

Как посмотреть отчеты по трафику в Яндекс.Метрике с роботами и без

Как посмотреть посещения роботов

Как посмотреть отчеты по трафику в Google Analytics

Зачем отслеживать роботов

Роботность сайта и боты в трафике

Роботность (или бот-трафик) — это совокупность всех «нечеловеческих» посещений страницы из общего трафика. По данным исследования, на декабрь 2021 доля переходов роботов — 27,7% от всего интернет-трафика. 

Можно выделить два основных типа роботов:

• Явные — «пауки» поисковиков (или краулеры), которые не скрывают своего происхождения и определяются системой как служебные. Определить краулера можно по названию — Googlebot, YandexBot и так далее. Оптимизаторы также называют явных роботов «полезными» или «хорошими» в противовес ботам спамеров, накрутчиков и прочих.
• Неявные (или маскирующиеся) — искусственные переходы, которые пытаются имитировать человеческое поведение. Могут посещать страницу и совершать на ней целевые действия. Основная задача маскирующихся ботов — нагнать трафика для повышения позиций сайта в выдаче. Также являются одной из базовых уловок нечестных на руку оптимизаторов. По этой причине называются «вредными» или «плохими». Плохие боты выполняют задачи, которые зачастую противоречат условиям честного продвижения. Чтобы обойти блокировку, они часто маскируются под Google Chrome.

Статистика соотношения роботности к величине сайта от mediasat.info

Обе категории можно выделить из общей массы трафика и исключить, чтобы получить аналитику по естественным переходам. 

Зачем смотреть роботность трафика сайта

Повысить доход от рекламы

Чем выше показатель роботности, тем ниже процент выкупа трафика на сайте. Оптимизация притока неестественного трафика поможет увеличить доход с ресурса. Дело в том, что рекламодателей интересует в первую очередь число живых пользователей. Этот параметр зачастую превосходит позиции в выдаче или качественные показатели ранжируемости. Снизите число роботов — увеличите стоимость показов.

Критическим показателем считается 10% роботности сайта, при таком уровне рекламодатели предпочитают не связываться с владельцами ресурса. Оптимальным уровнем считается отметка, не превышающая 5%.

Снизить роботность можно вручную, запретив их в файле robots.txt или ограничив на переходы источники трафика с наибольшим числом неестественных запросов. Узнать о них можно в статистике.

Читайте также:

Как разработчику сайтов удалось увеличить трафик и конверсии из поиска в 18 раз [кейс PromoPult]

Определить наплыв роботов

Признаки наплыва ботов на сайт:

• Разные показатели в метриках. Внезапные колебания, различные пиковые значения в системах.

Классический пример расхождения показателей в разных метриках

• У живых людей естественно сформулированные запросы, которые зачастую подчиняются заданной логике. Например, поиск товара по категории → переход на сайт → выбор товара в категории → просмотр карточки → добавление в корзину. Перекос переходов по одной конкретной поисковой фразе или запросу сигнализируют о наличии неживого трафика.
• Нереальное количество переходов по низкочастотным запросам. Если по вашей категории «купить парогенератор Свердловск» всего пятнадцать запросов в месяц в Вордстате, а ваш сайт выдает 500 типовых посещений, скорее всего, виноваты роботы. Ну или вас можно поздравить, и вы запустили тренд на парогенераторы в Свердловске.
• Отсутствие лидов при растущем трафике. Проверяйте настройки целей в Метрике, а также статистику переходов по запросам.
• К менее очевидным признакам можно отнести переходы в неестественное для среды время. Например, если у вас магазин по продаже утюгов, который работает в будни с 10:00 до 18:00, а вспышка трафика показывает переходы в период с 2 часов ночи до 4:20 утра, вероятнее всего, вы имеете дело с накруткой.
• Неестественное соотношение высокого числа просмотров и низкого уровня лидов — боты ничего не покупают.

Если вы видите наплыв ботов, возможно, ваш сеошник накручивает показатели ради отчетов. Если это касается рекламы, велика вероятность, что кто-то ее скликивает. 

Быстро оценить изменения трафика можно в сервисе для анализа сайта от PR-CY. Он следит за состоянием SEO сайта и его позиций, ищет ошибки на внутренних страницах и присылает отчеты раз в неделю.

Фрагмент анализа посещаемости

Чтобы обезопасить себя от нападок конкурентов или недобросовестных оптимизаторов, пользуйтесь сразу несколькими статистическими системами параллельно. Например, Яндекс.Метрикой, Google Analytics и CRM с коллтрекингом. При таком подходе даже опытный «торговец мертвыми душами» не сможет пройти незамеченным.

Как посмотреть отчеты по трафику в Яндекс.Метрике с роботами и без

Как посмотреть посещения роботов

Роботы учитываются в Метрике в одноименном отчете, который проверяет активность роботов при повышенной нагрузке на сайт (отчет «Нагрузка на сайт»). Отчет отобразит всплеск активности, если он есть. При установке периода с колебаниями, выберите в отчете «Роботы» необходимую дату, и Метрика укажет процент обращений роботов на сайт и их имена.

Имена всех роботов Яндекса заканчиваются на yandex.ru или yandex.com.

С сентября 2021 действует обновленная система выявления ботов, которая интегрирована в статистику. Чтобы ее добавить, в настройке «Данные» выберите «с роботами». В Метрике появится опция «Роботность» в отчетах и соответствующий раздел в таблице данных.

Как настроить фильтрацию роботов

Настройка счетчика → Вкладка «Фильтры» → Фильтрация роботов → Выбор из трех вариантов:

Классический пример расхождения показателей в разных метриках

• Учитывать визиты всех роботов — пункт включит все посещения роботов во все отчеты Метрики.
• Фильтровать роботов только по строгим правилам — выявление роботов по IP или User-Agent. Обнаруживает не всех ботов, установлен по умолчанию.
• Настройка фильтровать всех роботов по строгим правилам и по поведению позволяет максимально снизить всплески некачественного трафика. В новом варианте доступно переключение в разделе Настройка → Фильтры через активацию «Фильтровать роботов по поведению».

Для поэтапного отчета: Стандартные отчеты → Мониторинг → Роботы.

Вот так выглядит поэтапный отчет в Яндексе

Читайте также:

Статус и заголовки ответа сервера: что это и как проверить

Антифрод Яндекса

Для определения роботов Яндекс использует специально обученные нейросети — антифроды. Они представляют собой комплексное решение по поиску плохого неестественного трафика и борьбы с ним. Яндекс использует три независимые друг от друга системы: для Поиска, Директа и Метрики. Каждая из них работает и развивается изолированно.

Принцип работы антифродов Яндекса

Технология машинного обучения позволяет алгоритмам со временем обнаруживать новые схемы накрутки и «скликиваний», поэтому данные в аналитике и показатель роботности меняется в соответствие с обновлениями систем. По этой причине показатель роботности может колебаться и давать неверную оценку.

Самые хитрые боты, которые появились не из-за накрутки или злоупотреблений сеошника, могут использовать ваш сайт как тренажерный зал для прокачки своего естественного поведения. Такие боты будут совершать типовые действия для рядовых пользователей. Чтобы отсеять их, воспользуйтесь отчетом «Долгосрочные интересы». 

Столбец «Аффинити-индекс» покажет интерес пользователя. Если он превышает 100%, вам не о чем переживать. Но если его интересы покрывают тематики, не связанные с вашим сайтом, это может сигнализировать об искусственном трафике.

«Аффинити-индекс» также эффективен для простой отчетности

Как убрать ботов из отчета по трафику

По умолчанию Яндекс убирает из статистики явных роботов (которые представились), а с помощью визуализации без роботов он уберет из отчетов маскирующихся ботов. Настройки доступны для всех отчетов.

Как выделить только естественные посещения в статистике

Как посмотреть отчеты по трафику в Google Analytics

Отдельного фильтра для просмотра данных по роботам в отчетах GA4 больше нет. Отчеты с роботами или без есть только в статистике Universal Analytics, где фильтрация роботов и пауков происходит по настройке. GA4 исключает трафик ботов из статистики автоматически. В новых отчетах нельзя отключить эту функцию и даже узнать, сколько обращений было удалено. Идентификация известных роботов происходит на сайте iab.com.

Что еще изменилось в GA4 по сравнению с Universal Analytics, читайте в этой статье.

Воспользоваться старой настройкой по-прежнему можно. Для этого в Universal Analytics выберите Настройки представления (через права Администратора) в графе Представление. Здесь будет доступна фильтрация роботов в ручном режиме.

Как выглядит настройка отчетов в Universal Analytics

С 1 июля 2023 Google прекращает обрабатывать новые обращения в Universal Analytics от всех пользователей. Как перейти на новую систему аналитики от Google, читайте в этом гайде.

Зачем отслеживать роботов

Информация о трафике с роботами и без открывает владельцу сайта дополнительные возможности. 

Можно более точно определить объем качественного трафика и провести работу по отключению вредоносных источников, обнаружить накрутку на ранних стадиях и выявить природу «вспышек» и колебаний посещаемости сайта.

Источник: blog.promopult.ru