Спам-трафик в Google Analytics: откуда он берется, кто виноват, и что делать

В последние месяцы я все чаще замечаю в статистике реферального трафика Google Analytics переходы на web-likbez.com с различных мусорных сайтов, вплоть до порно. Естественно, никаких обратных ссылок я там не размещала, и естественно, мне все это не нравится. В первую очередь подумала о пессимизации блога в поисковиках за сомнительные ссылки, а мне местами есть что терять. После некоторых раздумий решила, что надо бы выставить злодеям фильтры, и обратилась с этим запросом к своим ребятушкам из Tokki Team – тем самым, что поддерживают этот блог и решают все технические вопросы. А ребятушки мои шутить не любят, и по моему вопросу они, точнее, веб-разработчик Илья Напастюк, провели целое грандиозное исследование. Результат был предоставлен мне в письменном виде, и произвел на меня такое впечатление, что я решила сделать его достоянием народа. Итак, вот что Илья хочет сказать всем, кого смущает спам-трафик в Google Analytics, а смущает он многих:

_____________________________________

«Google Analytics давно уже показывает мне трафик спам-ботов… Чем  мне это грозит, и как от него избавиться?»

«В списке реферального трафика в моем GA показываются переходы с левых сайтов, на которых моей ссылки никак не могло быть. Прямо с первых дней работы сайта, когда на нем еще ничего не было».

«У меня на сайте, наверное, вирус. Когда просматриваю источники переходов, меня перекидывает на AliExpress».

Если вы столкнулись с такой же или похожей проблемой, значит, эта статья – для вас. Постараюсь объяснить все максимально понятно, на пальцах, поэтому будет многабукаф.

Кто это / что это?

Называется это дело реферальный спам (referral spam); иногда его еще не совсем правильно называют ссылочным спамом или спам-трафиком. Реферальный спам существовал давно, но массово стал распространяться несколько лет назад, с ростом популярности аффилейтских программ в рунете. По сути, он является таким же спамом, как и любой другой: почтовый, форумный и т.д.

Как он выглядит?

В Google Analytics или Яндекс Метрике появляются реферальные посещения с адресов, где вашей ссылки никак не может быть. Эти посещения могут появиться прямо на следующий день после регистрации домена: на вашем сайте еще ничего нет, а переходы на него с левых сайтов уже есть. Время посещения (Avg. Session Duration) обычно нулевое, а показатель отказов (Bounce Rate) – 100%. Но это тоже не всегда, потому что реферальный спам бывает разный. На этом скриншоте все переходы – реферальный спам.

Вот самые популярные сайты, которые прописываются в рефералах:

• semalt.com
• buttons-for-website.com
• darodar.com
• priceg.com
• makemoneyonline.com
• blackhatworth.com
• hulfingtonpost.com
• bestwebsitesawards.com
• o-o-6-o-o.com
• ilovevitaly.com
• simple-share-buttons.com
• social-buttons.com
• best-seo-solution.com
• econom.com
• ilovevitaly.com
• ilovevitaly.ru
• humanorightswatch.org
• 4webmasters.org

Как это работает?

Схема несложная, и, как это часто бывает, основывается на человеческом любопытстве. Ну а цель, как всегда – деньги. В нашем конкретном случае – комиссия, зарабатываемая на партнёрских программах.

1. Конечная цель реферального спама: вебмастер должен увидеть у себя в статистике переход со спам-ресурса.

2. Большая часть вебмастеров из любопытства (или просто исследуя свой трафик) перейдет на новый сайт, с которого, судя по аналитике, к нему идут люди. А вдруг на него кто-то поставил интересную ссылку?

3. На конечном сайте ссылки, конечно, не оказывается, и вообще его перебрасывает совсем на другую страницу. Чаще всего на Aliexpress.com или на другой ресурс с аффилейтской программой.

4. Разочарованный вебмастер покидает сайт.

5. Думаете, на этом все? Нет. Все только начинается. Когда вебмастер после редиректа оказался на Aliexpress.com, у него в память браузера добавилась аффилейтская кука (cookie, печенька). Срок действия такой куки может доходить до года. У Aliexpress.com, например, срок годности куки недавно составлял 30 дней, а сейчас сократился до одной сессии (пока в браузере открыта вкладка AliExpress).

6. Если в течение срока действия куки кто-то, пользующийся тем же браузером, купит на партнерском сайте что угодно, его покупка учтётся как аффилейтская, и владелец аффилейтской ссылки получит свою комиссию. В сумме спам-трафик дает неплохой доход. Кстати, необязательно что-то покупать. Некоторые сайты платят не только за покупки, но и за регистрации, лиды и другие целевые действия. Покупка не будет учитываться как аффилейтская, только если стереть все куки из браузера.

8. Вот и получается, что тот же AliExpress не имеет никакого отношения к списку реферальных доменов с вашего сайта. Владелец домена просто перенаправляет вас на AliExpress и другие сайты вместе со своим аффилейтским номером в ссылке.

И чем мне это грозит?

Конкретно вебмастеру – ничем. Совсем. Спам-боты не влияют ни на сервер (ниже я подробно расскажу, почему), ни на позиции в поисковых системах (также см. ниже). Они могут повлиять только на поведенческие факторы, если продолжительность визита больше 5 секунд. Меньшая поисковиками не учитывается, хотя Яндекс говорит, что можно не беспокоиться даже о коротких посещениях.

Единственный вред от них в том, что они искажают аналитику. Данные за прошедший период уже не изменить. Но можно настроить фильтры так, чтобы спам в Google Analytics не мешал в будущем, а на сильные пики в прошлом добавить в GA комментарий и дополнительный фильтр на просмотр, чтобы не отвлекаться на них при анализе.

Как это исправить?

А вот тут начинаются технические подробности. Есть два вида реферального спама, который делается разными роботами.

При первом виде спама, чтобы зарегистрировался переход на нужный сайт, запускают робота, который заходит на главную страницу и оставляет в статистике переход. Бороться с ним можно двумя способами:

1. Игнорируя. Ставим в аналитике дополнительный фильтр, чтобы лишние переходы не портили статистику и периодически пополняем коллекцию фильтров, потому что сайты и роботы постоянно меняют маскировку.

2. Игнорируя и запрещая. Многие еще рекомендуют добавлять запрещающие правила в файле htaccess. В таком случае для робота ваш сайт будет недоступен, и в статистике не появится. Мы рекомендуем не делать данную коррекцию самому, а обратиться к специалисту, потому что один пропущенный или случайно добавленный символ в файле htaccess может заблокировать сайт вообще для всех, включая Google.

Второй тип реферального спама делается роботом, который даже не заходит на ваш сайт. Данные о посещениях передаются серверам Google напрямую (для любопытных: через Google Measurement Protocol). Достаточно только знать номер вашего GA. Таких роботов бесполезно блокировать в htaccess, потому что им необязательно знать, какой у вас домен или хостинг. Они на сайт даже не заходят, поэтому на хостинг никак не влияют. Но в вашей статистике все равно появляются. Поэтому их нужно просто фильтровать в статистике. Правда, эти переходы будут видны только в Google Analytics. В Яндекс.Метрике они не появятся, потому что этот тип роботов предназначен только для GA.

А как они обо мне узнали?

Код аналитики можно легко получить из публичного исходного кода сайта (html) или даже перебором вариантов. Список недавно зарегистрированных доменов тоже легко достается через парсинг who.is и аналогичных сайтов.

И что мне делать?

Бороться с реферальным спамом можно по-разному. Некоторые предлагают сразу менять хостинг. Дескать, на новом IP-адресе ваш сайт не найдут. Спешу вас разочаровать: это не поможет. Робот переходит к вам по URL (адресу сайта), поэтому ему не важно, какой у вас хостинг и IP-адрес.

Можно, в принципе, ограничиться галочкой в Google Analytics о блокировке известных роботов. Как мы выяснили, в большинстве случаев эти роботы ни на что не влияют. Если же вы серьезно вкладываетесь в продвижение своего сайта, то можно сделать следующее:

• Поставить галочку «блокировать известных роботов».
• Сделать 2 представления (view) в GA. Одно оставить обычным, во втором настроить фильтры. Дублирование нужно, потому что с фильтрами очень легко ошибиться, а уже засчитанная аналитика не меняется.
• Во втором представлении GA настраиваем фильтры так, чтобы отсекать нежелательные посещения.
• Если есть много спамных посещений длительностью больше 5 секунд, нужно прописать в htaccess запрет на посещение с данными реферальными адресами.
• Регулярно (раз в неделю или в месяц, в зависимости от количества спама) добавлять новые фильтры и отслеживать ситуацию.

В общем, не так страшен черт, как его малюют. Истинным перфекционистам, конечно, не понравится замусоренная статистика в их красивых и ухоженных таблицах Google Analytics. Однако, помимо подпорченной эстетики, реферальный спам никому ничем не навредит. Так что постарайтесь расслабиться и получить удовольствие.

Автор: Полина Белецкая