Реферальный спам: что это такое и как с ним бороться?

Популярность
1 Star2 Stars3 Stars4 Stars5 Stars
Loading...
Активность 8 343 0
Поделиться с друзьями:
002 (15)

Глобальная проблема в SEO — наличие реферального спама, который негативно влияет на показатели трафика. В нашей сегодняшней статье мы рассмотрим более подробно, как обнаружить и избавиться от него.

Что же такое реферальный спам? 
 
Реферальный спам — это негативный трафик, который передают спам-боты под прикрытием различных доменов и IP адресов. При наличии рефспама, сайт получает накрученный трафик от спам-ботов, что может привлечь санкции поисковых систем по поведенческим факторам (показатель отказов или длительность сеансов). 
 
Спам-боты зачастую ищут слабо защищенные сайты и подвергают их атакам. Когда ваш сайт размещен на дешевом хостинге или написан на незащищенной легкой пользовательской CMS системе, то есть очень высокая вероятность того, что спам-боты обратят внимание на ваш ресурс.
 
Как обнаружить присутствие реферального спама?
 
1. Зайдите в Google Analytics сайта, который проверяем на реферальный спам.
2. Перейдите в «Источники трафика» → «Весь трафик» → Рефералы
 
01

 

 
 
 
 
 
 
 
 
 
3. Отсортируйте отчет в порядке убывания по показателям отказов
02
 
 
 
 
 
 
 
 
 
 
 
 
 
Обратите внимание на рефералов с показателем отказов в 100% и длительностью сеанса в 0. Это 100% реферальный спам.
 
Методы борьбы с реферальным спамом
 
1. Блокировка реферала, который использует спам-бот.
Для этого необходимо внести следующие директивы в файл .htaccess, что лежит в корне сайта.
Пример:
RewriteEngine On

Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*site\.com\ [NC,OR]

RewriteRule .* – [F]
Данный код заблокирует все http и https рефералы с сайта site.com и со всех его поддоменов.
 
2. Блокировка IP адреса, который использует спам-бот.
Для этого необходимо внести следующие директивы в файл .htaccess, что лежит в корне сайта
Пример:
RewriteEngine On

Options +FollowSymlinks

Order Deny,Allow

Deny from 123.45.67.89
Важно! Это лишь пример, в таком виде он не сработает, вам необходимо подставить свои значения IP адреса.
 
3. Исключение реферального трафика 
Чтобы реферальный трафик не суммировался с общим трафиком, необходимо создать и настроить фильтры трафика в Google Analytics, который в дальнейшем не будет учитывать источники реферальных атак. 
Заходим в «Источники трафика»«Весь трафик»«Источник/Канал»
 
03

 

 

 

 

 

 

 

 

 

 

 

Мы видим источники трафика разного типа. Нас интересует реферальный. Спам-боты могут изменять источники и делать их схожими между собой по названию. 

Пример №1: Исключаем реферальных спамеров, которые содержат повторяющееся слово в середине своего названия.

04

 

 
 
Исходя из трафика за последние 6 месяцев, выделим только те источники, которые содержат в себе слово «buttons».  Для этого через поиск по трафику отсортируем источники, содержащие «buttons».
 
05

 

 
 
 
 
 
 
 
В результате мы получим список всех доменов с содержанием в названии «buttons» которые использовали спам-боты для реферера.
 
06

 

 

 

 

 

 

 

 

 

 

 

07

 

 

21 источник реферального спама с содержанием в названии «buttons».

Чтобы исключить эти спам источники трафика, необходимо перейти в пункт верхнего меню «Администратор». Далее, в колонке «Представление» выбрать пункт «Фильтры».

08

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Для создания нового фильтра нажимаем кнопку «Добавить фильтр»
 
09
 
 
 
 
 
 
 
 
 
Далее необходимо создать шаблон фильтра, который будет исключать трафик от всех спам источников содержащих «buttons». 
 
010

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 
 
В шаблоне фильтра использовалось регулярное выражение
.*buttons
Которое учитывает все символы включая их повторение до слова «buttons». С момента сохранения, весь следующий трафик который будет поступать с реферальных спамеров, содержащих «buttons» не будет учитываться в дальнейшую статистику трафика.
011
 
 
 
 
Пример №2: Исключаем трафик хосты с одинаковым началом своего имени.
На данный момент обнаружено 26 хостов которые начинаются на слово «site».
012
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
013
 

 

 

Чтобы исключить эти спам источники трафика, необходимо перейти в пункт верхнего меню «Администратор», далее в колонке «Представление»  выбрать пункт «Фильтры».

014
 
 
 
 
 
 
 
 
 
 
 
 
Для создания нового фильтра нажимаем кнопку «Добавить фильтр»
015
 
 
 
 
 
 
 
 
 
Далее необходимо задать с помощью регулярного выражения условие исключения всех источников, которые будут начинаться на слово «site».
016

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 
 
 
Регулярное выражение «^site» указывает, что все спам хосты, начинающиеся на site, будут исключены из общего трафика с момента сохранения фильтра.
Сохраняем и получаем следующую картину:
017
 
 
 
 
 
 

Пример №3: точечное исключение:

Допустим, у нас есть спамный хост, исключить его регулярным выражением мы не сможем, потому что он один.

018
 
Чтобы точечно закрыть подобные хосты, необходимо создать фильтр под каждый единичный спам реферер.
019
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Сохраняем и получаем следующее:

020

 
 
 
 
 
 
 
 
 
 
 
Важно! При удалении данных фильтров, спам трафик снова будет поступать в статистику общего трафика.
Минусом этого решения является то, что список таких рефералов постоянно пополняется, и нужно периодически мониторить отчеты трафика на предмет возникновения новых рефералов во избежание искажения статистики.