Закончился трафик на бота как как восстановить

Восстанавливаются ли позиции сайта после блокировки бот-трафика?

Если сайт спустился в позициях, то придётся заново проходить квест чтобы эти позиции возвратить и ещё возвращать нормальные ПФ на сайте..

А с чего вы решили, что позиции упали и как следствие, упал трафик не от ботов, а от изменения алгоритма яндекса? У вас есть более 10 сайтов одной тематики?, которые имеют разные данные: возраст, кол-во страниц, качество текстов (пишут разные копирайтеры), структуру (где то ее вообще нет, а где то сделана специально так тупорыло, чтобы человек гарантированно просматривал несколько страниц), кластеризацию, ссылки (вообще без ссылок, закупались на биржах, закупались только вручную переписываясь с вебмастерами сайтов доноров или вперемешку) и т.д. Вы не сотрудник яндекса? А то это они мне полтора года пели, что все норм, не ссыте-улучшайте, развивайте. Так доразвивался, что уже хотел сотрудников увольнять, благо постоянные клиенты и сарафанное радио помогли не допустить такой ошибки.

И только когда ботов удалось отсечь, пошло восстановление позиций у некоторых сайтов, но не трафика, трафик все равно уменьшился, львиная доля размазалась по дзенам, кью и яндекс услугам.

Вы не сотрудник яндекса? А то это они мне полтора года пели, что все норм, не ссыте-улучшайте, развивайте.

А с чего вы решили, что позиции упали и как следствие, упал трафик не от ботов, а от изменения алгоритма яндекса? У вас есть более 10 сайтов одной тематики?, которые имеют разные данные: возраст, кол-во страниц, качество текстов (пишут разные копирайтеры), структуру (где то ее вообще нет, а где то сделана специально так тупорыло, чтобы человек гарантированно просматривал несколько страниц), кластеризацию, ссылки (вообще без ссылок, закупались на биржах, закупались только вручную переписываясь с вебмастерами сайтов доноров или вперемешку) и т.д. Вы не сотрудник яндекса? А то это они мне полтора года пели, что все норм, не ссыте-улучшайте, развивайте. Так доразвивался, что уже хотел сотрудников увольнять, благо постоянные клиенты и сарафанное радио помогли не допустить такой ошибки.

И только когда ботов удалось отсечь, пошло восстановление позиций у некоторых сайтов, но не трафика, трафик все равно уменьшился, львиная доля размазалась по дзенам, кью и яндекс услугам.

Все верно, мне хоть увольнять не надо никого. Но вот все думал отпустит, думал восстановиться, думал Яндекс не врет что все нормально. Ан нет, на завод меня не возьмут, живу теперь на зарплату жены. Стыдно, но с умным Яндексом мне не совладать.

Хоть один плюс с бот-трафика «словил» — бросил пить, наверное скоро и курить брошу. Главное чтоб кормили хоть иногда

Атака ботов на сайт: признаки, последствия, защита

В середине прошлого года на российский сегмент интернета свалилась настоящая напасть — десятки тысяч сайтов наводнили боты, которые тянули на дно все качественные показатели и приводили к существенному снижению позиций по многим запросам. Уменьшение поискового трафика сопровождалось множеством прямых заходов на сайт или переходом с социальных сетей. Конца этому беспределу пока не видно: Яндекс на официальном уровне проблему не признаёт, поэтому её решение целиком и полностью легло на плечи веб-мастеров и seo-специалистов.

Почему на вашем сайте появляются боты? Скорее всего, в тематике вашего сайта кто-то накручивают ПФ и ваш сайт используется в качестве «прогрева» ботов , нагуливая куки и создавая видимость человека. Всё просто. Единственная хорошая новость в том, что если боты есть на вашем сайте, то значит он действительно качественный. На этом плюсы кончаются

Признаки наплыва ботов

Косвенных признаков ботового DDoS на сайт достаточно много. Если у вас в последние дни вырос трафик в разы, обязательно загляните в метрику, чтобы узнать природу такого резкого всплеска.

1. Самый главный триггер: увеличивается количество прямых заходов , переходов с рекомендательных сайтов (Дзен) и переходов с социальных сетей с мобильным юзерагентом. Боты очень любят атаковать страницы, результаты которых входят в ТОП-3 поисковой выдачи. Страницы с низкой посещаемостью их не интересуют и они их практически не посещают.

ДО БОТОВ:

ПОСЛЕ БОТОВ:

2. Уменьшается количество отказов, но при этом уменьшается время на сайте и глубина просмотров .

ДО БОТОВ:

ПОСЛЕ БОТОВ:

3. Если боты идут с прямых заходов, то проводят на сайте не менее 15 секунд , чтобы метрика не засчитала отказ. В случае поискового трафика обычно по другому (об этом чуть ниже). Таким образом в метрике у нас появляется огромное количество посетителей с 15-секундной сессией и посещением одной страницы

В самых запущенных случаях может быть так:

4. Имитируют действия человека, если судить по Вебвизору. Боты скроллят страницу, даже останавливаются на каком-то участке текста, но, как отмечают многие веб-мастеры этим только палятся, т.к. на человеческие действия это совсем не похоже:

• «Читают» совсем второстепенный текст, а не основной контент, главную мысль в тексте.
• Постоянные рывки мышкой, движения вверх вниз, непонятные наворачивания кругов курсором вокруг какого-то элемента на странице
• Быстрый скролл страницы. На такой скорости человек даже заголовки не успеет прочитать.
• Долгие сессии (10-20 минут), но 99% времени от этих сессий — бездействие и судорожное перемещение курсора в рандомные област

5. В последнее время боты немного переориентируются и идут через поиск (не прямые заходы) по многим топовым запросам. Как мы уже писали выше, боты атакуют в основном страницы по самым конкурентным запросам , причем многие боты из поиска с высокими отказами идут с тех же самых IP-адресов, с которых идёт атака по прямым заходам

6. К прямым заходам добавляются переходы со странных сайтов, на которых, якобы, стоит бэклинк на ваш ресурс. При переходе на этот сайт ссылки на ваш сайт не обнаруживается

7. В основном боты селятся на сайтах с хорошей посещаемостью (от 500 до 1000 в сутки). Но бывают исключения и долбят ресурсы поменьше.

8. Подавляющая часть ботов идёт с IP-адресов сетей мобильных операторов Москвы или Московской области. Особой популярностью у ботоводов пользуется Metropolitan branch of OJSC MegaFon. Так же много ботов идёт с IP-сети, которая подписана как IPv4 address block not managed by the RIPE NCC . Еще один нюанс — у всех поголовно маленькое разрешение экрана (например, 375×667). Вот стандартный заход бота (конкретно здесь — с социальной сети ок.ру, где никогда не размещались ссылки на наш ресурс)

9. Количество ботов растёт планомерно. Увеличивается каждый день по чуть-чуть (10-50 заходов), но растёт. И растёт ежедневно. «Нормальным» показателем сейчас считается до 20% ботного трафика на сайте. Это, конечно, не норма, но, якобы, терпимо. А вот если доля паразитного трафика переваливает за 50%, то стоит начинать бить тревогу

10. Зачастую вместе с ботами растёт количество внешних ссылок с разных спамных и мутных ресурсов

Как посмотреть данные по прямым заходам?

Зайдите в раздел «Посетители» и добавьте фильтр «Люди у которых». Выберите «Источники» -> «Тип источника» -> «Первый источник трафика». Ставим чебокс на «Прямые заходы»

Метрика не может распознать ботов?

Да, Яндекс.Метрика не может определить ботов , даже которые идут по прямым заходам, что уж говорить про тех, кто идёт с поиска. При этом в сервисе есть отдельный пункт «Роботы». Находится в Отчеты/Стандартные отчеты/Мониторинг/Роботы.

Показывает процент роботов, которые заходили на сайт, только толку от этого никакого — метрика ботов в этот показатель не относит, т.е. не распознает.

Даже если вы поставите в настройках счетчика жесткую фильтрацию роботов (Настройка -> Фильтры), то это ничего не изменит

Последствия атаки

Последствия в любом случае будут негативными, но у некоторых сайтов, столкнувшихся с атакой, они умопомрачительно деструктивные:

1. Падает поисковой трафик. Его доля обычно снижается постепенно, но стабильно. Причем трафик с гугла до поры до времени не снижается (а может и вообще остаться на уровне — здесь как повезёт)
2. Снижение позиций. Следует из первого пункта. Доходит до того, что сайты из ТОП-3 улетают далеко за ТОП-100 по многим запросам.
3. Бан за накрутку поведенческих факторов. Даже если Яндекс и каким-то образом определяет, что это боты (но это очень маловероятно) он может посчитать, что вы сами решили накрутить ПФ на своём сайте. И доказать обратное у вас не получится.
4. Бан в РСЯ и Adsense. Причем у нынешней волны ботов (скорее всего) нет как таковой задачи скликивать рекламу, но так как они рандомно перемещаются и скролят по странице, иногда они мисскликают по рекламе.

Зачем это делается?

Однозначного ответа на вопрос нет. Всего есть две версии, каждая из которых имеет право на жизнь:

1. Хотят испортить ПФ сайтам-конкурентам . История стара как мир: чтобы задушить конкурента, уроните его поведенческие факторы. Минус этой версии в том, что в рунете атакуют вообще все сайты, не только коммерческой тематики, но и информационные вне зависимости от тематики, мест в выдаче и посещаемости. Никакого точечного уничтожения не прослеживается и обычно такие атаки НЕ приводят к фильтрам за накрутку поведенческих.
2. Хотят накрутить ПФ своим сайтам с помощью «прокачанных ботов» . Так называемый прогрев трафика. Как это работает? Берется выдача из поисковой системы по определенному запросу, например, «кондиционеры». Берутся сайты с установленной метрикой и боты начинают «нагуливать» вес на этих сайтах (заходят на них напрямую, не с поиска), создавая видимость заинтересованности в этой теме, эмулируя человеческие действия. Дальше, когда «пользователь» (по факту — бот) в глазах Яндекса получает определенный статус экспертности в теме и становится максимально похожим на человека, он идёт в поисковую выдачу и кликает на нужные (заказанные) накрутчикам сайты, повышая их ПФ.

Кто этим занимается?

На тёмную сторону, так или иначе, перешли практически все SEO-конторы. Всё потому, что классическое продвижение, к сожалению (для веб-мастеров под ботами), не даёт и доли такой эффективности в ранжировании, как накрутка ПФ. Агентство krutim.online, сейчас, пожалуй, самое известное, хотя бы потому, что играют «в открытую». Если опустить мораль и этику таких методов SEO, то ребята из Krutim рассказывают достаточно интересные вещи. Последний их вебинар можно посмотреть в YouTube

Как защищаться?

Давайте сразу определимся — на данный момент нет ни одного 100% способа избавиться от ботов . Если точнее ни одного, который бы не блокировал настоящих посетителей посетителей. Или, по крайней мере, не уменьшал удобство пользования сайтом (капча и т.п.). Но обо всём поподробнее:

0. Ничего не делать

Многие веб-мастера заранее выбрасывают белый флаг, справедливо считая, что Яндекс должен сам разобраться с проблемой. Правда, последний не спешит это делать. В любом случае вариант забить и продолжать работать над сайтом имеет право на существование . Есть примеры, когда боты (а они есть почти у всех сайтов в рунете) никак не мешают развития сайта, не роняют позиции в выдаче, не уменьшают долю поискового трафика. Доля ботов в 10-20% от всего трафика присутствует у многих, так или иначе. Но этот вариант чреват тем, что в один момент может быть поздно принимать какие-либо меры.

Еще один момент: боты могут действительно уйти на некоторое время или снизить атаку до 1-2% от общего трафика, но практически всегда наплыв с прежней, как минимум, силой возвращается. Так же было и у нас.

1. Удалить метрику на конкретных страницах

Если боты атакуют несколько конкретных страниц, возможно, имеет смысл временно убрать код с этих страниц. Чисто теоретически, если их не будет в метрике, то на поведенческие факторы боты уже влиять не будет. Но такое случается редко и боты понемногу шерстят по многим страницам. На каждой из них снимать метрику — такое себе решение. Кстати, полное снятие метрики с сайта вообще никак на атаку не повлияет. Было проверено: снятие метрики на неделю и её обратное возвращение никак не повлияло на мусорный трафик . Все боты остались на месте.

2. Показывать метрику только пользователям с поиска

Если вы не продвигаетесь в социальных сетях, а оттуда идёт много ботов, то есть смысл фильтровать такой трафик вообще. Да, есть вероятность, что вы зацепите этим самым действительно настоящих пользователей, которые наткнуться на ссылку в социальных сетях, но если в обычном режиме их было немного, то лучше это дело зафильтровать. Тоже самое касается и прямых заходов.

Много ли человек набирают ваш сайт вручную или с перешел из закладок браузера? Заходят на него не с поиска. Если много, то не стоит этого делать. Если единицы, то стоит — таким фильтром вы срежете огромное количество ботов . Через метрику («Настройка -> Фильтры») вы не сможете этого сделать — таких фильтров нет. Единственный вариант срезать их — через Cloudflare JS Challenge (об этом ниже)

Единственное, что можно сделать через метрику это сделать так, чтобы боты не учитывались в самой метрике (настроить фильтр по IP), но от самих заходов на сайт это не избавит

НО! Возможно, в этом нет никакого смысла, так как сам Яндекс при этом утверждает, что

«Дополнительно обращаем Ваше внимание, Метрика только отображает статистику посещаемости Вашего сайта и не влияет на ранжирование, поскольку статистические данные не передаются в поиск Яндекса.»

3. Бан по IP-адресам / подсетям

В признаках мы писали, что боты идут, в основном, с одних и тех же диапазонов IP мобильных операторов Megafon, MTS, Tele2, BeeLine. Банить по IP не только муторно, но и опасно . Чтобы хоть как-то сэкономить вам время мы собрали большой список IP и подсетей, которые были уличены в накрутке. Так как список огромный, даже для публикации под спойлером, мы скомпоновали их все в txt-вариантах. Скачать можно с нашего Яндекс.Диска

Повторяем! Это Опасно!

Так как боты прячутся под мобильными прокси (по сути — модем, который перезагружаются по таймауту и получает новый динамический (!) IP-адрес), то вполне возможно, что заблокированные айпишники вскоре достанутся реальным пользователям, не говоря уж о блокировки целых пулов. С блокировкой нужно быть предельно аккуратным. Рекомендовать данный способ мы не можем. Только в самых крайних случаях.

Как это сделать? Самый простой способ — прописать нужные правила в файл .htaccess. Чтобы не заморачиваться с кодом, который нужно туда прописать, воспользуйтесь генератором — так будет проще и быстрее. Пример работы:

4. Отключение IPv6

Очень много ботов идёт с IP-адресом протокола IPv6 примерно такого вида 2a09:400:xxxx:xxxx:xxxx:xxxx:xxxx:xxxx. Дело в том, что IPv6-адреса можно купить очень дешево и поэтому ботоводы их скупают более охотно, в то время как люди ими почти не пользуются. Таких ботов можно отсечь либо блокировкой, либо отключением в DNS.

Удаление всех AAAA-записей в NS

В вашем регистраторе домена вы прописываете DNS-сервера, которые используются для вашего сайта.

• Если там прописаны сервера Сloudflare, то переходите к «Запрет на IPv6 через Сloudflare».
• Если там прописаны DNS хостера, то читайте «Блокировка через панель управления хостинга».
• Если там промежуточный вариант, то нужно зайти в в управление нужным доменом, найти IP привязанные к домену и отключить IPv6 (удалить все AAAA записи).

Например, в панели управления доменом на nic.ru у нас прописаны DNS сервиса freedns.afraid.org

В настройках удалите все АААА-записи, если они есть . Т.е. выглядеть это должно примерно так:

Запрет на IPv6 через Сloudflare

В настройках сайта на Cloudflare настройка DNS вынесена в быстрые действия в правом верхнем углу

Далее смотрим на NS-записи. Если на АААА у вас стоит «DNS Only» , то всё в порядке. Статус «DNS Only» означает, что запросы будут идти в обход Cloudflare. Если стоит статус «Proxied» , для данной DNS-записи все запросы сначала будут проходить через Cloudflare.

Блокировка через панель управления хостинга

Если ваш хостер предоставляет панель управления сайтом Cpanel, то сделать можно следующим образом: зайдите в раздел «Безопасность» -> Блокировка IP. Добавить подсеть можно так 2a09:0400:0000:0000:0000:0000:0000:0000/32 или 2a09:400::/32.

На данный момент использование IPv6 пока не обязательно. Даже с учетом заканчивающихся свободных айпи-адресов в IPv4, операторы связи не торопятся выдавать адреса с шестого протокола (кстати, используя IPv6, поддержка IPv4 никуда не пропадает). Однако, есть мнение, что делать этого не стоит по двум причинам : это может неадекватно воспринять поисковые алгоритмы Google (каких-то подтверждений этому нет) и часть реальных пользователей вы всё равно отсечете, особенно, если сайт международный (в Европе уже достаточно активно используют). Но вы знаете, кто в России использует IP-протокол шестой версии? Вот и мы не знаем.

5. Блокировка/ фильтр по AS

На форумах проскакивает способ отсечения ботов из социальных сетей блокировкой целых автономных систем (AS) с которых идут мусорные заходы.

Блокировка через .htaccess

Блокировка через htaccess ничем не отличается от блокировки IP. Как узнать какие IP содержат конкретные AS? Для этого есть специальный сервис ASN-blocklist. Введите номер автономной системы и сервис выдает вам пул адресов, которые закреплены за ней. Точнее, он сразу выдает вам код, который нужно прописать в .htaccess

Метод крайне обременительный по времени, если у вас есть Cloudflare, то лучше делать через него

Фильтр через Cloudflare

Фильтр по ASN делается в разделе «Firewall» из аккаунта. Конкретно заходим в Firewall Rules

В бесплатной версии можно настраивать всего 5 правил, но нам нужно добавить только одно:

Таким правилом мы не отсекаем этот трафик, а будем показывать ему капчу (JS Challenge). Полный список ASN под спойлером

Полный мануал по работе с ботами в ТГ + связка. Мануал по созданию бота. Мануал по заливу трафика на телегу без банов с клоакой.

За эту инфу можно было бы смело брать 990$ и продавать как способ заработка.

Прежде чем продолжать, настоятельно советую подписаться на мой канал в телеге Арбитраж из Топора — https://t.me/teashannibal, если вы вдруг еще не подписаны.

Статья делится на три части, которые вполне могут быть самостоятельными.

1. Идея для связки: ТГ бот на нейросетях.
2. Мануал по созданию бота в телеграм.
3. Мануал по заливу трафика на телегу без банов с клоакой.

По отдельности, каждая из них несет собственную ценность, но вместе это образует Мегазорда, в котором каждая статья работает в синергии с другой. Погнали!

Глава первая: ТГ-Бот на нейросетях.

Мысль родилась в виде связки. Но возможно идея не новая и ее уже кто-то реализовал и льет таким образом. Но если вы до этого не встречали такого или не задумывались, то с вас комментарий и лайк на статью.

НейроБот для ставок.
Люди любят алгоритмы, ИИ и вообще цифровизацию. Это подтвердил хайп вокруг MidJourney, ChatGPT и других нейросетей о которых говорят абсолютно все.

Что если сделать Бота в Телеграме/Whatsapp'е и преподносить его для аудитории как нейросеть для ставок. В формате того как Бот анализирует команды, погоду, обед спортсменов(придумайте сами) и другие составляющие из-за чего он составляет прогноз для ставки. В последствии он публикует прогноз для аудитории, ну и естественно — это монетезируется ссылкой на букмекерку. Как сделать бота в Телеграм я расскажу ниже на примере.

Получается этакий нейрокапер. "Обычные" работяги на ламбах уже не вызывают так много доверия как раньше, которые в момент осознания вдруг стали миллионерами на собственной ставочной стратегии, но почему бы не доверять нейросети? Ведь это не человек, она не обманет.
Подумайте об этом пока будем двигаться дальше по статье.

Глава вторая: Мануал по созданию бота в телеграм.

В самом начале этой главы стоит сказать, что c помощью чат-ботов можно делать очень много крутых штук. Если разобраться, то можно делать вкусные конвертящие воронки на гемблу и беттинг.

Далее я распишу создание и реализацию такого бота через SendPulse, на базе этого сервиса и будет работать ваш бот. Люди будут его запускать и спускаться все ниже и ниже по вашей воронке. Так же, в зависимости от ваших настроек, людям будут приходить ваши сообщения, пуши и тд.

Приступим.

1. В телеграмме введите в строке поиска @BotFather.

2. Запустите бота и введите команду /newbot.

3. Далее необходимо дать боту имя. Имейте ввиду, это то что отображается в окне чата, юзернейм будет дальше, поэтому выбирайте имя с умом.

4. Теперь уже выберите юзернейм для вашего бота. В теории, если выбрать правильный юзернейм и имя, то можно будет собирать органический трафик.

5. После этих манипуляций "Отец" даст вам ссылку на бота. Пройдя по ней вы можете сами запустить своего бота и видеть всю воронку самостоятельно.

Я не буду описывать то какое описание вам брать, какие аватарки ставить и тд. С этим вы разберетесь сами, там не так уж и трудно.

Теперь вам необходимо подключить бота к SendPulse. Этот шаг подразумевает у вас наличие учетки в сервисе.

6. Для подключения вам понадобится токен бота. Получить его можно командой /token, которую надо отправить "Отцу", далее выбираете своего бота и копируете токен.

7. На главной странице в шапке выбираем вкладку "Чат-боты".

8. Ну а далее выбираете "Telegram" и вводите свой токен и подключаете.

9. Теперь вас СендПульс перебросит обратно в Телегу, где попросит запустить своего бота.

10. На данном шаге у вас все готово и всё связано и теперь вы можете приступать к написанию своей воронки непосредственно в SendPulse.

Менять в боте можно все и чем тщательнее вы будете прорабатывать каждую мелочь, тем лучше будет конвертить ваша воронка.
Изменениям поддаются почти все видимые параметры:

1. Имя;
2. Юзернейм;
3. Описание;
4. Аватарку;
5. Окно перед запуском бота;
6. Приветственное сообщение;
7. Всю цепочку сообщений;
8. Серии сообщений в разных случаях и т.д.

Теперь все готово, чтобы можно было переходить к следующей главе, а именно заливу трафика в Телеграмм со всеми любимого Фейсбука*

Глава третья: Мануал по заливу трафика на телегу без банов с возможностью клоакинга.

Мда, конечно название главы не выглядит как в фильмах Тарантино — локанично и ёмко, но четко отражает суть дальнейшего текста.

В чем особенность мануала из этой главы? Дело в том, что стандартную ссылку телеграма ФБ выносит, а все публичные сокращалки давно в бане. При этом сделав лендинг по данному мануалу вы с легкостью сможете его заклоачить. Расскажу как делать, чтобы трафик лился, а лавеха мутилась.

Погнали!

Перед тем как приступить к пошаговому мануалу я кратко расскажу что будет происходить. Сперва мы скачаем переходную страницу, затем мы загрузим ее на свой хостинг/трекер, и по итогу у нас будет телеграм лендинг на своем домене, который не будет банится Фейсбуком* и будет по кнопке открывать приложение телеграма.

1. Заходим на страницу своего канала, которая имеет вид https://t.me/teashannibal, можете сразу писать свой никнейм.

2. Далее жмем Правой Кнопкой мыши и жмем "Сохранить как"

3. Теперь жмем тип файла "веб-страница полностью" и сохраняем.

4. После сохранения мы имеем блаблабла.html и папку с файлами и одной картинкой.

5. Название папки меняем на "files" предварительно скопировав старое.

6. В этой необходимо переименовать из стандартного названия в index.html.

мы получаем такое

8. Заходим в index.html жмем "Ctrl+H" и вставляем старое название папки из пункта 5 на новое "files", как указано на изображении и заменяем во всех случаях.

9. Внутри данного файла вы можете изменять все текстовое содержание.

10. На строчках 75, 83 и многих других указана переадресация, которая будет происходит по кнопке в приложение, там вы можете указать любой адрес. В случае если вы хотите заменить адрес, то делайте это через Ctrl+H.
При нажатии на кнопку на самом лендинге будет открываться именно приложение, что очень удобно.

11. Когда все приготовления и изменения закончены вы можете залить ваш новый лендинг либо в трекер либо на отдельный хостинг и чтобы все корректно работало важно не пропускать пункты с 4 по 8.

12. Теперь залив лендинг на хостинг вы можете запускать трафик на вашу новую ссылку с уверенностью в том, что вас не забанят.

Вот и закончился данный мануал, надеюсь описано все подробно и у вас не должно возникнуть вопросов.

Надеюсь данная информация вам была полезна и вы примените ее на практике.

*Организация Meta* и входящие в неё Facebook* и Instagram* признаны экстремистскими и запрещены на территории Российской Федерации

Рост ботных переходов на сайт: как интерпретировать и что делать

За последние несколько лет доля ботного трафика резко выросла. По данным Barracuda technology, за первые шесть месяцев 2021 года автоматизированные сессии составляют почти две трети интернет-трафика. Примерно 25% этого объема приходится на известных хороших ботов –поисковых роботов, ботов социальных сетей, мониторинга и т.д. Однако почти 40% трафика составляют плохие боты, которые несут угрозу сайтам.

Плохие боты созданы для выполнения различных вредоносных действий. Они атакуют учетные записи пользователей (сбор персональных и финансовых данных), влияют на органический трафик, искажают аналитику, воруют контент, воздействуют на системы рекомендаций, тратят маркетинговые бюджеты на отправку SMS и выводят из строя серверы. В статье решили поделиться своим опытом решения данной проблемы.

Классификация ботов

• Simple – идут с одного IP-адреса и провайдера. Переходы осуществляются с использованием автоматических сценариев, при этом не добавляются различные данные для имитации человека, называемые fingerprint, – user-agent, размер экрана, тип устройства и т.п.
• Medium – более сложные боты. Этот тип использует программное обеспечение, которое имитирует технологию браузера, включая возможность выполнения JavaScript.
• Hard – совершают движения мыши и щелчки, которые обманывают даже сложные методы обнаружения ботов. Такие боты имитируют поведение человека, используют программное обеспечение для автоматизации и могут взламывать сайты по типовым уязвимостям CMS. В зависимости от целей они могут писать комментарии, рассылать спам, создавать страницы с рекламой.
• Hardcore – это комбинация medium и hard ботов. Они, как правило, циклически меняют IP-адреса, используют анонимные приватные прокси, децентрализованные сети и хранят свой уникальный fingerprint. Боты развивают его с помощью «белых» посещений сайтов аналогично обычному человеку. После получения качественной истории fingerprint бота практически невозможно отследить при правильной настройке.

Очистить сайт на 100% от таких переходов не представляется возможным.

Виды неестественного трафика

Разберем по пунктам виды ботных переходов.

1. Ботный трафик для нагула профилей

Для накрутки поведенческих факторов (ПФ) используют переходы ботов по заданному алгоритму. Чтобы боты были похожи на естественный трафик, применяется прокачка профилей.

Ваш сайт может попасть в файл нагула профилей определенной тематики. Вследствие чего вы можете заметить рост прямых заходов (type-in) или реферальных переходов из социальных сетей. Эти 2 метода наиболее популярны для выполнения первого перехода для прокачки профиля.

Выглядит это так:

Реферальным источником может быть любая площадка, не обязательно социальные сети.

Если вы заметили аномальный рост (от 50% и более) ботного трафика с большим процентом отказов на свой ресурс, то рекомендуется принять меры. Например, у нас на ряде проектов был замечен явный негативный тренд по позициям и трафику после обнаружения кратного роста роботных переходов, хотя Яндекс в переписке говорил нам обратное. Появление новой метрики в Яндексе «Отфильтровано по поведенческим факторам» никак не повлияло на текущее положение дел.

Что можно предпринять

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

• Free,
• Pro ($20/месяц),
• Business ($200/месяц),
• Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

• Автоматический трафик (Automated) – плохие боты. Используется эвристика, машинное обучение и другие методы для определения таких запросов. В большинстве случаев такой трафик вредит вашему сайту.
• Вероятно, автоматический трафик (Likely Automated).
• Человеческий (Likely Human).
• Проверенный трафик ботов (Verified bot) – поступает от поисковых ботов, платежных систем в Интернете (Google, Yandex, PayPal и так далее).

Все эти данные также доступны через GraphQL и вы можете выгружать их через API.

На тарифе Pro программа будет защищать только от автоматизированного трафика (Automated).

На тарифе Business вы получаете доступ к новой версии Bot Analytics, предназначенной для защиты от ботов. Бизнес-версия программы глубже сортирует ботный трафик и имеет больше настроек.

Перейдя в раздел Automated, можно посмотреть детальный отчет по переходам. Вы можете проанализировать трафик по типу, настраивать временные рамки и фильтровать по различным атрибутам, таким как IP–адрес, категория, user-agent и т.д.

Самая главная разница между версиями Pro и Business – в фильтрации на «Автоматический трафик» и «Вероятно, автоматический трафик».

Последний вариант включает запросы, распознанные механизмом машинного обучения CloudFlare. Эти запросы часто поступают от сложных ботов – тех, которые обходят простые инструменты безопасности, меняя IP-адреса, user-agent, входят через анонимные прокси и убедительно имитируют людей.

В бесплатной версии нет защиты от ботов (кроме базовой от DDoS-атак с пропускной способностью до 90 Тбит/с), отчета и настроек фильтрации – Configure Super Bot Fight Mode.

В целом если вы изучили логи вашего сайта и нашли закономерность, по которой можно заблокировать большую часть ботного трафика, то вы можете сделать это на стороне сервера или во Free-версии CloudFlare.

2. Часто этот сервис полностью проблему не решает.

Эксперты по работе с поведенческими факторами научились грамотно прокачивать профили (нагулом). Они меняют: user-agent, IP-сети, устройства, длину сессии, разрешения и так далее. Вследствие чего никакая система защиты не может сматчить весь трафик с ботными переходами.

В этом случае мы рекомендуем дополнительно не подгружать счетчик Яндекс.Метрики для type-in и реферальных переходов без куки. Обычно просят выбрать город или другой аналогичный функционал.

В совокупности эти 2 подхода дали положительную динамику и восстановление видимости проектов в поисковых системах.

2. Скликивание через поисковые системы

В работе с поведенческими факторами также могут применять технологию скликивания конкурентов. В счетчике Метрики вы можете заметить кратный рост переходов по ключевым словам с большим процентом отказов.

Данный вид переходов наносит явный урон сайту с точки зрения влияния на ранжирование в поисковых системах. В случае выявления проблемы (на больших объемах от общего трафика) рекомендуется подключить сервис CloudFlare (метод описан выше) и параллельно выравнивать CTR, сессии и глубину при помощи собственной накрутки ПФ.

3. Влияние на рекомендательные системы и слив маркетинговых бюджетов

Эти типы атак объединяет большое количество запросов на сайт, близкое к срабатыванию традиционной защиты от DDoS. Такие атаки могут приводить не только к проблемам в работоспособности сайта, но и к прямым финансовым или репутационным потерям. Разберем подробнее самые популярные примеры таких атак и способы борьбы с ними.

Атака на форму подтверждения действия по SMS.

На многих ресурсах есть форма регистрации или авторизации по номеру телефона с подтверждением по SMS, когда пользователь вводит номер телефона и ему приходит смс-сообщение с секретным кодом. Например:

Во многих крупных компаниях заложены достаточно большие бюджеты на отправку sms-сообщений. При этом в организациях даже не подозревают, что их сайты используются пользователями в лучшем случае для розыгрышей своих приятелей, а в худшем – для нанесения репутационных и финансовых потерь. Делается это путем бесконечной отправки кодов на все существующие номера телефонов.

На github можно найти множество готовых программ для рассылки sms-спама. Вот некоторые из популярных программ и их баз данных сайтов, используемых при атаках (можете поискать свой сайт в списке):

Влияние на рекомендательные системы.

Целью злоумышленников является вывод в рекомендации сайта определенных товаров или бренда. Для этого с помощью ботов искусственно накручиваются просмотры товаров или действия по добавлению товара в корзину.

В итоге пользователи видят в рекомендациях не популярные товары или услуги, а те, которые были накручены ботом. Из-за этого работа рекомендательной системы может ухудшиться, что обернется убытками для компании.

4. Парсинг цен, остатков или любой другой полезной информации

Веб-скрейпинг (web scraping) – это парсинг доменов при помощи ботов, которые воруют контент. Обычно они выполняют GET-запросы на целевой URL c целью извлечения данных.

Тут надо понимать, что это целая индустрия и защититься от парсинга и кражи контента полностью просто невозможно. Но это не значит, что защищаться бесполезно.

Например, если у вас интернет-магазин с 100 000 SKU и у вас нет никакой защиты от парсинга, то это вопрос времени, когда ваш сайт начнет испытывать проблемы с доступностью, так как вам будут неожиданно прилетать тысячи запросов в секунду, создавая проблемы с доступом для реальных клиентов.

Пример локального всплеска активности ботов, где пришло >40 запросов в секунду от ботов

Здесь задачи у парсеров и владельцев сайтов полностью противоположные.

• Задача парсеров – собрать всю информацию с минимальными затратами и за максимально короткие сроки.
• Задача владельцев ресурсов – сделать парсинг максимально дорогим, долгим и трудоемким.

Крупные участники рынка не так страшны, так как они стараются быть незаметными и не создавать проблем для работы ваших сайтов, а вот средние и мелкие максимально опасны, так как могут вмиг положить ваш сайт, проводя свои эксперименты.

Способы борьбы с этим типом атак

Традиционные способы защиты от DDoS тут будут неэффективны, так как общее количество запросов от ботов будет не сильно выбиваться из общей статистики, но эти запросы будут наверняка самыми тяжелыми для обработки вашим backend или дорогими, как в случае атак через SMS bomber.

В борьбе с этим типом атак поможет активная проверка через Java Script, которая при первом заходе будет незаметно для пользователя проверять, что браузер – реальный, и только в случае успеха показывать ваш сайт.

На платных тарифах CloudFlare доступен WAF, который позволяет гибко ограничивать доступ к сайту пользователям из определенных стран. Например, если ваш сайт ориентирован на аудиторию СНГ, то вы можете ввести требование вводить Captcha для пользователей из других стран. Это будет выглядеть так:

Такие ограничения сделают парсинг вашего сайта максимально дорогим и сложным, но все же не невозможным.

5. DoS и DDoS-атаки

DDoS – целенаправленная атака за счет резкого увеличения запросов к сайту с целью нарушения работы сервера.

Сервис CloudFlare в бесплатной версии предоставляет неограниченное предотвращение DDoS-атак с пропускной способностью до 90 Тбит/с. В Pro и Business версиях добавляются оповещения и WAF защита.

Подобный сервис защиты предоставляет и компания Qrator, но уже на платной основе, где в зависимости от тарифа доступны следующие опции: