Посмотреть сайт глазами робота
В некоторых случаях бывает интересно посмотреть HTML код понравившейся станицы. Например узнать какой .js библиотекой достигнут тот или иной функционал, а может заинтересовали CSS стили оформления и.т.д. Но откравая страницу правой кнопкой мыши мы можем иногда наблюдать сжатый код написанный в одну строчку, ну и разумеется без подсветки кода. Что согласитесь затрудняет поиск заинтересовавшего куска кода. Наш онлайн сервис поможет открыть HTML в удобочитаемом виде с подсветкой и форматированием кода.
* В некоторых случаях ресурс закрыт от просмотра кода сторонними сайтами и тогда мы не сможем Вам показать исходный код.
Глаз робота отличается от пользователя.
Это связано с тем, что некоторые сайты могут отдавать различный контент в зависимости от пользователя или робота.
Например интернет магазин для пользователя может отдаваться различый контент в зависимости от региона проживания.
Метод черной поисковой оптимизации — называется «клоакинг» Термин произошел от английского слова to cloak – маскировать, прятать, скрывать — Сайты, отдающие разный контент пользователям и роботам поисковых систем.
Такие сайты Яндекс и Google относят к некачественным сайтам и объявили за клоакинг жесткие штрафные санкции, от пессимизации до бана.
Ярким примером клоакинга могут служить каталоги ссылок скрывающие прямые ссылки от роботов , но показывающие их простому пользователю, который никак не может понять почему же его сылка не видна в поисковых системах.
Обратите внимание, что к клоакингу не относится показ различного содержание веб-ресурса если пользователь просматривает его как авторизованный (через логин и пароль). Также не имеет отношение к клоакингу просмотр динамических страниц с разными URL переменными например URL = user и URL = bot.
Наш онлайн инструмент для веб-мастера позволяет просмотреть код HTML глазами поискового робота Googlebot и робота Яндекса.
Список HTTP USER AGENT:
Пользователь — Я Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36
Основной робот Яндекса — Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Зеркальщик — робот Яндекса — Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)
Картинки — робот Яндекса — Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
Видео — робот Яндекса Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)
Вебмастер — робот Яндекса Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)
Индексатор мультимедийных данных — робот Яндекса Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)
Поиск по блогам — робот Яндекса Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)
APIs-Google — робот Google PIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense — робот Google Mediapartners-Google
AdsBot Mobile Web Android — робот Google Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobile Web — робот Google Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot-Google (+http://www.google.com/adsbot.html) AdsBot — робот Google)
Googlebot Images — робот Google Googlebot-Image/1.0
Googlebot News — робот Google Googlebot-News
Googlebot Video — робот Google Googlebot-Video/1.0
Googlebot — робот Google Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSense — робот Google (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mobile Apps Android — робот Google AdsBot-Google-Mobile-Apps
Просмотр html станицы сайта
Данный инструмент покажет html код страницы с подсветкой синтаксиса кода. Просмотр документов html теперь будет визуально удобочитаемым.
Программа просмотра html документов основана на получении данных с помощью PHP скрипта.
Просмотр html страницы сайта — это первый шаг в изучении программирования веб-документов используя HTML разметки , CSS и JS.
Сайт глазами поискового робота
Поисковые роботы видят сайт не так, как обычные пользователи. Инструмент «Сайт глазами поискового робота» покажет, что видят поисковики.
Сервис показывает:
- код страницы;
- заголовки;
- код состояния HTTP;
- IP-адрес и код ответа сервера;
- кодировку сайта;
- сервер;
- внутренние и внешние ссылки страницы, количество индексируемых.
Зачем проверять, как поисковый робот видит страницу?
Разные пользователи видят разный контент. Это может зависеть от того, залогинился ли пользователь, в каком регионе он находится, какой язык установлен в настройках браузера.
Некоторые веб-мастеры намеренно показывают пользователям и поисковым роботам разный контент, это называется «клоакинг». С помощью сервиса «Сайт глазами поискового робота» вы можете проверить, нет ли на сайте скрытого контента.
Сервис поможет детально рассмотреть сайты ваших конкурентов, чтобы быстро найти заголовки с ключевыми запросами, по которым они продвигаются, и узнать, какие технологии использованы на сайтах.
Сайт глазами поискового робота
Если вы полагаете, что поисковые роботы смотрят на сайты в Интернете глазами обычных пользователей, то вы заблуждаетесь. Воспользуйтесь сервисом «Сайт глазами робота» и увидите, как выглядит ваш сайт в глазах у робота поисковых систем.
Этот сервис очень удобен, как для анализа ваших сайтов, так и сайтов ваших конкурентов. Сервис полезен, как seo-раскрутчикам профессионалам, которые работают с несколькими десятками сайтов, так и новичкам, которые изучают параметры одного сайта.
Как определить роботность сайта
Практические способы распознать ботов в статистике по трафику и немного теории о причинах их появления.
Следить за динамикой и составом трафика нужно всегда, не важно — занимаетесь вы SEO проекта самостоятельно или отдали продвижение на аутсорс. Трафик в системах статистики может не совпадать с фактическими посещениями сайта пользователями. Например, нечестный сторонний сеошник может нагнать ботов вместо продвижения и показывать вам красивую статистику.
Проверяйте роботность сайта, если:
- вы сами развиваете проект и хотите быть в курсе всего, что с ним происходит;
- вашим сайтом занимается сторонний сеошник и вы хотите проверить его работу;
- вы наблюдаете что-то странное: например, резкий скачок трафика, много посещений, но нет заказов,или ухудшение позиций.
Как это сделать, рассказала команда PR-CY. Они делают сервис для автоматического анализа сайта, который проверяет SEO, технические параметры, скорость, трафик, ссылки и другие моменты. К примеру, можно сравнивать показатели своего сайта и конкурентных:
Сначала немного теории о роботах в трафике.
Что такое роботность сайта
Роботность отображает, сколько переходов на сайт из общей массы приходится на разных ботов.
Можно выделить два вида роботов:
- явные — боты поисковых систем и других сервисов, которые так и представляются роботами. Они нужны для сканирования сайта, чтобы тот попал в выдачу. Боты поисковиков — краулеры — так и называются как боты — Googlebot, Googlebot Images, YandexBot YandexNews.
- маскирующиеся — делают вид, что они живые пользователи. С их помощью обманывают поисковики, чтобы повысить позиции. Боты посещают сайт и совершают целевые действия, а поисковик считывает высокий интерес к сайту и поднимает его в выдаче.
Их посещения могут быть видны в статистике сайта, если вы не отключили отображение информации о визитах роботов. Но иногда стоит посматривать на роботность, по количеству их посещений можно узнать некоторые факты о продвижении сайта и работе конкурентов.
Зачем проверять роботность
Есть как минимум три причины:
Искажение статистики и ложные всплески
Посещения краулеров и других ботов будут добавлять трафика в статистику. Из-за этого веб-мастер может сделать неправильные выводы об эффективности его действий на сайте. Например, в один день увидит всплеск трафика и решит, что причина в удачном недавнем материале, и будет использовать это в будущем. А на деле это окажется набег ботов.
Переоценка ресурсов для монетизации
Если отслеживание ботов не отключено, график их посещений будет увеличивать общую статистику. Веб-мастер может решить, что пользователей больше, чем на самом деле, и его ожидания от рекламы не оправдаются.
Недобросовестность продвижения
Исполнители попадаются разные, так что полезно проверять специалистов, будь это аутсорс или штатный специалист. Нечестные сеошники могут взять деньги за продвижение и нагнать ботов. Формально трафик будет расти, отчеты получатся эффектными, но владелец компании будет сидеть без заказов. Это в лучшем случае, а в худшем сайт попадет под санкции поисковиков из-за попыток манипулировать выдачей. Иногда так могут поступать конкуренты.
Посмотрим, какие инструменты позволяют следить за трафиком, выделяя роботный в отдельную категорию.
Как обнаружить ботов в трафике сайта
Краулеры поисковых систем и боты других важных сервисов не сильно смещают статистику посещений, так что не будут выглядеть подозрительно, в отличие от накрутки.
Признаки накрутки ботов в трафике:
- разные показатели в Яндекс и Google — выглядит странно, если в одной поисковой системе посещаемость варьируется в рамках обычного, а в другой видны внезапные пики;
- перекос в поведении пользователей и переходах по поисковым фразам — живые люди ведут себя естественно, у них разное поведение и естественно сформулированные запросы;
- нелогичное количество переходов по низкочастотнику — если вы знаете, что запрос имеет показатель 10 по Вордстату, по нему вряд ли возможны 500 переходов на сайт.
Отслеживать искусственный трафик можно в Яндекс.Метрике. В Поиске и Директе Яндекса тоже есть свои Антифроды, они не учитывают ботов, чтобы не искажать показатели, а Метрика показывает аналитику в реальном времени, полностью как она есть, чтобы веб-мастер был в курсе.
Как посмотреть посещаемость ботами в Яндекс.Метрике
С сентября 2021 в Метрике для всех пользователей обновлена система распознавания ботов и им выделили отдельную метрику. Теперь пользователь может сам выбрать, как смотреть статистику: с учетом роботов или без них.
Дни посещений роботами
У роботов есть своя вкладка в Метрике, можно посмотреть отчёт о том, когда роботы посещали сайт. Для этого необходимо перейти в «Отчеты» — «Стандартные отчеты» — «Мониторинг» — «Роботы».
Динамика посещения сайта ботами
Сравнение посещений: люди и роботы
На общем графике визитов можно вывести людей и сравнить с роботами:
- Откройте вкладку «Визиты».
- Для отображения новой метрики переключите ползунок «Метрика Роботность в отчетах».
- Выберите режим отображения «Данные: с роботами».
Теперь в отчете можно сравнить визиты людей и роботов.
Включение новой метрики
Сравнительный график
На демонстрации отображена плавная динамика. Если бы на общем графике были внезапные пики, отдельный вывод искусственного трафика мог бы показать, в ботах причина или нет.
Пример: как после закупки трафика увидеть, сколько пришлось на роботов
Доля роботности входит в показатели качества трафика. Если веб-мастер не фильтрует искусственный трафик, приходящий из рекламных каналов, то не сможет оценить, какой канал эффективнее для продвижения — откуда приходят настоящие люди и где лучше покупать рекламу.
Нужно сравнить источники трафика по процентам роботов от всех посетителей. Примером поделился канал «Трафик и клики». На обоих графиках показаны источники переходов на сайт, который продвигали закупкой трафика через Kadam, Pushhouse, Telegram и Propellerads.
На верхней картинке график прихода всех пользователей с перечисленных каналов. Есть синий пик посещений из Kadam и красный пик из Pushhouse.
На нижней картинке включили режим «Данные: с роботами» и сегмент «Роботность» — «Только роботы». Видно, что внушительная часть покупного трафика из Kadam оказалась роботами, хотя на общем графике это самый пиковый источник. От Propellerads и Pushhouse оказалось примерно 2-3% ботов.
Сравнение видов трафика
Так можно проверять источники и рекламодателей на добросовестность.
Прокачивание роботов на вашем сайте
Причина большого наплыва ботов может быть не из-за накрутки трафика и не из-за манипуляций вашего сеошника.
Бывает, что сайт используют для прокачивания роботов, чтобы наработать им естественное поведение: как будто они заходят на сайт, изучают страницы, нажимают на кнопки, совершают конверсии, но не доходят до покупки. Так делают, чтобы Метрика поверила, что это не бот, а живой человек. Тогда его можно будет использовать для накрутки на нужном сайте.
Выявить таких ботов можно с помощью отчета «Долгосрочные интересы» и столбца «Аффинити-индекс»:
Отчет с интересами в Метрике
Нужно обратить внимание на значение аффинити-индекса в столбце. Значение больше 100% — это хорошо, значит тематика входит в долгосрочные интересы пользователей. Если большая часть посетителей чаще интересовалась тематиками, не свойственными сайту, это знак, что они могут быть ботами, которые на вашем сайте набирали «жизненный опыт» для Метрики.
Что касается ботов в Google Analytics
Отдельного просмотра ботов в этой системе аналитики нет. Можно включить фильтрацию данных в настройках, исключив роботов и краулеров из данных для отчетов.
Фильтрация включается в меню настроек — вкладка Администратор — раздел «Настройки представления» — отметка на «Фильтрация роботов: исключить обращения роботов и пауков».
Настройка в Google Аналитике
Полезно разделить роботный трафик и общую статистику, чтобы не принимать искусственный трафик за пользовательские посещения. Но это не значит, что роботов нужно убрать из статистики и забыть о них. Смотрите отдельно посещаемость ботами, чтобы отслеживать набеги и внезапные всплески их визитов.
Как вы следите за трафиком? Расскажите в комментариях, какие странности в посещаемости наблюдали.