Страница обходится роботом, но отсутствует в поиске
У меня несколько сайтов различного уровня и тематики.
В последний месяц столкнулся с проблемой слабой индексации новых статей.
Уникальный контент хорошо отформатированный от 2 до 3 тыс. символов, не переспамленный, копипластерами не сворованный.
При проверке через вебмастер выдает:
«Страница обходится роботом, но отсутствует в поиске»
Причем старые статьи не выпадают, это касается именной новых статей опубликованных за последние два месяца. Раньше всё было нормально.
1. Улучшить индексацию через Твиттер — не получается. 50-80% попадают в индекс через два-три дня, затем опять исчезают из индекса, остается 5 — 10%. В Гугле — всё на ура на 100% остается.
2. Изменял форматирование, уровень вложенности, удалял внутренние ссылки на тех страницах где они были, делал перелинковку, добавлял уникальные фото. Положительной тенденции не заметил и пока не обнаружил какую-то взаимосвязь с общеизвестными факторами ранжирования.
Эксперименты проводил на 12-ти сайтах, на каждом публикуются от 5 до 100 статей в месяц, различной тематики и различными авторами. Слабая индексация меня тревожит и я не понимаю в каком направлении двигаться дальше.
3. Пробовал ничего не делать и просто ждать — тоже не помогает.
Кто-нибудь сталкивался с этой проблемой?
Я сталкивался. Уже пол года 3к станиц вместо 20к у ИМ.
Платоны говорят следующее:
Спасибо за примеры. Мы проверили, Ваш сайт присутствует в поиске и находится пользователями, но некоторые его страницы действительно отсутствуют в выдаче, при этом никаких санкций на них не наложено. Дело в том, что наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в поисковую базу попадают наиболее релевантные документы ( http://help.yandex.ru/webmaster/yandex-indexing/excluded-pages.xml ).
В то же время наш робот помнит о других страницах сайта: если на них присутствуют ссылки, он периодически посещает их, и со временем они также могут быть включены в поиск. Однако гарантировать это мы не можем, поскольку решение принимается механизмами, которые действуют полностью автоматически.
Продолжайте работать над развитием Вашего ресурса бла бла бла.
Пока у меня только одна версия:
Яндекс не добавляет страницу в индекс пока по ней не будут зафиксированы переходы пользователей по внутренним или внешним ссылкам, т.е. если статью никто ни разу не прочитал, то зачем она нужна.
Других вариантов объяснения я не нашел.
Переотимизация — не подходит, неуникальный контент — тоже не подходит (т.к. тексты — уникум, разных авторов, с уникальными фото)
Да тут полфорума с такой же проблемой. Общего решения пока нет.
У меня переходят на эти страницы, но их по прежнему нет в поиске.
Покажешь пациентов в личку?
коллега по несчастью 🙂
Чем больше активность на страничках, тем больше вероятность, что они попадут и останутся в индексе. Хотя какой-то четкой зависимости я не заметил.
Плюс к этому ссылки — кое-где понимал, сразу залетели в индекс и сидят.
Кстати я в это не верил, но на другой CMS тот же товар с теме же фотками и характеристиками лез на ура, по 3-4к страниц за апдейт.
Но из-за нюансов загрузки товара не можем использовать её.
Знакомая ситуация, такая же штука есть на сайте + каждый Ап выпадают страницу, а залетает 1-2 новых.
Аналогичная ситуация на белых и серых проектах. Во всех случаях контент чистый, оригинальный. На одном сайте материал/раздел не лезет в индекс ни под каким предлогом. На другом (равном) этот же материал на ура попадает в индекс с быстророботом и держится стабильно. И наоборот. Танцы с бубном не помогают. Вероятно, вправду «особенности алгоритмов.» ��
может быть они какой то порог конкуренции поставили.
по типу есть 500 страниц по 1 запросу, все больше не добавляют.
с такой же проблемой столкнулся
собрал около 1к ключей прогнал через мутаген и взял самые низкоконкурентные, все новые страницы удачно вошли.
Набор слов по корпусу и пассажи, скорее всего, уже есть в выдаче и Яндекс не видит, какую иную информацию страница может предоставить. Введите в контент пяток редких тематических слов, которых нет в выдаче или прилепите к документу пару инфографиков или видео какое, т е сделайте его отлИчным.
Основы внутренней оптимизации-индексация страниц сайта
Привет, дамы и господа! Определенную роль во внутренней оптимизации играют факторы, никак не связанные с контентом (назовем их неконтентными факторами). Одним из таких факторов является корректная индексация страниц сайта.
Необходимыми (но недостаточными!) условиями для попадания страницы в индекс являются следующие:
1. значение HTTP-статуса страницы, отдаваемого индексирующему роботу поисковой машины, должно иметь значение 200 ОК;
2. отсутствие запрета на индексацию данной страницы;
3. URL страницы должен быть известен поисковой машине.
Проверить HTTP-статус страницы «глазами» индексирующего робота и отсутствие запрета на ее индексацию в файле robots.txt можно в разделе «Проверка ответа сервера» Яндекс.Вебмастера, причем эта проверка производится только для тех сайтов, права на которые подтверждены в вашем аккаунте. В Инструментах для вебмастера Google для того, чтобы проверить, доступна ли конкретная страница сайта для индексации, можно воспользоваться режимом «Посмотреть как Googlebot» в разделе «Содержимое сайта». Запретить индексацию страницы можно несколькими способами:
1. с помощью файла robots.txt
2. с помощью специальных директив в HTML-тегах в коде страницы
3. изменяя настройки инструмента «Параметры URL» в разделе «Сканирование» Инструментов для вебмастера Google.
В файле robots.txt это можно сделать с помощью директив Disallow и Clean-param. Достаточно подробную справку по правилам составления файла robots.txt можно найти в разделе «Использование robots.txt» Помощи вебмастеру Яндекса и в разделе «Блокировка URL при помощи файла robots.txt» Справки Google.
Проверить корректность файла robots.txt можно в разделе «Анализ robots.txt» кабинета вебмастера Яндекса (причем, это можно сделать для любого сайта, а не только для тех, на которые подтверждены права) и в разделе «Инструмент проверки файла robots.txt» Инструментов для вебмастера Google (только для сайтов с подтвержденными правами).
К директивам, c помощью которых можно запрещать страницу к индексации, относятся мета-тег robots и атрибут rel=»canonical» тега . Справочную информацию по их использованию можно найти на страницах Помощи Яндекса и Справки Google. Справку по работе с инструментом «Параметры URL» раздела «Сканирование» Инструментов для вебмастера Google можно найти на странице https://support.google.com/webmasters/answer/1235687?hl=ru.
Для того, чтобы индексирующий робот нашел данную страницу, достаточно одной ссылки на неё со станицы, которая уже есть в индексе поисковика. Также о новых страницах на сайте можно сообщать поисковой машине с помощью файла Sitemap (справочную информацию по нему можно найти в Помощи Яндекса и Справке Google).
Но даже, если робот узнает о странице и посетит ее, то еще не факт, что она попадет в индекс. Проверить, знает ли индексатор Яндекса о конкретной странице, и включена ли она в поисковую базу, можно в разделе «Проверить URL» Кабинета вебмастера Яндекса. Есть несколько вариантов ответов:
1. В данный момент адрес страницы неизвестен роботу
2. Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован.
3. Страница была проиндексирована роботом и присутствует в поиске
4. Страница обходится роботом, но отсутствует в поиске
5. Страница обходится роботом, но отсутствует в поиске, поскольку дублирует уже имеющиеся на вашем сайте страницы.
Первый вариант ответа говорит нам о том, что, во-первых, у индексатора нет информации о том, что данная страница существует. Поэтому необходимо убедиться, что поисковый робот видит данную страницу, и она отдает ему отклик 200 указанным выше способом, а также разместить ссылку на нее на какой-либо странице, уже ранее проиндексированной поисковой машиной. Также для того, чтобы сообщить о странице индексирующему роботу, SEO-специалисты используют размещение ссылок на нее в Твиттере. Более того, до недавнего времени информирование индексатора о новой странице через Твиттер считалось SEO-специалистами наиболее быстрым и надежным способом, позволяющим обеспечить попадание страницы в поисковый индекс Яндекса буквально за считанные дни. Однако в последнее время в профессиональных дискуссиях все чаще появляются сообщения, что этот способ перестает работать. Возможно, виной тому стали промышленные способы эксплуатации данного способа «загона страниц в индекс», и Яндексом были повышены требования к характеристикам аккаунтов, информацию из которых следует учитывать при поиске новых страниц. Также первый вариант ответа может возникать в случаях, когда страница запрещена к индексации в файле robots.txt.
Однако основную проблему, связанную с индексацией, составляют варианты 4 и 5, когда индексирующий робот обходит страницу, но не включает ее в поисковый индекс. Это может быть связано, как с техническими параметрами страницы, такими как запрет к индексации с помощью мета-тега noindex или атрибута rel=»canonical» тега . Но может иметь место и классификация алгоритмом данной страницы, как не имеющей достаточно ценного содержания. В таком случае говорят, что страница попадает в «скрытый индекс». Как с этим бороться?
Во-первых, страница может быть признана полным или нечетким (частичным) дубликатом уже имеющейся в индексе страницы (вариант ответа номер 5). Такое часто случается с однотипными страницами (например, номенклатурными единицами каталога продукции), которые отличаются друг от друга лишь незначительным по удельному объему текстом. В этом случае, необходимо повышать удельную долю уникального текста на страницах – расширять индивидуальное описание и по возможности закрывать от индексации текстовые элементы, общие для всех страниц данного типа (например, пункты меню, новостную ленту, фрагменты «шапки», «подвала» и т.п.)
Во-вторых, страница может иметь недостаточное количество статического веса. Например, она имеет достаточно глубокий уровень вложенности и имеет при этом сравнительное небольшое количество внутренних ссылок. Здесь можно посоветовать оптимизировать структуру сайта, уменьшая уровень вложенности информативных страниц, и плотнее их перелинковывая друг с другом. Также можно посоветовать использовать внешние ссылки с других сайтов.
В-третьих, сам сайт может иметь достаточно низкий уровень авторитетности в глазах поисковой машины. Неуникальный контент, примитивный дизайн, слабая посещаемость, малое количество внешних входящих ссылок, с таких же малоавторитетных ресурсов, злоупотребление платными ссылками и рекламой – вот типичный портрет целевой аудитории алгоритма серии АГС (подробнее смотри в моей статье https://www.searchengines.ru/articles/sergey_lyudkevich.html), который методично отправляет целые сайты в скрытый индекс.
Резюмируя, можно отметить, что проблема индексации сайта, конечно же, является не самой сложной из проблем современного SEO. Как правило, достаточно овладеть базовым справочным материалом по теме и тщательно следовать его рекомендациям. Однако с пренебрежением относиться к данному вопросу тоже не стоит, дабы неожиданно не столкнуться с неприятностями, которые могут существенно затормозить продвижение сайта.
Почему страницы сайта выпадают из индекса
В этой статье специалист Mello затронет следующие вопросы:
- Как проверить индексацию страницы сайта в Яндексе и в Google
- С помощью каких сервисов можно проверить информацию об исключенных URL
- Причины выпадения страниц из индекса и что делать в такой ситуации
Вебмастер может заметить, что трафик, присутствовавший на некогда популярной странице услуги, исчез, звонки прекратились, а продажи упали до нуля. В этом случае следует проверить – не выпала ли данная страница из индекса поисковых систем, особенно если единственным каналом продвижения этой услуги в интернете был органический поиск.
Как проверить не выпала ли страница из индекса Яндекса:
В Яндекс Вебмастере. Вкладка «Индексирование — Проверить статус URL». Вводим URL нужной страницы, нажимаем кнопку “Проверить” и ждём. Если в результате написано, что страница обходится роботом и находится в поиске, значит все хорошо:
Через оператор url. В поисковой строке Яндекса вводим запрос по формуле [url:URL_документа]. Пример:
Если страница присутствует в индексе, Яндекс ее выведет.
Пример с отсутствующим в поиске URL:
Как проверить не выпала ли страница из индекса Google:
Проверить индексацию страницы в Гугле можно через сервис Google Search Console. Вставляем URL в строку проверки, нажимаем Enter:
Выводится информация о странице. В данном случае нас интересует информация о том, что URL присутствует в индексе Google.
Необходимо регулярно проверять свой сайт на количество исключенных из поиска страниц, так как целевые страницы могут выпасть из индекса в любой момент.
Как проверить информацию об исключенных страниц в Яндексе:
С помощью Вебмастера Яндекса можно узнать всю необходимую информацию об индексации страниц. Вкладка «Индексирование -> Страницы в поиске».
Всегда проверяйте исключенные URL, особенно если видите, что раньше страниц в поиске было заметно больше. Здесь вы можете увидеть информацию о дате и причине исключения URL из индекса.
Как проверить информацию об исключенных страницах в Google:
В Google Search Console также можно посмотреть информацию об исключенных URL. Для этого перейдем во вкладку «Покрытие»:
Здесь нам показывают:
- Страницы с ошибками – Google не смог их проиндексировать
- Без ошибок, есть проблемы — проиндексированные страницы, но, возможно, имеющие ошибку с нашей стороны (например запрещены нужные нам URL в файле robots.txt)
- Без ошибок
- Исключенные
Причин, по которым страницы могут исключить из индекса, целое множество. Мы разделим их на две группы: технические причины и причины, зависящие от контента.
Поисковые системы исключают из индекса страницы, которые перенаправляют пользователя на другие страницы. При этом сама конечная страница (на которую идет перенаправление) зачастую не исключается (если нет другой причины).
Типичный пример исключения страницы, перенаправляющей пользователя на другую страницу (301 редирект):
Конечная страница осталась в поиске:
Так как конечная страница остается в поиске, то ничего страшного в данной ситуации нет, но желательно минимизировать кол-во ненужных 301 редиректов на сайте, если есть такая возможность.
Страницы с 404 ошибками также выпадают из индекса:
Если страница удалена по ошибке, то конечно необходимо ее восстановить. Если страница больше не нужна, то нужно удалить все ссылки на сайте, ведущие на нее.
Вебмастер может рекомендовать поисковым системам не включать в индекс нужные ему URL с помощью файла robots.txt или с помощью мета-тега Robots:
Проверьте файл robots.txt, нет ли там нужных вам страниц. Также проверьте мета-тег Robots. Если вы видите, что у атрибута “name” задано значение “robots”, а у атрибута “content” присутствует значение “noindex”, это означает, что сканирование страницы запрещено для всех поисковых роботов:
Более подробно про данный мета-тег можете почитать в справке Google.
В Google Search Console есть исключенные из индекса URL со статусом «Страница просканирована, но пока не проиндексирована»:
Это означает, что поисковый робот нашел вашу страницу, но не добавил ее в индекс. В данном случае нужно просто подождать и страница будет добавлена в поиск.
Страницы полностью или частично дублирующие другие могут быть исключены из поиска.
Если страницы-дубли не нужны, то лучшим решением будет их удалить. Если нужны, то можно установить тег “rel=canonical” в этих страниц.
Также можно настроить 301 редирект со страницы-дубля на каноническую страницу.
Если обе похожие друг на друга страницы должны присутствовать не только на сайте, но и в поиске (например, две страницы карточек товара), то их нужно сделать уникальными (изменить мета-теги, текст на странице, фото и т.д.).
Сюда относятся страницы, несоответствующие запросу и неcпособные удовлетворить потребности пользователя.
Необходимо сделать страницу более качественной. Если это страница блога, то сделать уникальный и полезный читателю контент. Если это страница карточки товара в интернет-магазине, то товар должен быть в наличии (или должна присутствовать возможность заказать со склада), содержать описание, краткие характеристики товара и т.д.
Тексты, сделанные для поисковиков, а не для людей. Их отличает большое количество вхождений ключевых слов. В случае, если у вас на сайте много переоптимизированного контента, поисковики могут наложить фильтр на сайт и целое множество страниц выпадет из индекса.
Как написано выше — делайте контент в первую очередь для пользователей. И не забывайте про фактор переоптимизации.
Поисковые системы накладывают санкции за использование различных методов так называемого «черного» SEO. Одним из таких методов и является попытка накрутить поведенческие факторы искусственным путем.
Не стоит использовать в своей работе сомнительные сервисы и программы по накрутке поведенческих факторов.
Если на сайте расположено множество покупных ссылок, а естественных ссылок очень мало, на него может наложиться фильтр поисковых систем (Минусинск у Яндекса и Пингвин у Гугла).
Если два сайта одной компании борются за место в выдаче, то поисковые системы показывают страницу только одного сайта (как правило показывается наиболее подходящий запросу).
Зайдите в раздел «Диагностика -> Безопасность и нарушения» в Яндекс Вебмастере:
Если ваш сайт получил фильтр, то информация об этом отобразится в данном разделе.
В Google Search Console это можно проверить в разделах «Меры принятые вручную» и «Проблемы безопасности»:
Если вы попали ситуацию с кучей выпавших из индекса URL, проанализируйте:
- Заказывали ли вы ссылки, какие и сколько
- Все ли тексты на вашем сайте качественные и уникальные
- Удобен ли ваш сайт для пользователя, нет ли там излишней рекламы
- Какие страницы запрещены с помощью файла Robots.txt и мета-тега robots
- Присутствуют ли на сайте страницы-дубли
и исходя из итогов анализа устраните причину.
Если же вам не удалось установить причину исключения URL из индекса, или вы устранили все возможные ошибки, а страницы так и не попали в поиск, попробуйте обратиться в техподдержку поисковой системы.
Страница обходится роботом, но отсутствует в поиске — как добавить сайт в поиск Яндекса?
Без них сайт, конечно тоже проиндексируется но значительно дольше будет это делать. Вдобавок в индекс может попасть «мусор» (который в последствии даст в вебмастере предупреждение «страница с малополезным контентом», я один раз забыл закрыть несколько директорий и схлопотал фильтр — выходил из под него 2-3 недели).
Проверить, что сейчас находиться в индексе можно набрав в поисковой системe site:<название сайта>:
P.S. что бы ещё ускорить индексацию, в яндекс.вебастер (в гугл консоле не помню есть такой раздел или нет):
1. После создания карты сайта — добавьте её в разделе: «Индексирование-Файлы sitemap» ссылку на карту
2. После создания robots.txt проверьте его: «Инструменты-Анализ robots.txt»
3. В разделе «индексирование» — «мониторинг важных страниц» добавьте те страницы, которые нужно увидеть в поиске.
Это самый базис, который надо делать сразу после снятия запрета на индексирование. Дальше уже можно смотреть в сторону турбо-страниц и amp, создание микроразметки (op, schema).
- Вконтакте
Неправильно понимаете. Не буду копировать определение из гугла, если простыми словами: «этот файл нужен для того, чтобы объяснить поисковым роботам что можно индексировать, а что индексировать нельзя. Сам же файл файл состоит не только из одной директивы disallow, там есть и другие 🙂
Правильно, чисто с технической стороны, ссылка добавленная в карту сайта — соответствует (у неё есть протокол, у неё есть домен и т.д.). Только она битая, если перейти по ней вывалиться 404 (которая кстати у вас тоже не настроена и подтягивается с хостинга, где расположен ваш сайт (джино).
Просто наберите после названия своего сайта /sitemap.xml (https://www.xn—-8sbfic3a5an7d7b.xn--p1ai/sitemap.xml) и сами все поймете.
Совет один, ознакомиться с рекомендациями составить правильно два файла. После этого проверить робот.тхт на ошибки, а сформированную карту сайта добавить в соответствующий раздел.
P.S. если не хотите ковыряться с картой сайта, есть сервисы, которые её генерируют её (например: https://htmlweb.ru/analiz/sitemap.php), но так как у вас сайт на одну страницу (других я не нашел 🙂 ) Советую сделать вручную, что бы понимать, что за колдовство происходит в этом файл и так как у вас сайт самописный, при обновление содержимого желательно будет менять даты в этой карте.
В вашем случае карта сайта будет примерно такой (если нет других страниц)