Как решить проблемы с индексацией сайта в Google и Яндексе
Кратко самое важное об основах: как решить проблемы с индексацией и ускорить ее в Яндексе и Google.
Привет! Это PR-CY, мы делаем сервис для проверки SEO и позиций в ПС. Попробуйте прогнать проверку по своему сайту и посмотрите, какие ошибки он найдет.
В статье разберем типичные проблемы, а потом поговорим об ускорении. Постараемся лаконично)
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход.
Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.
Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте бесплатно.
Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика.
Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Проверьте уведомления о Вебмастере и Консоли, часть санкций сопровождаются письмом от поисковика. Подробно в материалах о санкциях Яндекса и фильтрах Google.
Вариантов может быть много: вы редко обновляете контент, поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке… Проблема может быть в других ошибках на сайте, например, в куче ошибочных лишних страниц, сгенерированных движком, на которые тратится время.
Посмотреть динамику индексации страниц и найти ошибки в SEO можно в сервисе для анализа сайта:
Итак, если страницы не индексируются, то проверьте ограничения, если игнорирует поисковик, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить.
Лучший способ улучшить процесс индексирования — создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим
Ага, классно. Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный… ��
Что реально можно сделать, чтобы ускорить процесс.
Найдите переобход страниц в Google Search Console и Яндекс.Вебмастере и отправьте нужные URL на индексацию.
В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.
В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться.
А может и не прислушаться — это всего лишь рекомендации, а не прямое указание. ��♂
Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.
Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.
Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться.
Для проектов на конструкторах сайтов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.
Можно указать обновленные файлы в Sitemap вручную. Google рекомендует отметить страницы в Карте тегом < lastmod > и отправить страницу на переобход.
Но, опять же, ссылки в Карте сайта — это рекомендации.
На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования.
Почему Google не индексирует некоторые страницы моего сайта
Многие страницы никогда не индексируются Google. Узнайте, почему почему Гугл не индексирует страницы сайта. Но сначала подпишитесь на наш Телеграм. Оставайтесь на связи, иначе вы пропускаете самое интересное!
Напишите нам, пожалуйста, в WhatsApp, когда вам понадобится что-то из этого:
Если вы работаете с сайтом, особенно с большим, вы, вероятно, заметили, что не все страницы вашего сайта индексируется. Почему Google пишет: «страница просканирована, но пока не проиндексирована указанные ниже страницы не индексируются google и не появляются в результатах поиска»?
Причин может быть несколько.
Многие seo-оптимизаторы по-прежнему считают, что Google не может индексировать контент из-за технических особенностей, но это миф. Правда в том, что Google может не проиндексировать ваши страницы, если вы не отправляете последовательные технические сигналы о том, какие страницы вы хотите проиндексировать.
Что касается других технических проблем: такие вещи, как JavaScript, действительно усложняют индексацию, ваш сайт может страдать от серьезных проблем с индексированием, даже если он написан на чистом HTML.
Причины, по которым Google не индексирует ваши страницы
Проверив самые популярные интернет-магазины мира, обнаружили, что в среднем 15% их индексируемых страниц продуктов невозможно найти в Google.
Результат удивительный. Почему? Каковы причины, по которым Google решает не индексировать то, что технически должно быть проиндексировано?
Консоль поиска Google сообщает о нескольких статусах неиндексированных страниц, например «Просканировано — в настоящее время не проиндексировано» или «Обнаружено — в настоящее время не проиндексировано». Хотя эта информация явно не помогает решить проблему, это хорошее начала диагностики.
Основные проблемы с индексацией
Наиболее популярные проблемы индексации, о которых сообщает Google Search Console:
1. «Просканировано — в настоящее время не проиндексировано»
В этом случае Google посетил страницу, но не проиндексировал ее.
Исходя из моего опыта, это обычно проблема качества контента. Учитывая бум электронной коммерции, который в настоящее время происходит, ожидаемо, что Google стал более требовательным к качеству сайтов. Поэтому, если вы заметили, что ваши страницы «просканированы — в настоящее время не проиндексированы», убедитесь, что контент на этих страницах имеет уникальную ценность:
- Используйте уникальные заголовки, описания и текст на всех индексируемых страницах.
- Избегайте копирования описаний продуктов из внешних источников.
- Используйте канонические теги для объединения повторяющегося контента.
- Запретите Google сканировать или индексировать некачественные разделы вашего сайта с помощью файла robots.txt или тега noindex.
2. «Обнаружено — в настоящее время не индексируется»
Это проблема может охватывать всё, от проблем со сканированием до недостаточного качества контента. Это серьезная проблема, особенно в случае крупных интернет-магазинов. И такое может случиться с десятками миллионов URL-адресов на одном сайте.
Google может сообщить, что страницы продуктов электронной коммерции «обнаружены — в настоящее время не проиндексированы» по следующим причинам:
- Проблема с бюджетом сканирования: в очереди сканирования может быть слишком много URL-адресов, и они могут быть просканированы и проиндексированы позже.
- Проблема с качеством: Google может подумать, что некоторые страницы в этом домене не стоит сканировать и решит не посещать их, ища шаблон в их URL.
Чтобы справиться с этой проблемой, требуется некоторый опыт. Если вы обнаружите, что ваши страницы «обнаружены — в настоящее время не проиндексированы», сделайте следующее:
- Определите, есть ли шаблоны страниц, попадающих в эту категорию. Может быть, проблема связана с определенной категорией товаров, а вся категория не имеет внутренней связи? Или, может быть, огромная часть страниц продуктов ожидает в очереди на индексирование?
- Оптимизируйте свой краулинговый бюджет. Сосредоточьтесь на обнаружении некачественных страниц, которые Google тратит много времени на сканирование. К обычным подозрениям относятся страницы отфильтрованных категорий и страницы внутреннего поиска — эти страницы могут легко попасть в десятки миллионов на типичном сайте электронной коммерции. Если робот Googlebot может свободно их сканировать, у него может не быть ресурсов для доступа к ценным материалам на вашем сайте, проиндексированным в Google.
3. «Повторяющееся содержание»
Дублирование контента может быть вызвано разными причинами, например:
- Варианты языка (например, английский язык в Великобритании, США или Канаде). Если у вас есть несколько версий одной и той же страницы, ориентированных на разные страны, некоторые из этих страниц могут оказаться неиндексированными.
- Дублированный контент, используемый вашими конкурентами. Это часто происходит в e-commerce, когда несколько сайтов используют одно и то же описание продукта, предоставленное производителем.
Помимо использования rel = canonical, 301 редиректа или создания уникального контента, я бы сосредоточился на предоставлении уникальной ценности для пользователей. Fast-growing-trees.com может быть примером. Вместо скучных описаний и советов по посадке и поливу на сайте можно увидеть подробный FAQ по многим продуктам.
Кроме того, вы можете легко сравнивать похожие товары.
Для многих продуктов есть FAQ.
Как проверить индексирование вашего сайта
Вы можете легко проверить, сколько страниц вашего сайта не проиндексировано, открыв отчет об индексировании в Google Search Console.
Первое, на что следует обратить внимание, — это количество исключенных страниц. Затем попробуйте найти закономерность — какие типы страниц не индексируются?
Если у вас интернет-магазин, вы, скорее всего, увидите неиндексированные страницы продуктов. Хотя это всегда должно быть предупреждающим знаком, вы не можете ожидать, что все страницы ваших продуктов будут проиндексированы, особенно на большом сайте. Например, в большом интернет-магазине обязательно будут дублирующиеся страницы и товары с истекшим сроком годности или отсутствующие в наличии. Этим страницам может не хватать качества, которое поместило бы их в начало очереди индексации Google (и это если Google вообще решит сканировать эти страницы).
Кроме того, на крупных интернет-магазинах, как правило, возникают проблемы с бюджетом сканирования. Я видел случаи, когда в интернет-магазинах было более миллиона товаров, в то время как 90% из них были классифицированы как «обнаруженные — в настоящее время не проиндексированные». Но если вы видите, что важные страницы исключаются из индекса Google, вы должны быть серьезно обеспокоены.
Как повысить вероятность того, что Google проиндексирует ваши страницы
Каждый сайт индивидуален и может иметь разные проблемы с индексированием. Тем не менее, вот советы, как проиндексировать сайт:
1. Избегайте ошибок «Soft 404».
Убедитесь, что на ваших страницах нет ничего, что может ложно указывать на мягкий статус 404. Это включает в себя все, что угодно, от использования «Не найдено» или «Недоступно» в копии до наличия числа «404» в URL-адресе.
2. Используйте внутренние ссылки.
Внутренние ссылки — один из ключевых сигналов для Google о том, что данная страница является важной частью сайта и заслуживает индексации. Не оставляйте лишних страниц в структуре вашего сайта и не забудьте включить все индексируемые страницы в карты сайта. Внутренние ссылки — один из элементов кайдзен сайта.
3. Реализуйте надежную стратегию сканирования.
Не позволяйте Google сканировать ваш сайт. Если на сканирование менее ценных частей вашего домена тратится слишком много ресурсов, Google может потребоваться слишком много времени, чтобы добраться до нужного. Анализ журнала сервера может дать вам полное представление о том, что сканирует робот Googlebot и как его оптимизировать.
4. Устранение некачественного и дублированного контента.
На каждом большом сайте в конечном итоге появляются страницы, которые не следует индексировать. Убедитесь, что эти страницы не попадают в ваши карты сайта, и при необходимости используйте тег noindex и файл robots.txt. Если вы позволите Google проводить слишком много времени в худших частях вашего сайта, это может недооценить общее качество вашего домена.
5. Посылайте последовательные сигналы SEO.
Один из распространенных примеров отправки непоследовательных сигналов SEO в Google — это изменение канонических тегов с помощью JavaScript. Как сказал Мартин Сплитт из Google во время работы JavaScript SEO Office Hours, вы никогда не можете быть уверены в том, что Google будет делать, если у вас есть один канонический тег в исходном HTML и другой после рендеринга JavaScript.
Интернет становится слишком большим
За последние пару лет Google совершил гигантский скачок в обработке JavaScript, упростив работу оптимизаторов поисковых систем. В наши дни реже можно увидеть сайты на базе JavaScript, которые не индексируются из-за конкретного технического стека, который они используют.
Но можем ли мы ожидать того же самого с проблемами индексации, не связанными с JavaScript? Я так не думаю. Интернет постоянно растет. Каждый день появляются новые сайты, а существующие растут. Сможет ли Google справиться с этой проблемой?
Этот вопрос появляется время от времени. Цитата Google:
«У Google ограниченное количество ресурсов, поэтому, когда он сталкивается с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только его часть».
Другими словами, Google может посещать только часть всех страниц в Интернете и индексировать еще меньшую часть. И даже если ваш сайт великолепен, вы должны помнить об этом.
Вероятно, Google не будет посещать все страницы вашего сайта, даже если он относительно небольшой. Ваша задача — убедиться, что Google может обнаруживать и индексировать страницы, важные для вашего бизнеса.
Яндекс сайт индексирует, а Гугл нет. Google всё? Неужели сдулся.
Всё началось с того, что в последнее время всё чаще наблюдаю ситуацию, когда Яндекс сайт индексирует отлично, а Google никак не хочет вообще! Хотя и карта сайта добавлена, и страницы разрешены в robots, и тексты (и даже фотки) уникальные. CMS разные, регионы разные, домены молодые и старые. Да и два месяца индексировать 60 страниц?? Может Google уже выходит из игры?
Разместил сайт клиента в панели вебмастеров гугл и думаю, как обычно, что дело сделано, тем более что все страницы из сайтмапа были успешно добавлены роботом.
Но прошел месяц, а в поиске гугла ровно 0 (ноль) страниц!
А яндекс уже успешно проиндексировал основные разделы.
Раньше ситуация была наоборот: яндекс морозил сайты месяцами. Надо было писать «платону», ставить ссылки со всяких форумов, твиттеров и если повезет, то сайт проиндексируется там.
Сейчас яндекс индексирует почти мгновенно, причем вполне разумно, качественно отделяя важные страницы от неизбежного мусора.
А Google как-будто «испортился», тупит на ровном месте.
Причем это не только поиска касается, а пожалуй, всех их сервисов.
Вот смотрите Яндекс индексирует, а Google нет.
Гугл вообще не индексирует сайт!
а в яндексе есть…
Этот сайт гугл не индексировал месяц, и стал очень неохотно индексировать только с пинка (речь ниже пойдет как это сделать), а яндекс подхватил сразу.
А яндекс сразу подхватил…
Решение вопроса по индексации
Общий алгоритм примерно такой, на что можно грешить:
Фильтры
Проверяем нет ли фильтров на сайте.
Смотрим меры принятые вручную.
Карта сайта
Проверяем карту сайта.
Проиндексирована ли она в Google? Нет ли в ней ошибок.
Смотрим, чтобы индексация стояла каждый час или каждый день, а то во многих картах по умолчанию месяц стоит.
Robots.txt
Проверяем любую страницу не запрещена ли она в robots.txt
Для этого открываем «Покрытие», затем выбираем страницы со статусом, например, ошибка или исключено и кликаем на сведения внизу, чтобы узнать подробности.
И затем когда откроется список страниц, кликаем на сами страницы и смотрим доступна ли она к индексации или нет.
Должно получиться примерно так (статус «доступен»)
Страницы исключены из индекса
По непонятным причинам страницы могут быть исключены из индекса.
Как я уже показывал выше, открываем «Покрытие» и обращаем внимание на последний пункт «Исключено».
Опять же нужно кликать на каждую страницу и проверять URL
Вы увидите, что страница не проиндексирована, но не по причине ошибки, а просто так
Кликайте на «запросить индексирование» и Google вручную обойдет страницу и добавит в индекс. Да, это утомительно, кликать каждую страницу, но другого варианта не нашёл, а такое добавление реально работает, выше приводил скрин, гугл вообще не хотел индексировать сайт, а когда попинал его вручную через этот инструмент кое-как забрал туда эти страницы.
Кстати, если нажать на «подробнее», то станет ясно, что гугл не проиндексировал страницы, потому что робот не стал это делать, якобы из-за чрезмерной загрузки ресурса.
Какого именно ресурса, они не уточняют, но подозреваю что у самого гугла или просто не хватило мощностей нормально проиндексировать сайт и он откладывает их на потом, либо поехала крыша у алгоритма, который определяет качество страниц и он не индексирует нормальные страницы с уникальным текстом и фотками.
Я встречал по этой ошибки темы, в которых люди месяцами не могли ничего сделать!
Я заметил что в основном эта проблема стала подниматься в последние пару лет, где-то с 2020 года.
Из большего никто ничего не знает, но такое чувство, что сам гугл медленно погружается в болото
Вот недавно ещё человек хочет заказать СЕО и пишет в заказе:
И таких примеров — десятки!
Не удалось обработать файл Sitemap
Добавлено 08 сентября 2022
Решил дополнить статью очень частой ошибкой, когда гугл ругается на карту сайта, мол «Не удалось обработать файл Sitemap».
Это просто беда для многих людей, они мучаются днями и неделями, пытаясь пробить эту глухую стену
Пишут на форумах, в блогах, в ютуб, в техподдержку гугла — и почти всё без толку.
Я попробую внести некоторую ясность в этот вопрос, не претендую на вселенскую истину, и не гарантирую что у вас что-то решится, но по крайней мере соберу в одном месте опыт по этой проблеме, может кому-то и пригодится.
Итак, почему Google не хочет обрабатывать карту сайта, мой личный ТОП рейтинг причин:
- Домен не нулевой, а имеет какую-то (может, нехорошую) историю.
Тут можно сказать только, что когда вы выбираете себе доменное имя — сделайте это правильно.
Проверить историю можно попробовать тут — https://archive.org/web/ но не по всем сайтам есть инфа. - Доменная зона стрёмная, вроде .name, .top, .club и т.п.
Опять же — выбирайте домен правильно! - Бывает, что sitemap сделан изначально некорректно, проверьте его в валидаторе — https://www.xml-sitemaps.com/validate-xml-sitemap.html
Попробуйте другой sitemap по возможности. - Проверьте ответ карты сайта — она вообще загружается?
Это можно сделать просто добавив ссылку на карту сайта в инструмент «Проверка URL» и посмотреть подробности.
Статус должен быть 200 ОК, внутри виден просканированный код. - Посмотрите на адрес карты сайта, может там есть какие-то спецсимволы?
В идеале чтобы он назывался просто sitemap.xml или sitemap-1.xml, sitemap-2.xml, не надо туда пихать подчеркивания, заглавные буквы и т.п. - Sitemap запрещён к индексации в robots.txt
Чаще всего грешит Опенкарт, так как в нем чпу не поддерживается изначально и карты сайта имеют вид вроде index.php?route=extension/feed/fast_google_sitemap
Решается как в видео — https://youtu.be/18rqVXvBwD4 - В том же robots.txt или в htaccess запрещен доступ для роботов, в том числе Google.
Проверьте эти файлы на наличие запретов, ищите строчки в которых есть что-то вроде «googlebot» и «HTTP_USER_AGENT».
Удалите их на несколько дней (или навсегда) и проверьте индексацию через это время, сразу ведь доступ может не восстановиться, так как гугл кэширует многие моменты.
И это еще один камень в огород гугла
Выводы и итоги
Буквально лет 5-10 назад не представлял себе жизни без Google: поиск, почта, картинки, видео, бизнес, реклама, аналитика — там всё крутилось и было на недосягаемом для конкурентов уровне.
А сейчас ловлю себя на мысли, что пользуюсь всё чаще и чаще сервисами Яндекса:
- моя корпоративная почта у них висит и работает лучше гугловской.
- реклама в яндекс раньше проигрывала гугл, но с появлением мастера кампании стала гораздо выгоднее, размещаю в том числе свою рекламу, и вот только на днях разместил очередного клиента, он за 20 бел руб. (около 10$) получил 100 тыс показов, 1300 переходов с отказами меньше 16% (!) и около 30 хороших конверсий — подробнее услуги по настройке рекламы
Да, гугл тоже хорош и приводит много клиентов, особенно поиск, но во-первых, санкции, во-вторых, там 300$ можно ухнуть за пару дней без особого результата, если неаккуратно настроить кампанию. - яндекс диск дешевле и удобнее, да и в условиях санкций лучше иметь свои файлы в своей стране.
- яндекс формы — очень достойно, возможностей куча, настраиваются легко, работают не хуже гугловских.
- яндекс браузер тот же хромиум, но я пользуюсь мозиллой, потому что гугл оборзел и стал блокировать дополнения, которые позволяют качать видео с ютуба.
- поиск по картинкам гораздо удобнее и лучше в яндексе, я даже удивился, потому что раньше рулил только гугл, а сейчас для поиска по изображениям почти всегда использую яндекс.
- яндекс-бизнес удобнее, информативнее, больше возможностей внутри.
- яндекс метрика в разы проще, нагляднее, толковее и удобнее, чем перенавороченный комбайн google analytics, где до сих пор, чтобы добавить цель на отслеживание нужно знание regexp на базовом уровне или погружаться в бездну google tag manager.
- яндекс карты гораздо точнее, проще и толковее, на гугловских до сих пор многих номеров домов нет
- техподдержка на яндексе (что поиск, что реклама, что другие сервисы) — это песня, чуть ли не в режиме онлайн можно спросить и получить вменяемый ответ. На гугле ответов на пару вопросов жду уже полгода! Раз в месяц присылают отписку, мол «ваш вопрос морозится нашими специалистами, но когда-нибудь мы вам ответим». В той же рекламе яндекса есть возможность задать вопрос в чат и реально помогут решить баг прямо при тебе онлайн. Google даже и близко до этого уровня техподдержки не дорос, точнее застрял в развитии.
Так что в моём «арсенале» пока уверенно держится только Гуглопоиск.
Да и то чисто за счет привычного дизайна, а не какой-то супер-пупер толковой выдачи.
Впрочем Яндекс уже тоже выкатил новый дизайн поиска — почти такой как на Google, так что думаю, тут скоро произойдет незаметная смена в предпочтениях.
Особенно если его начнут ставить по умолчанию на все местные девайсы и браузеры.
Ну и Ютуб, конечно, ещё рулит.
Впрочем, тоже всё меньше и меньше.
Я обратил внимание, что уже реже захожу туда, чаще включаю банальный Телеграм, VK, OK, а своё видео с Youtube планирую перевести на Яндекс.Дзен от греха и санкций подальше.
Так что думаю, что проблема с индексациями страниц сайта в Google может носить более глобальный характер и свидетельствовать о том, что не всё так гладко и ровно у этого гиганта, как оно может показаться.
Причем такого мнения не я один придерживаюсь, вот аналогичные проблемы у разных людей:
Как ускорить индексацию сайта в Яндексе и Google ��
Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи, и тем больше вероятность, что она будет считаться первоисточником контента.
Нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче. На частоту индексирования страниц ботами влияет:
- Частота обновления контента страниц. Боты составляют краулинговый бюджет сайта на основе данных об обновлении контента. Если страницы не меняются, нет смысла их часто сканировать.
- Поведенческие факторы, которые обрабатывают поисковые боты. Чем лучше ПФ, тем востребованнее сайт у аудитории, а это еще один сигнал к повышению внимания от робота.
- Хостинг. На загруженном хостинге снижается скорость обработки запросов от робота.
Разберем типичные проблемы, с которыми сталкиваются оптимизаторы.
Частые проблемы с индексацией сайта в ПС
Страницы вообще не индексируются
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию. Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте бесплатно.
Страницы не индексируются одним из поисковиков
Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.
Страницы индексируются, но долго
Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или проблема в чем-то другом. Способы ускорить индексацию мы разберем дальше.
Посмотреть динамику индексации страниц и найти ошибки в SEO можно в сервисе для анализа сайта от PR-CY:
График индексации в сервисе
Итак, если страницы не индексируются, то проверьте ограничения, если игнорирует поисковик, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить.
Как ускорить индексацию страниц
Представитель Google Джон Мюллер на вопрос об индексировании ответил так:
Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный. 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.
Отправить страницу на переобход
Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастере найдите переобход страниц и отправьте нужные URL на индексацию.
В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.
Массовая отправка страниц на переиндексацию в Google
Есть способ отправлять на повторное сканирование не по одной ссылке за раз, а по 200 URL в день. В этом мог бы помочь бесплатный скрипт, который сделал SEO-отдел компании Journey Further на базе Indexing API Google. Проблема в том, что для его работы понадобится аккаунт в Google Cloud Platform, но в марте Google перестал регистрировать пользователей из России в своем облачном сервисе.
Если вы не из РФ, можете настроить скрипт для массовой переиндексации URL. Для этого нужно:
Создать сервисный аккаунт в Google Cloud Platform.
Создать закрытый JSON-ключ.
Скачать скрипт и вставить ключ вместо содержимого service_account.
Связать скрипт с Google Search Console: назначить владельцем client_email. Нужен не полный доступ, а именно роль «Владелец».
Перейти по ссылке, выбрать сервисный аккаунт, который вы создали, и включить Index API.
В папке скрипта открыть файл urls и внести в него до 100 URL. Если нужно больше, можно отправить еще до 100 во втором заходе. В день можно отправлять не больше 200 ссылок.
Вызвать PowerShell, зажав Shift и правую кнопку мыши в окне.
Прописать node index.js.
Готово, через несколько секунд появится 200 ОК.
Проверить разрешения в robots.txt
В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.
Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:
В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.
Создать Sitemap — Карту сайта
Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.
Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.
Можно обновить файл Sitemap вручную. Обновленные страницы Google рекомендует отметить в Карте тегом < lastmod >. Обновленный файл отправьте с помощью специального отчета. Не стоит загружать один и тот же файл повторно: если вы ничего не поменяли в Карте сайта, никаких изменений не будет.
Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.
Проверить структуру и перелинковку разделов
На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.
Страница-сирота в структуре сайта
Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:
Упрощенный пример структуры сайта, подходит для меню
Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.
DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.
Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.
Александр Шестаков, руководитель продукта Links.Sape:
Взять за правило обновлять контент
Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.
Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.
Публиковать ссылки в соцсетях и на других площадках
Найдите сторонние сайты по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы.
CTO компании Pear Advert Иван Самохин:
Вы можете договориться о партнерстве с площадкой, близкой вам по тематике, и обмениваться ссылками. Главное, что размещения ссылок должны выглядеть естественными и подходить по теме. К примеру, ссылка на магазин рыболовных снастей будет уместно выглядеть на форуме рыболовов или туристическом портале. Ищите справочники, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки для размещения.
Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.
Превью ссылки в посте в ВКонтакте
Отследить популярные страницы поможет сервис сквозной аналитики и коллтрекинга Calltracking.ru. С его помощью вы сможете понять:
- с каких страниц поступают целевые и нецелевые обращения;
- есть ли проблемы с версткой на страницах сайта;
- на какие страницы увеличивать трафик и запускать рекламу.
Сервис помогает оптимизировать рекламу с учетом всех лидов и их стоимости.
Ускорить загрузку сайта
Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, если в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.
Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, а поисковые системы считают страницы некачественными и могут даже понизить сайт в выдаче, если проблема с загрузкой есть у всех страниц.
Многое можно проверить на сайте автоматически. Поможет сервис для анализа сайта: он оценит загрузку сайта и отдельно найдет конкретные страницы, на которых есть проблема со скоростью.
Проверка скорости загрузки 
Поиск медленных страниц на сайте
FAQ: что еще влияет на скорость индексации сайта
Как страницы вне индекса могут повлиять на отношение поисковика к сайту?
Качество контента на сайте поисковики оценивают только по проиндексированным страницам.
Тег noindex может влиять на индексацию страницы после его снятия?
По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.
Как редирект влияет на индексацию страниц?
Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.
Как ускорить индексацию страниц, которые были 404?
Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.
Как поисковики относятся к URL c хэшами?
URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.
Расскажите, какие способы ускорить попадание в индекс знаете вы? Добавьте в комментариях, если мы что-то упустили в материале.