Как удалить страницу из индекса Яндекса и Google
Чтобы оперативно удалить страницу из поиска, необходимо воспользоваться инструментом Яндекс Вебмастера и Search Console: «Удалить URL».
Перед тем как использовать данные сервисы, настройте 404 код ответа удаляемых страниц или запретите от индексации в файле robots.txt.
В течение нескольких дней после использования сервиса, страницы пропадут из выдачи поисковых систем.
Если страница отвечает любому из трех условий:
- Отдает 404 код ошибки.
- Закрыта от индексации в файле robots.txt.
- Закрыта от индексации мета-тегом robots.
То со временем она удалится из индекса автоматически.
Недостаток автоматического метода в том, что удаление страниц может затянуться — ожидание повторного переобхода поисковыми роботами. А, если это внутренняя страница с небольшим количеством входящих ссылок, то произойти это может не скоро.
Именно поэтому рекомендуется использоваться ручные сервисы по удалению страниц из индекса.
Как удалить сайт из поиска «Яндекс» и Google
Сергей Ломакин Редакция «Текстерры»
Для удаления страницы из индекса можно использовать разные методы, и все они заметно различаются по принципу действия. Какой из них выбрать в вашем случае и как не навредить сайту, пытаясь удалить страницу из SERP? Узнаем сегодня.
Зачем удалять страницу из индекса
Удаление страниц из результатов поиска целесообразно проводить в следующих случаях:
- страница содержит устаревший контент;
- страница содержит персональные данные;
- страница с дублированным контентом;
- страница с неуникальным контентом;
- удаление технических / служебных страниц;
- страницы с ограниченным доступом.
Проверяем индексацию страницы
Прежде чем удалять страницу, необходимо проверить, находится ли она в индексе вообще. Отдельно проверяем индексацию в Google и отдельно – в «Яндекс». Начнем с первого.
Откроется Google Search Console. Мы должны выбрать домен, на котором размещается проверяемая страница:
Вводим полный адрес интересующей веб-страницы и нажимаем Enter:
Если проблемная веб-страница уже «выпала» из индекса Google, вы получите такое сообщение:
Это значит, что проблемная веб-страница в настоящий момент не может присутствовать в поиске.
Еще один способ проверить индексацию любой веб-страницы в Google (и, кстати, в «Яндексе» тоже) – ввести ее полный URL в поисковую строку:
Да, так просто. Если искомая веб-страница уже проиндексирована, вы увидите соответствующий результат:
Проверить индексацию любой веб-страницы в «Яндексе» можно при помощи инструментов «Яндекс.Вебмастер». Просто открываем его и в разделе «Индексация» выбираем пункт «Проверить статус URL». Можно проверять индексацию только у тех веб-страниц, которые относятся к подтвержденным доменам (у вас должны быть права на сайт, чтобы вы могли «стереть» URL). Если веб-страница находится в индексе отечественного поисковика, вы увидите у нее соответствующий статус:
Почему не стоит проверять индексацию оператором site:
Как удалить страницу сайта из поиска Google
Не срочное удаление страницы
В вышеуказанном случае можно порекомендовать просто удалить содержимое страницы целиком.
Удаление веб-страницы немного отличается в каждой CMS. Например, в WordPress необходимо открыть страницу в редакторе и выбрать пункт «Удалить в корзину»:
Удаленная страница со временем начнет отдавать ошибку 404. Через несколько дней краулеры Google автоматически исключат такую страницу из индекса.
Объединение нескольких страниц и указание главной
В таком случае нужно использовать единый каноникал-тег. О том, как указать каноническую страницу – в справке Google.
Учите, что rel canonical указывает на веб-страницу, которая является главной, а не второстепенной.
Здесь следует иметь в виду, что каноникал-тег не является прямой директивой. Соответственно, краулеры могут его игнорировать.
Кстати, кроме тега можно использовать перенаправление (лучше 301-ое) и параметры после URL (параметры следуют сразу после знака «?»). О том, как блокировать обход дублированного контента, содержащего параметры, —в справке Google Search Console.
Каноникализацию можно сделать несколькими способами. Выбирайте тот инструмент, которым владеете лучше.
Срочное удаление страницы из результатов поиска
В этом случае нужно использовать «Инструмент удаления URL». Открываем инструмент и выбираем сайт:
Указываем полный URL страницы, которую нужно скрыть:
Кстати, здесь же можно удалить все URL с текущим префиксом и скрыть кэшированную копию страницы. Подтверждаем запрос:
Инструмент не удаляет страницу из индекса в буквальном смысле, а лишь убирает ее оттуда на 6 месяцев, после чего вы должны принять финальное решение: удалить все содержимое страницы целиком либо ограничить доступ к странице.
Инструмент действует не мгновенно: скрывает проблемную страницу в течение 24-х часов.
Это самый быстрый способ показать Google, что страница должна быть удалена из результатов поиска.
Страницу нужно удалить из поиска, но она должна быть доступной
В этом случае нужно использовать ограничение доступа к странице. Сервисов и инструментов для этого много, но чаще всего используется ограничение по IP или организация доступа к странице по паролю. Здесь, опять же, сложно советовать что-то конкретное, так как ваши конечные цели сложно предугадать. По сложности внедрения оба способа примерно одинаковые.
Ограничить доступ к определенной странице можно при помощи учетных записей на сайте, но это трудоемкий способ.
Ограничить доступ к странице всем пользователям и сохранить его для некоторых посетителей можно при помощи мета-тега robots. Для этого необходимо добавить в него директиву noindex. На практике выглядит такой тег следующим образом:
При помощи директивы noindex в robots вы даете понять краулеру: выбранная страница не должна находиться в SERP.
Удаление изображения из результатов поиска
Здесь я рекомендую использовать атрибут disallow, который нужно указать в robots.txt. Никаких сложностей с этим точно не возникнет.
Вы можете ограничить обход как одной, так и сразу всех картинок. Все, что нужно для этого, – знать имя краулера. Это Googlebot – Image.
Например, мы хотим удалить картинку, значит, прописываем такой атрибут:
Удаление ссылки на страницу с контентом, защищенным копирайтом
Вам необходимо создать заявление в специальном инструменте для вебмастеров Google (называется DMCA).
Выбираем пункт «Создать новое заявление» и заполняем всю контактную информацию:
Указываем персональные данные, электронную почту, название компании и страну проживания:
Как видим, потребуется описать произведение, защищенное копирайтом, и указать ссылку, где оно размещается легально. Потребуется указать и точное расположение материалов (в виде ссылки), ущемляющих ваши авторские права:
Не забываем отметить чекбоксы и дать согласие на то, что эта форма заполняется «под присягой»:
Удаление ссылки на страницу, содержащую персональные данные
Для этого используйте инструмент «Удаления конфиденциальности». Он создан специально для ЕС, но мне известны как минимум 2 случая, когда он помогал удалить персональные данные и граждан РФ.
Понадобится заполнить страну проживания, фамилию и имя, электронную почту. Можно отправить запрос от имени родственника / члена семьи / друга / клиента. В этом случае понадобится указать степень родства (если речь идет о родственнике):
Далее указываем ссылки на действующие веб-страницы, содержащие ваши персональные данные:
Указываем поисковую фразу (в этом случае – имя и фамилия), по которой в результатах поиска выводятся ссылки на веб-страницы, содержащие персональные данные (ваши или доверенного лица):
Читаем соглашение Google о ПДн, отмечаем чекбоксы и подписываем документ:
Как удалить / стереть страницу из результатов поиска «Яндекс»
Теперь о том, что предлагает «Яндекс» для удаления URL из поиска.
Для эффективного удаления URL навсегда отечественный поисковик советует использовать уже знакомую директиву disallow. Ее следует указывать прямо robots-файле.
Второй способ. На удаляемой странице нужно прописать метатег robots (не забываем про директиву noindex).
Здесь стоит отметить, что бот-краулер отечественного поисковика первым делом анализирует именно robots-файл и только потом начинает сканировать саму веб-страницу. Убедитесь, что robots.txt содержит корректные указания. Для этого вы можете использовать специальный инструмент:
Еще один вариант – настроить HTTР-статус (он должен быть настроен у самой удаляемой веб-страницы). В последнем случае вы должны настроить точное перенаправление (404-ый или же 403-ий редирект).
Если вы сделали прямое запрещение на сканирование веб-страницы в системной файле robots, краулеры перестанут сканировать проблемную веб-страницу примерно спустя 24 часа (или быстрее).
Другой сценарий. Вы «сотрете» веб-страницу при помощи robots-тега (или же сразу настроите редирект http-статусом), а краулер продолжит сканирование проблемной веб-страницы (точно сказать нельзя, но в течение нескольких дней). Страница и спустя пару дней остается недоступной и не обновляется? Значит, она будет автоматически удалена из SERP «Яндекса » в ближайшее время.
Как ускорить удаление URL в «Яндексе»
Вы можете повлиять на скорость удаления URL. Первым делом уничтожьте веб-страницу через админку используемой CMS (URL должна отдавать 404-ой код). Вы можете удалить и целую группу URL, если в этом возникает необходимость.
Кстати, «Яндекс» позволяет удалить страницу из поиска даже в том случае, если вы не являетесь владельцем сайта и у вас отсутствуют права на домен (где размещается страница, которую вы хотите удалить) в «Яндекс.Вебмастере». Откройте инструмент и укажите проблемный URL:
Этот инструмент может помочь вам, только если для удаления URL есть какие-либо основания. К ним можно отнести 403-ий / 404-ый / 410-ый коды, прямое ограничение индексирования в robots.txt или запрещение метатегом noindex.
Если права на сайт в «Я.В» у вас подтверждены, вы сразу сможете стереть до пятисот URL в сутки.
Это все способы, при помощи которых Вы можете удалить страницу из индекса «Яндекс» и Google. Теперь предлагаю рассмотреть самые распространенные ошибки, которые могут возникнуть при удалении страниц.
Как не надо удалять страницу из поиска
Nofollow – только рекомендация
Этот способ вообще не работает, так как nofollow – всего лишь рекомендация для краулера и он, скорее всего, не будет ее соблюдать.
Тег noindex уже не работает
Раньше этот способ частично работал, но еще в 2019 году Google объявил, что отныне noindex в robots.txt не поддерживается.
Каноникал на другой URL
Каноникал используется для указания главной страницы, требующей индексации. Noindex же говорит краулерам, что страница не должна находиться в индексе. Тут возникает конфликт. Поэтому не используйте страницы с каноникл-тегом, указывающие на другие URL.
Блокировка поисковых роботов в robots.txt
Так вы лишь рекомендуете краулеру не обходить страницу, но он все равно может ее просканировать по своему усмотрению и даже включить ее в SERP.
Канониклы настраиваем в тех случаях, когда проблемная страница нужна в рамках сайта. Когда не нужна, настраиваем 301-ое / 404-ое перенаправление.
В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров
Как удалить сайт или его отдельные страницы из поиска Яндекс и Googlе
Неактуальное содержимое, закрытие ресурса, приостановка деятельности, обновление контента после покупки другого сайта. Да что угодно может послужить причиной для удаления сайта или его страниц из поиска. Этот мертвый груз в поиске не нужен, к тому же он может вводить людей в заблуждение. Также несуществующие страницы ухудшают продвижение в поисковой выдаче. Поэтому их лучше удалить из поиска вовсе.
Еще один важный аспект непопадания страниц в выдачу – это личные данные. Если вдруг на одной из страниц сайта есть чьи-то персональные данные, да даже просто ФИО с годом рождения, это может оказаться поводом для проблем, ведь не каждый хочет, чтобы в поиске красовались личные данные. Вконтакте, кстати, решили эту проблему: теперь человек сам выбирает, можно его найти в поиске Яндекс или Google или нет.
Решается это довольно просто: необходимо встроить на сайт авторизацию, через неё уж точно поисковые роботы пройти не смогут.
Зачастую несуществующие ссылки появляются в поиске из-за того, что пользователь не даёт наводку роботу о том, что страницы не существует. Страницу с сайта удалили, но не принудили сделать переобход роботом.
Так вот, ниже мы разберемся, как удалить свой сайт или отдельную его страницу из поиска Яндекс или Google.
Удаление сайта из поиска Google
Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.
Google предоставляет 3 варианта удаления:
- временный;
- удаление сайта навсегда;
- удаление сайта из-за нежелательного контента.
Рассмотрим каждый по отдельности.
Временное удаление сайта
Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.
Для этого в Search Console переходим в раздел «Индекс» =>"Удаления" и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.
После клика по этой кнопке необходимо указать адрес страницы, который хотим удалить. Но если требуется ликвидировать весь сайт, то вводим его доменное имя.
Google даст на выбор два варианта удаления:
- Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
- Скрыть весь каталог и страницы, которые с ним связаны
Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.
Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче. Временное удаление можно включить повторно в этом же разделе.
Удаление страниц или сайта навсегда
Для удаления сайта навсегда из поиска Google нет волшебной кнопки, как для временного удаления, но Google рекомендует дополнительные меры:
- Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
- Установить пароль, чтобы заблокировать доступ к контенту
- С помощью метатега noindex запретить сканирование страницы: <meta name="googlebot" content="noindex«>
- Документы в формате PDF рекомендуется удалять с сервера полностью
Больше статей на схожую тематику:
Удаление сайта из-за нежелательного контента
Если кого-то лично задел контент сайта (неприемлемое содержание, например), то можно наябедничать.
Проходим по ссылке, выбираем продукт Google, где находится нежелательный контент.
Далее выбираем причину блокировки и нажимаем на кнопку «Следуйте инструкциям на этой странице». И следом заполняем форму от Google.
Далее Google поблагодарит вас за содействие. В этом варианте нет какой-то формы отслеживания заявки. Придется вручную проверять доступность ресурса.
Мы привели способы удалить сайт из поиска Google штатными средствами самих Google, теперь пора разобраться с Яндексом.
Удаление сайта из поиска Яндекс
В случае с Яндексом удаление страницы из поиска начинаем с robots.txt.
Если страница уже удалена с сайта, то прописываем директиву Disallow в robots.txt для User Agent Яндекса.
Далее настраиваем сервер так, чтобы при обращении робота к адресу страницы он отправлял статус с кодом 404 (Not Found), 403 (Frobidden) или 410 (Gone), для этого в файле .htaccess прописываем строку: ErrorDocument 404 http://example.com/404.html. и не забываем указать на странице, которую удаляем из поиска, метатег robots с директивой noindex в <head>:
Далее для ускорения удаления страницы переходим в Вебмастер с аккаунта с подтвержденными правами на доступ к управлению сайтом. Затем в раздел «Инструменты» и в «Удаление страниц из поиска» и вводим URL либо отдельной страницы, либо всего сайта. Этим мы сообщаем роботу, что данные страницы должны быть в приоритете при обходе роботом.
После этого можно отслеживать состояние статуса в данном разделе:
- в очереди на добавление
- в процессе
- удалена
- отклонено
После очередного обхода страниц роботу станет известно о запрете на индексирование, и страница пропадет из результатов поиска в течение нескольких дней. После этого адрес страницы отобразится в разделе Индексирование => Страницы в поиске Вебмастера в списке исключенных.
Нравится статья? Тогда смотрите наши курсы!
Другие способы удаления страниц сайта из поиска
Редиректы
Убираем страницу из поиска с помощью 301 и 302 редиректа (переадресации).
Если на сайте есть страница с неактуальным контентом, и этот контент актуальным явно не станет в будущем (товар больше не появится в продаже, например), то и индексировать этот URL больше не нужно, и, следовательно, нужно убрать его из поля взора поисковых роботов. Взамен этой показать пользователям другую, актуальную страницу. Здесь и спасет 301 и 302 редирект.
- 301 редирект для навсегда удаленных или перемещенных страниц
- 302 редирект для временно неактуальных страниц, которые останутся в поиске
Для настройки редиректа можно воспользоваться специальным сервисом, указав там нужные ссылки. В первом поле вводим URL старой страницы, с которой будет осуществляться переадресация, а во втором поле вводим URL новой страницы, на которую будет переадресация. Далее в файле .htaccess вставляем сгенерированный код и сохраняем.
Метатег noindex
Noindex – сокрытие от поисковых ботов контента (целиком страницы или куска кода). Можно настроить для определенного бота, таким образом закрыть страницу от индексации отдельно для Яндекса или Google.
Устанавливается в HTML-коде страницы в <head>. Метатег блокирует работу ботов Яндекса и Google во время очередного обхода для вывода страницы в выдачу.
Прописывается noindex так:
Ищем страницу, которую нужно скрыть. Открываем HTML-файл этой страницы и прописываем meta-тег:
Для определенного бота, если вдруг хотим запретить индексацию конкретно для робота Яндекса или Google.
После этих манипуляций страница больше не будет выводиться в поиске, а роботы не будут обращать на неё внимание.
Также метатег noindex можно использовать совместно с тегом nofollow. Например, <meta name="robots" content="noindex, nofollow" /> дает запрет на индексацию контента на странице и запрещает роботам переходить по ссылкам.
Важно понимать, что для удаления контента может потребоваться не один день.
Disallow в robots.txt
Благодаря этой директиве в robots.txt пользователь дает указания роботу не посещать список внесенных страниц или всего ресурса. Обычно директиву используют для системных разделов, но если пользователю важно закрыть страницу с неактуальным контентом, то она подойдет.
Чтобы запретить индексацию всего сайта, достаточно в robots.txt прописать Disallow: /, если нужен запрет на определенную страницу, то пишем Disallow: /page
Если на эту страницу ссылаются другие страницы на сайте, то она может все равно быть проиндексирована, так что стоит обратить на это внимание заранее.
Также стоит помнить о том, что данные действия для поисковиков несут лишь рекомендательный характер для GoogleBot. Например, если на сайт есть внешние ссылки, то страница может быть проиндексирована.
Пароль на странице или разделе
Если раздел или сайт защитить паролем, то поисковики не смогут получить доступ к страницам, и из-за этого страницы не смогут попасть в индекс.
Примеры роста кликов, конверсий, заказов и прибыли:
Вывод
На самом деле удалить страницу или даже сайт из поиска не так уж и трудно, главное – соблюдать некоторые правила, описанные выше. Также можно комбинировать эти способы.
Если у вас возникнут трудности при удалении страниц или сайта из поиска или любые другие технические проблемы, то всегда можно обратиться к нам – мы обязательно поможем.
Это расширение позволяет убрать любой сайт из результатов поиска Google
Представьте: вы ищете в Google сайты с бесплатными обоями для рабочего стола, а вам то и дело показывают картинки с фотостоков. Или при поиске серьёзных новостей постоянно всплывают результаты из какого-нибудь развлекательного источника. Такие сайты можно навсегда убрать из Google с помощью расширения uBlacklist.
Когда вы установите плагин, напротив каждого результата появится кнопка «Заблокировать этот сайт». Нажмите на неё, щёлкните «ОК», и этот ресурс вы больше не увидите. Если нужно просмотреть скрытые сайты в результатах, нажмите на кнопку «Показать» — она расположена под поисковой строкой вверху экрана.
Вы можете вручную добавлять сайты в чёрный список и синхронизировать его между устройствами через «Google Диск». Есть возможность заблокировать не целый ресурс, а лишь отдельный поддомен или страницу.