Как удалить сохраненную копию страницы в яндексе

Как убрать страницу из кэша yandex'а

Yandex проиндексировал страницу с данными которые никто видеть не должен. инфу со страницы удалили, но она осталась в копии поисковика и в снипите отображается как раз информация которую видеть никто не должен.

Вопрос: Как можно «повлиять» на Yandex, что бы он обновил копию этой страницы как можно скорее или выкинул ее из индекса вообще?

Вероятно, спрятать страницу можно так же как и загнать ее в индекс. Ссылками. Логично, что если робот пройдет по ссылку на страницу, а там уже не тот контент (или страница уже отсутствует), то он изменит и содержимое в базе. По логике чем больше количество таких ссылок с наиболее авторитетных ресурсов, тем быстрее данные должны исчезнуть с кеша. (ИМХО. Предположение, не имеющее практических оснований. )… но это противоречит понятию секретности, т.к. таким образом вы сами покажите информацию «которую никто не должен видеть» не только Яндексу, но и куче случайных зевак.

Возможно, еще написать в суппорт Яндекса, но они вероятнее всего скажут “закройте нужный Вам контент от индексации и в момент следующей проверки и обновления базы он исчезнет с кеша”

Или, самый оптимальный для Вас способ, удалить страницу через правило robot.txt, но тут скорость выкидывания будет зависеть от того, насколько часто робот посещает Ваш сайт. Если сайт большой и робот его любит, страница исчезнет быстро.

Вообще на эту тему можно говорить много, но точно сказать что сработает быстрее – сложно.

Как удалить неактуальную информацию из поисковой выдачи

Наверняка, вы встречались с ситуацией, когда в индексе поисковой системы присутствуют несуществующие страницы. Это плохо влияет на продвижение в поисковой выдаче, поэтому важно своевременно их удалять.

Давайте рассмотрим случаи, в которых могут появляться такие страницы.

Ситуация 1: простое удаление страницы с сайта

Для успешного продвижения в поисковой выдаче важно поддерживать актуальное состояние контента на вашем сайте. Это значит, что нужно своевременно добавлять новую информацию, а также удалять или обновлять неактуальную.

Под контентом имеются в виду как сами страницы, статьи, так и вложенные в них файлы: изображения, документы и прочее.

Например, была создана акция с невероятной скидкой на какой-то товар. Этот товар закончился очень быстро, но вам продолжают поступать звонки или письма с просьбой приобрести его. В этом случае имеется смысл удалить эту страницу, так как продать этот товар вы уже не сможете, и, по сути, все эти заявки не несут никакой прибыли, а только отнимают время на их обработку. Или же можно настроить показ аналогичных товаров пользователю. Например, как здесь:

Либо показывать список аналогичных товаров – так, вы вероятно заинтересуете клиента остаться на сайте и совершить целевое действие.

В случае удаления страницы она, а также изображения и прочие вложения, останутся в индексе поисковых систем.

Ссылка на несуществующую страницу может находиться в выдаче долгое время, в зависимости от апдейтов поисковых систем и частоты обхода роботами вашего сайта (краулинговый бюджет сайта).

Ситуация 2: смена url адреса страницы

Также в выдаче появляются ссылки на несуществующие страницы в случае изменения ее url адреса. Такое может возникнуть, например, при изменении доменного имени сайта. Также эта проблема часто возникает при смене раздела у статьи – допустим, робот обходил страницу, добавил ее в выдачу, а вы изменили ее адрес, но поисковая система знает старый адрес страницы и будет показывать ее. В этом случае необходимо настроить 301 редирект со старого адреса на новый, благодаря этому параметры старого адреса ссылки передаются новому адресу, и сохранится позиция в выдаче.

Либо можно реализовать показ подобных товаров, как в пункте выше.

Ситуация 3: ссылки с внешних ресурсов на несуществующую страницу

Алгоритм действий схож с предыдущим пунктом. Имеются в виду ссылки с ресурсов, не принадлежащих вам, на изменение которых вы не можете повлиять.

Допустим, кто-то поделился ссылкой о вашем товаре, оставляя отзыв на стороннем ресурсе. Но на вашем сайте этот товар закончился или у него изменился url адрес, и теперь продукция по этому адресу недоступна. В такой ситуации необходимо отслеживать внешние ссылки в вебмастере и настраивать соответствующие редиректы на актуальные страницы.

Ситуация 4: в индексе находятся страницы или документы, содержащие личные данные или конфиденциальную информацию

При индексации страниц или файлов, содержащих личные данные компании или пользователей, необходимо как можно скорее удалить их из поисковой выдачи. Способы удаления такой информации будут описаны в следующих пунктах статьи.

Далее изображения и документы будут называться страницами, так как они также имеют url адрес, например: site.ru/images/image1.png

Теперь проанализируем дальнейшие действия.

В ситуациях 1, 2, 3 пользователи могут перейти по такой ссылке, но, увидев страницу 404 ошибки, в большинстве случаев покинут сайт. Если же у вас интересная и информативная страница 404, пользователь может остаться на сайте, перейти на другие разделы и совершить необходимое целевое действие.

Поисковые системы могут самостоятельно находить и удалять несуществующие страницы, если выполнены соответствующие условия. Для этого требуется определенное время. Чтобы ускорить удаление из индекса, необходимо сообщить поисковым системам, что страницы не актуальны и их нужно удалить из выдачи. В вебмастерах существуют специальные инструменты, которые облегчат вам работу.

Удаление страницы из выдачи Яндекса

Например, в вебмастере Яндекса есть инструмент для удаления страниц из поиска – «Удалить url».

Но прежде чем им воспользоваться, нужно выполнить следующие действия:

• В файле robots.txt закрыть от индексации необходимые страницы или группы страниц. Либо использовать мета тег <meta name=»robots» content=»noindex»>.
• Настроить ответ сервера с несуществующих страниц 404 – не найдена, 403 – доступ запрещен или 410 – удален.

После этого переходим в соответствующий раздел вебмастера и вводим адреса страниц, которые нужно удалить.

Важно: удаление страниц возможно с аккаунта с подтверждёнными правами на сайт в панели вебмастера.

В день вы можете добавить до 500 страниц в очередь на удаление.Также есть возможность удалять сразу группы страниц, к примеру, весь каталог или блог, а иногда и просто все страницы сайта. Для этого нужно выбрать пункт «По префиксу».

Обратите внимание, не нужно вводить полный путь. Дневной лимит – 20 префиксов. После отправки запроса на удаление вы можете отслеживать изменение статуса на странице: Инструменты → Удаление страниц из поиска

При обходе сайта робот Яндекса сначала обращается к файлу robots.txt, если он существует, а после этого к самим страницам сайта. Полный обход крупных сайтов может занять значительное время, поэтому для более быстрой индексации важных страниц нужно иметь правильно настроенный файл robots.txt.

Подробнее о настройке robots.txt можете прочитать в этой статье.

Инструкция по удалению страниц Яндекса.

Удаление страницы из выдачи Google

У Goolge этот инструмент называется – Удалить url адреса

Не пугайтесь что кнопка называется «Временно скрыть». С помощью сервиса вы можете заблокировать страницы в выдаче на срок до 90 дней, после этого они могут вновь появляться в поисковой выдаче.

После нажатия на кнопку «Временно скрыть» откроется окно, в котором нужно ввести адрес страницы для удаления.

Адрес страницы должен относиться к принадлежащему вам ресурсу в search console.

Для пункта 1 и 2 необходимо вводить полный url страницы, включая расширение (например, .php или .html).

Анкорные ссылки типа #link нужно удалять из url.

Из поиска удалятся все варианты страницы с протоколом http и https, а также url с префиксом www и без.

Допустим у вас есть сайт – site.ru, для него адреса: http://site.ru, http://www.site.ru, https://site.ru, https://www.site.ru будут являться одинаковыми.

Поддомены типа m. или amp. делают адреса не равнозначными, например:

site.ru/catalog и m.site.ru/catalog будут являться разными адресами.

Регистр символов в url имеет значение, то есть страницы site.ru/Catalog и site.ru/catalog являются разными адресами.

В случае, если страница имеет дубли (одна и та же страница доступна по нескольким адресам), нужно отправить дополнительные запросы со всеми их адресами.

На выбор будет представлено 3 варианта удаления:

Удалить url из кэша и временно исключить его из поиска.

Страница и ее кэшированная копия полностью удаляется из выдачи на срок до 90 дней.

Под кэшированной версией имеется в виду сохраненная копия.

Удалить только из кэша.

Страница остается в выдаче, удаляется сохраненная копия страницы. После следующего сканирования появится новая кэшированная версия страницы.

Очистить кэш и временно скрыть все url, которые начинаются с.

Из выдачи удаляются все страницы и их сохраненные копии, начинающиеся с указанного вами префикса.

Например, если вы укажите catalog/ , удалятся страницы типа вида catalog/item1 , catalog/item2 , catalog/item3 и тд.

В случае если необходимо исключить сайт полностью, в пункте 3 не нужно указывать никакого пути, то есть оставить поле пустым.

Полное удаление из выдачи Google

Чтобы исключить страницу из выдачи навсегда, необходимо принять следующие меры:

Удалить необходимый контент и убедиться, что отдается ответ сервера – 404 или 410.

Запретить индексирование метатегом <meta name=»robots» content=»noindex»>.

Если же контент является изображением (например, файл имеет расширение .jpg или .png) или же документ (например, файл имеет расширение .pdf или .doc), нужно удалить этот файл с сервера.

Заблокировать доступ к контенту, например, установить пароль (так поступают с админками сайтов).

Важно: использовать метатег, а не запрет в файле robots.txt, необходимо, так как robots.txt является лишь рекомендацией для Google.

Если информация находится на ресурсе, не принадлежащем вам

Можно обратиться к владельцу сайта с просьбой об удалении личных данных.

В случае отказа ли отсутствия ответа от владельца, можно воспользоваться специальными сервисами поисковых систем.

Для Google составить запрос на удаление личной информации можно тут.

У Яндекса нет возможности оставить запрос на удаление конфиденциальной информации. В разделе Яндекс.Помощь также ничего не сказано по поводу удаления своих данных из выдачи. На вопрос, как удалить такую информацию, служба поддержки дала следующий ответ:

Заключение

В алгоритме удаления неактуальной информации из поисковых систем есть как схожие моменты, так и расхождения, но в основном можно выделить следующее:

• закрыть от индексации страницы, которые необходимо удалить;
• настроить ответ сервера;
• воспользоваться сервисами вебмастеров поисковых систем.

К расхождениям можно отнести удаление сохранённых копий страниц – в сервисе Google есть возможность удалить их, у Яндекса такой функции нет, и сохраненные копии могут храниться долгое время.

Разница в восприятии файла robots.txt – для Google, в отличие от Яндекса, он не является приоритетным, а носит рекомендательный характер, поэтому стоит использовать метатег <meta name=»robots» content=»noindex»>.

Теперь вы знаете, как удалить неактуальный контент из поисковой выдачи, избежав бесконечное количество 404 страниц. За помощью можете обращаться к нам.

Работа с сохраненной копией страницы

Чтобы пользователь нашел документ в поисковой выдаче, недостаточно добавления его на сервер. Контент должен быть проиндексирован (добавлен поисковыми роботами в индекс) поисковыми системами Яндекс и Google. Поэтому, наличие сохраненной копии — показатель что поисковый бот был на странице. Рассмотрим, что можно посмотреть и какие ошибки обнаружить с помощью сохраненной копии веб-страницы.

Роботы Яндекса и Google добавляют копии найденных веб-страниц в специальное место в облаке — кеш. При этом новая копия страницы перезаписывает старую. Поэтому в кеше отображаются свежие версии веб-страниц.

Сохраненная копия — это версия веб-страницы, которая сохранена в кэше поисковой системы. Условно это бесплатная резервная копия от поисковых систем.

На самом деле веб-страницы сохраняют:

1. Поисковые системы. В них находится находится последняя проиндексированная версия страницы. Такие «снимки» используют SEO-специалисты, чтобы увидеть какие данные обнаружил на странице поисковый бот;
2. Специализированные сервисы. Занимаются сохранением содержимого веб-страницы. Основная задача таких сервисов сохранить страницы в конкретный момент времени. С помощью них вы можете узнать как выглядел сайт или страница несколько лет назад.

Зачем нужна сохраненная копия страницы и как её посмотреть

На сайтах регулярно происходит добавление нового и редактирование существующего контента. Периодически изменяется его дизайн, добавляются и/или удаляются графические элементы. Это трудоемкая работа в процессе, которой могут возникнуть ошибки: потеряться контент, «съехать дизайн», удалиться блок или перестать индексироваться часть материала. Выявить, как выглядела страницы до определенного момента, поможет сохраненная копия.

Пример из практики:
Есть у нас технически сложный проект, который при заполнении объема памяти перестает, корректно работать. Если по простому, то вместо работающего сайта, мы видим ошибку базы данных.

Время от времени сайт отваливается по ночам, а утром разработчики все исправляют. И тут важный момент, сохраненные копии, позволяют понять успели ли поисковые системы проиндексировать сломанный сайт или нет. А также позволяют выявить, какие именно страницы успел переобойти бот.

Как посмотреть сохраненную копию в Google

Рассмотрим на примере страницы https://discript.ru/prodvizhenie-sajtov/kolomna/. Перед url адресом пропишите оператор «site:». В сниппете (блок информации о странице веб-сайта) результата, нажмите на иконку в виде треугольника, выберите соответствующий пункт.

Откроется сохраненная копия веб-страницы. Google выведет окно с сообщением, что открылся «снимок» страницы.

Разберем представленную информацию:

1. Дату фиксации. В данном параметре указано, когда был сделан слепок страницы. Поэтому сопоставив указанную дату с датой внесения правок, можно предположить успел ли поисковый бот обойти страницу или еще нет (Важно! данный метод не гарантирует 100% верную информацию, т.к. данные хранятся в кеше и могут отличаться в зависимости от вашего место нахождения) ;
2. Полная версия. Отображается версия страница, как должен был ее увидеть пользователь.
3. Текстовая версия. Позволяет просмотреть контент веб-страницы без применения стилей. Такой формат позволяет увидеть скрытые от пользователя элементы, но доступные для поисковых роботов Яндекса и Google;
4. Исходный код. Выводит исходный код HTML-страницы. Это требуется для изучения тега Title и мета тегов, таких как Description. Данное представление позволяет изучить, как сверстана веб-страница, и нет ли на ней критических ошибок.

Как посмотреть сохраненную копию веб-страницы в Яндекс

Рассмотрим на примере страницы https://discript.ru/site-development/. В строку поиска обязательно пропишите оператор «url:» перед url-адресом. нажмите на значок в виде трех горизонтальных точек, выберите «Сохраненная копия».

Далее Яндекс предоставит следующие данные:

1. Дата индексации. Данное значение информирует в какой момент выполнен слепок страницы.
2. Полная версия страницы. Отображение страницы со всеми стилями.
3. Текстовая версия страницы. Текстовая версия, аналогично позволяет изучить страницу без стилей и получить всю скрытую информацию. Часто именно при проверке текстовой копии обнаруживаются сквозные блоки текста на страницах. Т.к. при использовании стилей они скрыты.

Почему сохраненной страницы может не быть

Это происходит в результате:

1. Сбой работы поисковых систем. Разработчики Яндекса даже говорят, что нет стопроцентной гарантии, что страница сохранится. Конкретная причина не указывается.
2. HTML-код содержит мета тег мета-тег «robots» со значением «noarchive», что означает запрет на кэширование (локальное сохранение данных для получения быстрого доступа к странице при следующих запросах).

Что предпринять если в ПС нет сохраненной копии, а посмотреть содержимое нужно? Попробуйте изучить специализированные площадки и расширения.

Рассмотренными выше способами можно посмотреть:

1. Мобильную версию веб-сайта. Пропишите url мобильной версии в Яндексе или Google. Из выдачи перейдите на нее далее, как в примере рассмотренном выше.
2. Адаптивную версию. Перейдя в сохраненную копию (так же как в примере выше). Открываем инструменты разработчика. Клавиша F12 в обозревателе. Или нажать ПКМ на пустом месте страницы, выбрать «Посмотреть код». Переходим в раздел мобильное отображение и перезагружаем веб-страницу.

Специализированные веб-архивы

Выше мы обсуждали, что существуют сервисы, задачи которых сохранять в истории страницы сайтов. Сейчас рассмотрим их подробнее и расскажем, как с ними работать.

И начнем с самого популярного и известно.

Wayback Machine

Сервис Wayback Machine — бесплатным онлайн-архивом, задача которого является сохранить и архивировать информацию размещенную в открытых интернет‑ресурсах. Wayback Machine является частью некоммерческого проекта Интернет Архива. На его серверах хранятся копии веб-сайтов, книг, аудио, фото, видео.

Чтобы открыть копию страницы перейдите на https://archive.org/, далее откроется поисковая форма, куда пропишите URL страницы. Нажмите кнопку «GO».

Сервис отобразит имеющиеся в архиве снимки.

Далее выберите в календаре нужную дату и откройте страницы. Результатом вывода будет открытие страницы, которую зафиксировали роботы за выбранную дату.

Кроме просмотра снимков страниц, сервис поможет:

1. Проанализировать robots.txt. Сервис будет сканировать веб-сайты вне зависимости от настроек robots.txt;
2. Узнать данные о домене. Актуально перед покупкой. Уточните какая информация размещалась на нем. Если вы купите «заспамленный» или домен под «санкциями» (например была размещена информация для взрослых) новый контент будет плохо ранжироваться. Если же ранее на нем размещалась информация, которая подходит по тематике и качеству для вашего будущего ресурса, тогда вы сможете использовать ее на этом же домене.
3. Найти в архивных копиях пропавшую информацию.
4. Если, например, на веб-сайте наблюдается спад трафика, откройте сохраненную версия сайта до момента уменьшения посещаемости. Проанализируйте, какие были сделаны изменения, чтобы разобраться в причине падения посещаемости.

Archive.Today

Archive.Today — бесплатный некоммерческий севрис сохраняющий веб-страницы в оналйн режиме. Особенность — сохраняет не только статические страницы, но и генерируемые Веб 2.0-проектами страницы. Например, карты Google.

Основное отличие от Wayback Machine, что Archive.Today сохраняет веб-страницы только по запросу пользователей. При этом сервер полностью сохраняет:

• HTML-страницы,
• CSS файлы,
• JS файлы,
• PDF,
• аудио файлы,
• пр.

Важно, помнить, что Archive.Today игнорирует файл robots.txt поэтому в нем можно сохранить страницы недоступные для Wayback Machine.

Обратите внимание, общий в Размер заархивированной страницы со всеми изображениями не должен превышать 50 МБ.

У Archive.Today есть собственное приложение для браузера Mozilla Firefox. Ссылка на ПО https://addons.mozilla.org/en-US/firefox/addon/archive-page/

Для начала работы с Archive.Today перейдите по адресу: https://archive.md/. Чтобы получить результат укажите в форму интересующий URL-адрес.

Откроется страница с сохраненными снимками и информацией о дате создания копии.

Вы можете скачать сохраненную копию виде архива. И восстановить версию страницы у себе на сервере.

Расширения для браузеров

Существуют, плагины для браузеров, позволяющие создавать и просматривать сохраненные версии страниц.

Например, расширение Web Cache Viewer позволяет:

1. Загружать веб-страницу из локального кэша на компьютере;
2. Автоматически находить страницу при помощи сервиса Wayback Machine.

Перейдя по ссылке, рассмотренной, выше, нажмите кнопку «Установить».

После инсталляции расширения в браузере, нажмите правой кнопкой мыши пустом месте страницы для просмотра версии из Google или Wayback Machine.

Для пользователей Firefox существует аналогичное дополнение со схожим функционалом Web Archives.

Cached Page

Веб-сайт Cached Page ищет копии веб-страниц в поиске Google, Интернет Архиве, WebSite. Используйте площадку, если описанные выше способы не помогли найти сохраненную копию веб-сайта.

Пропишите название сайта в специальную форму. Для поиска нажмите одну из трех кнопок. Сервис предложит произвести поиск веб-страницы в:

1. Веб-кэш Google;
2. Интернет Архив;

Например, прописав в форму адрес https://discript.ru/prodvizhenie-sajtov/lyubercy/, и нажав кнопку «Архив Интернета», произойдет переход на страницу сервиса Wayback Machine. Если страница сохранена в БД сервиса, она отобразится на странице.

Выводы

Работая с сохраненными копиями страниц, можно выявить достаточного много полезных нюансов.

Сохраненные копии позволяют:

• Узнать, поисковый бот успел ли обойти вашу страницу после внесенных правок.
• Как бот воспринимает информацию со страницы. Все ли учитывает или остались места, которые ПС не видят.
• Выявить, какие элементы пропали и когда.
• Выявить, какие страницы успел обойти поисковый бот, после того, как сайт перестал быть доступным.
• Создать копии страниц.
• Восстановить копию сайта, когда забыли оплатить домен.

Сохраненная копия веб-страницы поможет определить, какая версия документа проиндексирована поисковыми роботами и участвует в ранжировании. Поэтому наличие «снимка» страницы в Яндексе и Google говорит об успешной проведенной индексации.

10 инструментов, которые помогут найти удалённую страницу или сайт

Если, открыв нужную страницу, вы видите ошибку или сообщение о том, что её больше нет, ещё не всё потеряно. Мы собрали сервисы, которые сохраняют копии общедоступных страниц и даже целых сайтов. Возможно, в одном из них вы найдёте весь пропавший контент.

Поисковые системы

Поисковики автоматически помещают копии найденных веб‑страниц в специальный облачный резервуар — кеш. Система часто обновляет данные: каждая новая копия перезаписывает предыдущую. Поэтому в кеше отображаются хоть и не актуальные, но, как правило, довольно свежие версии страниц.

1. Кеш Google

Чтобы открыть копию страницы в кеше Google, сначала найдите ссылку на эту страницу в поисковике с помощью ключевых слов. Затем кликните на стрелку рядом с результатом поиска и выберите «Сохранённая копия».

Есть и альтернативный способ. Введите в браузерную строку следующий URL: http://webcache.googleusercontent.com/search?q=cache:lifehacker.ru . Замените lifehacker.ru на адрес нужной страницы и нажмите Enter.

2. Кеш «Яндекса»

Введите в поисковую строку адрес страницы или соответствующие ей ключевые слова. После этого кликните по стрелке рядом с результатом поиска и выберите «Сохранённая копия».

3. Кеш Bing

В поисковике Microsoft тоже можно просматривать резервные копии. Наберите в строке поиска адрес нужной страницы или соответствующие ей ключевые слова. Нажмите на стрелку рядом с результатом поиска и выберите «Кешировано».

4. Кеш Yahoo

Если вышеупомянутые поисковики вам не помогут, проверьте кеш Yahoo. Хоть эта система не очень известна в Рунете, она тоже сохраняет копии русскоязычных страниц. Процесс почти такой же, как в других поисковиках. Введите в строке Yahoo адрес страницы или ключевые слова. Затем кликните по стрелке рядом с найденным ресурсом и выберите Cached.

Специальные архивные сервисы

Указав адрес нужной веб‑страницы в любом из этих сервисов, вы можете увидеть одну или даже несколько её архивных копий, сохранённых в разное время. Таким образом вы можете просмотреть, как менялось содержимое той или иной страницы. В то же время архивные сервисы создают новые копии гораздо реже, чем поисковики, из‑за чего зачастую содержат устаревшие данные.

Чтобы проверить наличие копий в одном из этих архивов, перейдите на его сайт. Введите URL нужной страницы в текстовое поле и нажмите на кнопку поиска.

1. Wayback Machine (Web Archive)

Сервис Wayback Machine, также известный как Web Archive, является частью проекта Internet Archive. Здесь хранятся копии веб‑страниц, книг, изображений, видеофайлов и другого контента, опубликованного на открытых интернет‑ресурсах. Таким образом основатели проекта хотят сберечь культурное наследие цифровой среды.

2. Arhive.Today

Arhive.Today — аналог предыдущего сервиса. Но в его базе явно меньше ресурсов, чем у Wayback Machine. Да и отображаются сохранённые версии не всегда корректно. Зато Arhive.Today может выручить, если вдруг в Wayback Machine не окажется копий необходимой вам страницы.

3. WebCite

Ещё один архивный сервис, но довольно нишевый. В базе WebCite преобладают научные и публицистические статьи. Если вдруг вы процитируете чей‑нибудь текст, а потом обнаружите, что первоисточник исчез, можете поискать его резервные копии на этом ресурсе.

Другие полезные инструменты

Каждый из этих плагинов и сервисов позволяет искать старые копии страниц в нескольких источниках.

1. CachedView

Сервис CachedView ищет копии в базе данных Wayback Machine или кеше Google — на выбор пользователя.

2. CachedPage

Альтернатива CachedView. Выполняет поиск резервных копий по хранилищам Wayback Machine, Google и WebCite.