Как скачать сайт с web archive org

Как скачать сайт с web archive org

Интерфейс веб-архива: инструкция к инструментам Summary, Explore и Site map.

В этой статье мы расскажем о самом web.archive и о том, как он работает.

Для справки: веб-архив был создан Брюстером Кейлом в 1996 году примерно в то же время, когда он основал компанию Alexa Internet, занимающуюся сбором статистики о посещаемости веб-сайтов. В октябре того же года организация начала архивировать и хранить копии веб-страниц. Но в текущем виде ― WAYBACKMACHINE ― в котором мы можем его использовать, он запустился только в 2001 году, хотя данные сохраняются с 1996 года. Преимущество веб-архива для любого сайта в том, что он сохраняет не только html-код страниц, но и другие типы файлов: doc, zip, avi, jpg, pdf, css. Комплекс html-кодов всех элементов страниц позволяет восстановить сайт в его первоначальном виде (на конкретную дату индексирования, когда паук веб-архива посещал страницы сайта).

Итак, архив находится по адресу http://web.archive.org/. Рассмотрим возможности веб-архива на примере крупного всем известного сайта, как WhatsApp.

На главной странице в поле поиска вводим домен интересующего нас сайта, в данном случае ― whatsapp.com

После ввода ссылки на сайт мы видим календарь сохранения кода html страницы. На этом календаре на датах сохранения мы видим пометки различными цветами:

Синий ― сервер отдавал валидный правильный код 200 (отсутствие ошибок от сервера);

Красный (желтый, оранжевый, в зависимости от браузера и операционной системы ПК) ― ошибка 404 или 403, то, что не интересно при восстановлении;

Зеленый ― redirect-страницы (301 и 302).

Цвета в календаре не дают 100% гарантию соответствия: на синей дате также может быть redirect (не на уровне заголовка, а к примеру, в html-коде самой страницы ― в мета-тегах refresh (тегах обновления экрана) или в JavaScript).

Переходим на 2009 год, в самое начало индексирования (сохранения) сайта в веб-архиве.

Видим версию от 24 января и открываем ее в новой вкладке (в случае ошибок при работе, лучше открыть инструмент веб-архива в режиме инкогнито или в другом браузере).

Итак, мы видим версию страницы WhatsApp за 2009 год. В url страницы мы видим цифры ― timestamp (временную метку) ― т.е. год, месяц, день, час, минута, секунда, когда было сохранение именно этого url. Формат timestamp (YYYYMMDDhhmmss).

Timestamp ― это не время сохранения копии сайта и не время сохранения страницы, это именно время сохранения конкретного файла. Это важно знать для восстановления контента из веб архива. Все элементы сайта — картинки, стили, скрипты, html и так далее имеют свой timestamp, то есть дату архивации.

Для возвращения со страницы сайта обратно на календарь, нажимаем на ссылку с числом captures (захватов страницы).

Инструмент Summary

На главной странице веб-архива выбираем инструмент Summary. Это графики и диаграммы сохранения сайта. Все графики и таблички можно посмотреть по годам.

Наиболее полезная информация на странице ― сумма столбика New URLs. Эта сумма показывает нам количество уникальных файлов содержащееся в веб-архиве.

Цифра будет установлена приблизительна, по той причине, что сам веб-архив мог заиндексировать страницу с www или без. Т.е. одна и та же страница и ее элементы могут располагаться по разным адресам.

Инструмент Explore

Он загружает в таблицу все url, что ранее были заиндексированы пауком веб-архива.

Тут можно увидеть:

1. MIME Тип элемента;
2. Первичную дату индексирования элемента;
3. Последнюю дату сохранения элемента;
4. Общее число захватов (сохранений) элемента;
5. Число дубликатов;
6. Число сохранений уникального контента по url.

В поле фильтра возможно задать любую часть искомого элемента: для поиска содержимого сайта, которое трудно обнаружить в большом количестве ссылок.

Также возможно в поиске ввести часть пути, к примеру, путь в папку (обязательно со звездочкой), можно увидеть все url по заданному пути (все файлы со страницы или с папки) для анализа индексации этого контента.

Инструмент Site Map

На главной странице сайта нажимаем соответствующую ссылку Site Map.

Это кольцевая диаграмма с разделением по годам для анализа элементов, которые сохранял веб-архив (какие страницы) в разрезе от главного url к url вторго и n-ного уровня. Этот инструмент позволяет определить, в какой год веб-архив перестал сохранять новый контент на сайт или копии определенных url (появление любого кода, кроме кода 200).

В центре главная страница, а далее по структуре пути на втором-третьем этапе видим внутренние страницы сайта. Здесь нет других видов файлов, только сохраненные url. Т.е. мы можем понять, где архив смог проиндексировать или не проиндексировать страницы.

На схеме показаны:

1. Главная страница

2 — 5. Уровни вложенности страниц сайта

Также с помощью данного инструмента мы можем увидеть внутренние страницы по структуре и открыть их отдельно в новой вкладке.

Таким образом, отобрав ссылки на страницы и элементы с необходимой датой сохранения в веб-архиве и построив требуемую нам структуру, мы можем приступать к следующему этапу ― подготовке домена к восстановлению. Но об этом мы расскажем в следующем гайде.

Этот видео гайд есть на Youtube:

Использование материалов статьи разрешается только при условии размещения ссылки на источник: https://archivarix.com/ru/blog/1-how-does-it-works-archiveorg/

В этой статье мы расскажем о самом web.archive и о том, как он работает. Интерфейс веб-архива: инструкция к инструментам Summary, Explore и Site map. В этой статье мы расскажем о самом web.archive и…

Подготовка домена к восстановлению. Создание robots.txt
В прошлой статье мы рассмотрели работу сервиса archive.org, а в этой статье речь пойдет об очень важном этапе восстановления сайта из веб-архи…

Выбор ограничения ДО при восстановлении сайтов из веб-архива. Когда домен заканчивается, на сайте может появится заглушка домен-провайдера или хостера. Перейдя на такую страницу, веб-архив будет ее со…

Новая верия CMS стала удобнее и понятее вебмастерам из разных стран мира.

— Полная локализация Archivarix CMS на 13 языков (Английский, Испанский, Итальянский, Немецкий, Французский, Португальский, Польский, Турецкий, Японский, Китайский, Русский, Украинский, Белорусский).
— Экспорт всех текущих данных сайта в zip архив для сохранения резервной копии или переноса на другой сайт.
— Показ и удаления битых zip архивов в инструментах импорта.
— Проверка версии PHP при установке.
— Информация для установки CMS на сервер с NGINX + PHP-FPM.
— В поиске при включенном режиме эксперта отображается дата/время страницы и ссылка на её копию в ВебАрхив.
— Улучшения пользовательского интерфейса.
— Оптимизация кода.

Если вы на уровне носителя владеете языком, на который наша CMS ещё не переведена, то приглашаем вас сделать наш продукт ещё лучше. Через сервис Crowdin вы можете подать заявку и стать нашим официальным переводчиком на новые языки.

Сливаем сайты с Wayback Machine бесплатно

Однажды потребовалось скачать сайт с web.archive.org. Archivarix.com и r-tools.org ущербны и дают очень слабый функционал, особенно на бесплатной версии.

Если вам нужно слить большой сайт с Вебархива, есть терминал и 5 минут на настройку — можно обойтись без сторонних сервисов + бесплатно.

Wayback Machine Downloader

Чтобы скачивать сайты с Вебархива бесплатно воспользуемся бесплатной консольной утилитой Wayback Machine Downloader. Я ставил под macOS, мануал будет под неё же.

How to restore websites from the Web Archive — archive.org. Part 1

In this article we will talk about web.archive itself and how it works.

For reference: web archive was created by Brewster Cale in 1996 about at the same time when he founded Alexa Internet, a company that collects statistics on website traffic. In October of that year, company started archiving and storing copies of web pages. But the current form called WAYBACKMACHINE, that we can use now, started only in 2001, although the data has been saved since 1996. Web archive advantage for any website is that it saves not only the html-code of the pages, but also other file types: doc, zip, avi, jpg, pdf, css. A complex of html-codes of all page elements allows you to restore the site in its original form (on a specific indexing date when web archive spider visited the site’s pages).

So, archive is located at http://web.archive.org/. Let’s touch on web archive possibilities on the example of a well-known website as WhatsApp.

Enter website domain on the main page in the search field. In our case it will be whatsapp.com.

After entering website link, we see the calendar of saving html code of the page. On this calendar, we see notes in different colors on the save dates:

Blues means server valid code 200 response (no errors from the server);

Red (may be yellow or orange, depending on the browser and PC operating system) means 404 or 403 error, something that is not interesting when restoring;

Green stands for pages redirect (301 and 302).

Calendar colors do not give a 100% guarantee of compliance: on the blue date there can a redirect as well (not at the header level, but, for example, in the html code of the page itself: in the refresh meta tags (screen refresh tags) or in JavaScript).

Let’s go to 2009, when this website indexing (saving) started.

We see the version dated January 24, and then we open it in a new tab (in case of errors during operation, it is better to open the web archive tool in incognito mode or in another browser).

So, we see the 2009 version of the WhatsApp page. In the page url we see the numbers called timestamp, i.e. year, month, day, hour, minute, second, when this url was saved. Timestamp format (YYYYMMDDhhmmss).

Timestamp is not the time website copy saving, not the time of page saving, but this is the time of specific file saving. This is important to know when restoring content from a web archive. All website elements as pictures, styles, scripts, html code and so on have their own timestamp, that is, archiving date.

In order to return from website page to the calendar, click on the link with captures number (page captures).

Summary tool

Select Summary tool on web archive main page. These are graphs and charts for website saving. All graphs and tables can be viewed by year.

The most useful information on this page is New URLs column sum. This amount shows us the number of unique files contained in web archive.

Due to the reason that web archive itself could index the page with or without www, this number may be approximate. It means that the same page and its elements can be located at different addresses.

Explore tool

It uploads into the table all the url that were previously indexed by the web archive spider.

Here you can find:

1. MIME element type;
2. Initial date of element indexing;
3. The last date when element was saved;
4. Total number of element captures (savings);
5. Number of duplicates;
6. Number of unique content savings by url.

You can specify any part of the element you are looking for in a filter field: in order to search for website content that is difficult to detect among large number of links.

You can enter part of the path, for example, the path to the folder (required with an asterisk), you can see all the url for the given path (all files from the page or folder) to analyze the indexing of this content.

Site Map tool

Click on the appropriate Site Map link on the website main page.

This is a doughnut chart with a separation by year to analyze the elements saved by web archive (which pages) in the context from the main url to the url of the second and n-th level. This tool allows you to determine the year when web archive stopped saving website new content or certain url copies (any response code, except for 200 code).

In the middle of the main page and then along the path structure in the second or third stage, we see website internal pages. There are no other kinds of files, only url saved. It means that we can understand where the archive was able or not to index pages.

2–5. Website pages nesting levels

In addition, by using this tool we can see the internal pages by structure and open them separately in a new tab.

Thus, having selected links to pages and elements with the required date of saving in web archive and having built the structure we need, we can proceed to the next step ― preparing the domain for restoring. But we will talk about this in the next part.

Как скачать сайт из web.archive.org?

Я скачивал используя гем wayback-machine-downloader — у него можно выбрать версию снепшота и другие параметры, в целом, больше и не нужно.

• Facebook
• Вконтакте
• Twitter

Не понимаю, куда сайт то скачивается!? Везед файлы ri

Судя по всему, вы уже установили gem, выполнив «gem install wayback_machine_downloader» в командной строке.