Восстановление потерянного сайта без резервной копии?

К сожалению, наш хостинг-провайдер потерял 100% данных, поэтому я потерял весь контент для двух размещенных веб-сайтов блогов:

• http://blog.stackoverflow.com
• http://www.codinghorror.com

(Да, да, я абсолютно должен был сделать полные резервные копии за пределами площадки. К сожалению, все мои резервные копии были на самом сервере. Так что сохраните лекцию; вы на 100% абсолютно правы, но это мне сейчас не поможет. Давайте сосредоточиться на вопросе здесь!)

Я начинаю медленный, болезненный процесс восстановления веб-сайта из кэша веб-сканера.

Существует несколько автоматизированных инструментов для восстановления веб-сайтов из кешей веб-пауков (Yahoo, Bing, Google и т. Д.), Таких как Warrick , но у меня были некоторые плохие результаты при использовании этого:

• Мой IP-адрес был быстро заблокирован из Google за его использование
• Я получаю много ошибок 500 и 503 и "жду 5 минут ..."
• В конечном итоге, я могу быстрее восстановить текстовое содержимое вручную

Мне повезло больше: я использовал список всех постов в блоге, щелкнул по кешу Google и сохранил каждый отдельный файл в формате HTML. Хотя есть много сообщений в блоге, есть не что много, и я полагаю , что я заслуживаю самобичевания за не имея лучшее стратегии резервного копирования. В любом случае, важно то, что мне посчастливилось получить текст сообщения в блоге таким образом, и я определенно могу вывести текст веб-страниц из интернет-кэша. Основываясь на том, что я сделал до сих пор, я уверен, что смогу восстановить весь потерянный текст поста в блоге и комментарии .

Однако изображения, которые идут с каждым сообщением в блоге, оказываются ... более сложными.

Какие-нибудь общие советы по восстановлению страниц веб-сайтов из интернет-кэшей и, в частности, мест для восстановления архивных изображений со страниц веб-сайтов ?

(И, опять же, пожалуйста, никаких резервных лекций. Вы полностью, полностью, совершенно правы! Но быть правым не решает мою непосредственную проблему ... Если у вас нет машины времени ...)

Вот мой дикий удар в темноте: настройте свой веб-сервер так, чтобы он возвращал 304 для каждого запроса изображения, затем скопируйте источник восстановления, разместив где-нибудь список URL-адресов и попросив подкаст для всех ваших читателей загрузить каждый URL-адрес и собрать любые изображения. которые загружаются из своих локальных кешей. (Это может сработать только после того, как вы восстановите сами HTML-страницы с <img ...>тэгами, что, по-видимому, подразумевается в вашем вопросе.)

Это в основном причудливый способ сказать: «Получите его из кеша браузера ваших читателей». У вас много читателей и слушателей подкастов, поэтому вы можете эффективно мобилизовать большое количество людей, которые, вероятно, недавно заходили на ваш веб-сайт. Но поиск и извлечение изображений из кэшей различных веб-браузеров вручную затруднен, и весь подход работает лучше всего, если он достаточно прост, чтобы многие попробовали его и добились успеха. Таким образом, подход 304. Все, что требуется от читателей, - это то, что они нажимают на серию ссылок и перетаскивают любые изображения, которые загружаются в их веб-браузер (или щелкают правой кнопкой мыши и сохраняют как, и т. Д.), А затем отправляют их по электронной почте или загружают на центральное расположение, которое вы создали, или что-то еще. Основным недостатком этого подхода является то, что кэши веб-браузера не уходят так далеко во времени. Но для того, чтобы спасти даже очень старое изображение, требуется всего лишь один читатель, который случайно загрузил пост 2006 года. С достаточно большой аудиторией все возможно.

Некоторые из нас следуют за вами с помощью программы чтения RSS и не очищают кеш. У меня есть посты в блоге, которые, похоже, относятся к 2006 году. Насколько я вижу, нет изображений, но они могут быть лучше, чем то, что вы делаете сейчас.

(1) Извлечь список имен файлов всех отсутствующих изображений из резервных копий HTML. Вы останетесь с чем-то вроде:

• оставать-puft-зефир-man.jpg
• Интернет-свойства-dialog.png
• Yahoo-страницу-small.png
• пароль-шоу-animated.gif
• tivo2.jpg
• майкл-Abrash-график-программа

(2) Выполните поиск изображений Google для этих имен файлов. Похоже, что многие из них были "отражены" другими блоггерами и созрели для того, чтобы их использовать, потому что у них одинаковое имя файла .

(3) Вы можете сделать это в автоматическом режиме, если это окажется успешным, скажем, для 10+ изображений.

Зайдя в поискsite:codinghorror.com картинок Google и введя его, вы сможете найти версии всех ваших изображений, которые вы найдете в виде уменьшенного изображения. Нет, это не обязательно помогает, но дает вам отправную точку для извлечения этих тысяч изображений.

Похоже, что Google хранит уменьшенное изображение в некоторых случаях:

Гугл слева, Бинг справа.

Жаль слышать о блогах. Не собираюсь читать лекции. Но я нашел то, что кажется твоими изображениями на Imageshack. Они действительно ваши или кто-то хранит их копии.

http://profile.imageshack.us/user/codinghorror

Кажется, у них 456 полноразмерных изображений. Это может быть лучшим выбором для восстановления всего. Может быть, они могут даже предоставить вам свалку.

Джефф, я написал кое-что для тебя здесь

Короче говоря, я предлагаю вам сделать следующее:

1. Сконфигурируйте веб-сервер так, чтобы он возвращал 304 для каждого запроса изображения. 304 означает, что файл не изменен, и это означает, что браузер будет извлекать файл из своего кэша, если он там присутствует. (кредит: этот ответ SuperUser )

2. На каждой странице сайта добавьте небольшой скрипт для захвата данных изображения и отправки их на сервер.

3. Сохраните данные изображения на сервере.

4. Вуаля!

Вы можете получить скрипты по данной ссылке.

Попробуйте этот запрос на Wayback Machine :

http://web.archive.org/web/*sa_re_im_/http://codinghorror.com/*

Это позволит вам получить все изображения с сайта codinghorror.com, заархивированные на сайте archive.org. Это возвращает 3878 изображений, некоторые из которых являются дубликатами. Это не будет полным, но хорошее начало, тем не менее.

Для остальных изображений вы можете использовать миниатюры из кэша поисковой системы, а затем выполнить обратный поиск, используя их по адресу http://www.tineye.com/ . Вы даете ему уменьшенное изображение, и он даст вам предварительный просмотр и указатель на близко совпадающие изображения, найденные в Интернете.

+1 по ddрекомендации, если (1) где-то доступен сырой диск; и (2) изображения были простыми файлами. Затем вы можете использовать криминалистический инструмент «вырезания данных», чтобы (например) извлечь все вероятные диапазоны, которые выглядят как JPG / PNGs / GIF. Я восстановил 95% + фотографий на iPhone, который был стерт таким образом.

Для этого можно использовать инструменты с открытым исходным кодом «foremost» и его преемника «скальпель»:

http://foremost.sourceforge.net/

http://www.digitalforensicssolutions.com/Scalpel/

К счастью, будущие поколения будут в порядке.

Ученые / лингвисты даже многое поняли из этого большого камня.

Если несколько фотографий отсутствуют, предоставьте это кому-нибудь, чтобы выяснить через пару тысяч лет.

Надеюсь, ты немного смеешься. :)

Вы также всегда можете попробовать archive.org. Используйте машину обратного хода. Я использовал это, чтобы восстановить изображения с моих сайтов.

Итак, в худшем случае, вы не можете ничего восстановить. Черт.

Попробуйте перехватить миниатюрные Google и передать их через TinEye , поисковую систему с обратным изображением. Надеемся, что он должен захватить любые дубликаты или rehosts, которые сделали люди.

Это длинный выстрел, но вы могли бы рассмотреть:

• Размещаем точный список картинок, которые вам не хватает
• краудсорсинг поискового процесса через интернет-кеш всех ваших читателей.

Например, посмотрите Nirsoft Mozilla Cache Viewer :

_{(источник: nirsoft.net )}

Он может быстро найти любую картинку «blog.stackoverflow.com», которую можно получить с помощью простой командной строки:

MozillaCacheView.exe -folder "C:\Documents and Settings\Administrator\Local Settings\Application Data\Mozilla\Firefox\Profiles\acf2c3u2.default\Cache" 
/copycache "http://blog.stackoverflow.com" "image" /CopyFilesFolder "c:\temp\blogso" /UseWebSiteDirStructure 0

Примечание: у них один и тот же проводник кеша для Chrome .

_{(источник: nirsoft.net )}

(У меня должно быть 15 дней фотографий blog.stackoverflow.com в нем)

И Internet Explorer , или Opera .

Затем обновите общедоступный список, чтобы отразить то, что читатели сообщают о нахождении в своем кэше.

В прошлом я использовал http://www.archive.org/ для поиска кэшированных изображений. Это своего рода хит или мисс, но это сработало для меня.
Кроме того, при попытке восстановить стоковые фотографии, которые я использовал на старом сайте, www.tineye.com отлично подходит, когда у меня есть только миниатюры и мне нужны полноразмерные изображения.

Я надеюсь, это поможет вам. Удачи.

Вероятно, это не самое простое и не полностью защищенное решение, но такие сервисы, как Evernote, обычно сохраняют как текст, так и изображения, когда они хранятся в приложении - возможно, некоторые полезные читатели, которые сохранили ваши статьи, могут сохранить изображения и отправить их вам ?

У меня был большой опыт работы с archive.org . Даже если вы не можете извлечь все свои записи в блоге с сайта, они сохраняют периодические снимки:

Таким образом, вы можете проверить каждую страницу и увидеть сообщения в блоге, которые вы сделали. С именами всех постов вы можете легко найти их в кеше Google, если в archive.org его нет. Архив пытается сохранить изображения, в кэше Google будут изображения, и я недавно не опустошил свой кэш, чтобы помочь вам с более свежими сообщениями в блоге :)

Вы пробовали свой собственный локальный кеш браузера? Довольно хороший шанс, что некоторые из более свежих вещей все еще там. http://lifehacker.com/385883/resurrect-images-from-my-web-browser-cache

(Или вы можете составить список всех отсутствующих изображений, и каждый может проверить свой кеш, чтобы увидеть, можем ли мы заполнить пробелы)

Предложение на будущее: я использую Windows Live Writer для ведения блогов, и он сохраняет локальные копии сообщений на моем компьютере, а также публикует их в блоге.

Около пяти лет назад раннее воплощение внешнего жесткого диска, на котором я хранил все свои цифровые фотографии, провалилось. Я сделал образ жесткого диска, используя ddи написал элементарный инструмент для восстановления всего, что было похоже на изображение JPEG. Получил большинство моих фотографий из этого.

Итак, вопрос в том, можете ли вы получить копию образа диска виртуальной машины, в котором хранятся образы?

Веб-архив кеширует изображения. Сейчас он под большой нагрузкой, с 2008 года все должно быть в порядке.

http://web.archive.org/web/20080618014552rn%5F2/www.codinghorror.com/blog/

Я предлагаю комбинацию archive.org и анонимайзера запросов типа [Tor] [2]. Я предлагаю использовать анонимайзер, так как каждый из ваших запросов будет иметь произвольный IP-адрес и местоположение, и таким образом вы сможете избежать блокировки банком archive.org (как это сделал Google) за необычно большое количество запросов.

Удачи, в этом блоге много драгоценностей.

Машина обратного пути будет иметь некоторые. Кеш Google и подобные кеши будут иметь некоторые.

Одна из самых эффективных вещей, которую вы сможете сделать, - отправить по электронной почте оригинальные плакаты с просьбой о помощи.

У меня действительно есть некоторые инфраструктурные рекомендации, потому что после этого все вычищено. Фундаментальная проблема на самом деле не в резервном копировании, а в отсутствии репликации сайта и отсутствии аудита. Если вы напишите мне по электронной почте в поле для личной почты, позже, когда вы снова встанете на ноги, я хотел бы обсудить этот вопрос с вами.

Если ваши изображения были сохранены во внешней службе, такой как Flickr или CDN (как упомянуто в одном из ваших подкастов), у вас все еще могут быть ресурсы изображений.

Некоторые изображения можно найти, выполнив поиск в Google Images и нажав «Найти похожие изображения» , возможно, есть копии на других сайтах.

archive.org иногда скрывает изображения. Получите каждый URL вручную (или напишите короткий скрипт) и запросите их для него следующим образом:

string.Format ("GET / * / {0}", nextUri)

Конечно, это будет довольно сложно для поиска.

Я мог бы иметь некоторые в моем кэше браузера. Если я это сделаю, я их где-нибудь устрою.

Если вы хотите попробовать очистить кеши пользователей, вы можете настроить сервер так, чтобы он отвечал 304 Not Modifiedна все запросы условного GET (If-Modified-Since или If-None-Match), которые браузеры используют для этого. повторно проверить их кэшированный материал.

Если ваши начальные заголовки кэширования для статического контента, такого как изображения, были довольно либеральными - позволяя кэшировать вещи в течение нескольких дней или месяцев - вы могли бы получать повторные запросы на некоторое время. Установите cookie для этих запросов и попросите этих пользователей запустить скрипт для своего кэша, чтобы извлечь изображения, которые у них еще есть.

Однако будьте осторожны: в тот момент, когда вы начнете размещать любой текстовый контент со встроенными ресурсами, которых еще нет, вы можете уничтожить эти кэшированные версии, когда ревалидаторы достигнут 404-х.

Вы можете использовать TinEye, чтобы найти дубликаты ваших изображений , выполнив поиск по миниатюрам в кэше Google . Это поможет только с изображениями, которые вы взяли с других сайтов.

Рискуя указывать на очевидное, попробуйте найти резервные копии вашего компьютера для изображений. Я знаю, что моя стратегия резервного копирования достаточно случайна, так что у меня есть несколько копий большого количества файлов на внешних дисках, записанных дисках и в файлах zip / tar. Удачи!

Мне удалось восстановить эти файлы из моего кэша Safari на Snow Leopard:

bad-code-offset-back.jpg
bad-code-offset-front.jpg
code-whitespace-invisible.png
code-whitespace-visible.png
coding-horror-official-logo-small.png
coding-horror-text.png
codinghorror-search-logo1.png
crucial-ssd-128gb-ct128m225.jpg
google-microformat-results-forum.png
google-microformat-results-review.png
kraken-cthulhu.jpg
mail.png
powered-by-crystaltech-web-hosting.png
ssd-vs-magnetic-graph.png

Если кто-то еще хочет попробовать, я написал скрипт на Python для извлечения их в ~ / codinghorror / filename, который я разместил здесь .

Надеюсь, это поможет.

Вы получили возможность проверить, есть ли у вашего хостинг-провайдера какая-либо резервная копия (некоторые старые версии)?

Сколько стоят эти данные для вас? Если это стоит значительную сумму (тысячи долларов), тогда попробуйте у вашего хостинг-провайдера указать жесткий диск, используемый для хранения данных для вашего сайта (в случае потери данных из-за аппаратного сбоя). Затем вы можете взять диск на трек или какую-либо другую службу восстановления данных, чтобы посмотреть, что вы можете снять с диска. Это может быть сложно договориться из-за вероятности того, что на диске могут быть обнаружены данные других людей, но если вы действительно заботитесь об этом, вы, вероятно, можете решить это.

Очень жаль это слышать, и я очень раздражен за вас, и за время - я хотел офлайн-копию нескольких ваших постов и сделал HTTrack на вашем сайте, но мне пришлось выйти (это было пару недель назад) и Я остановил это.

Если хост наполовину спускается - и я полагаю, что вы хороший клиент ... Я бы попросил их либо отправить вам жесткие диски (как я предполагаю, что они должны использовать RAID), либо выполнить какое-то восстановление самостоятельно.

Хотя это может и не быть быстрым процессом, я сделал это с одним хостом для клиента и смог восстановить целые базы данных без изменений (... в основном хост пытался обновить панель управления, которую они использовали, и испортил ее). но ничего не было перезаписано).

Что бы ни случилось - удачи всем вашим поклонникам на сайтах ТАК!