Windows Server 2012 R2 с дедупликацией от 356 до 1,32 ГБ

13

Я экспериментирую с дедупликацией в пространстве хранения Server 2012 R2. Я позволил ему запустить первую оптимизацию дедупликации прошлой ночью, и я был рад видеть, что он потребовал сокращения в 340 ГБ.

введите описание изображения здесь

Однако я знал, что это слишком хорошо, чтобы быть правдой. На этом диске 100% дедупликации происходило из резервных копий SQL Server:

введите описание изображения здесь

Это кажется нереальным, если учесть, что в папке есть резервные копии, размер которых в 20 раз больше. В качестве примера:

введите описание изображения здесь

Он считает, что резервный файл размером 13,3 ГБ был преобразован в 0 байт. И, конечно, этот файл на самом деле не работает, когда я сделал его тестовое восстановление.

Чтобы еще больше оскорбить травму, на этом диске есть еще одна папка, в которой содержится почти ТБ данных, которая должна была бы много дедуплицировать, но ее нет.

Работает ли дедупликация Server 2012 R2?

Марк Хендерсон
источник
5
Я собираюсь вспомнить это. «Конечно, я не удалил ваши данные, потому что вы меня разозлили. Я перевел их на 0 байтов, вот и все».
HopelessN00b
Возможно ли, что это делает дедупликацию, предполагая, что данные относительно одинаковы от одной ночи к следующей. То есть, если у вас есть первая и последняя резервные копии, единственное, что каждую ночь будет снимок различий, как VSS. Теоретически, возможно сделать возможным дедупликацию до 0, учитывая, что первой и последней копий может быть достаточно для восстановления файла в середине. Но поскольку восстановление не удалось, я буду ждать, чтобы увидеть, что вы придумали в качестве объяснения. Но ваш тест не обещает ..
MikeAWood
@MikeAWood он также дублировал совершенно разные резервные копии базы данных до 0 байт, что, безусловно, неправильно. Одна из вещей, для которых я хотел дедупликации, это, как вы указали, 90% резервных копий от ночи к ночи одинаковы.
Марк Хендерсон
@MarkHenderson, если вы устанавливаете новый диск и копируете на него все, тогда он работает? Просто лениво гадать. Может быть, это похоже на DFS, где процесс просмотра исходных данных должен быть выполнен, или он не будет работать правильно. Ваши результаты странные, без вопросов. Надеюсь, вы поймете, мне любопытно узнать, что случилось ..
MikeAWood
@MikeAWood - я этого не пробовал. С тех пор я уничтожил этот диск и заново создал его с другими настройками дедупликации, так что я посмотрю, что произойдет сегодня вечером, когда будет запущен другой дамп
Марк Хендерсон

Ответы:

5

Дедупликация работает.

При дедупликации поле Размер на диске становится бессмысленным. Файлы больше не являются обычными «файлами», а точками повторной обработки и содержат не фактические данные, а метаданные для механизма дедупликации для восстановления файла. Насколько я понимаю, вы не можете получить экономию на файл, так как хранилище дедупликации чанков приходится на том, поэтому вы получаете экономию только на том. http://msdn.microsoft.com/en-us/library/hh769303(v=vs.85).aspx

Возможно, ваша дедупликация еще не завершена, если некоторые другие данные еще не дедуплированы. Он не сверхбыстрый, по умолчанию ограничен во времени и может быть ограничен в зависимости от вашего оборудования. Проверьте расписание дедупликации из диспетчера сервера.

Я развернул дедупликацию в нескольких системах (Windows 2012 R2) в разных сценариях (SCCM DP, разные системы развертывания, общие файловые серверы, файловые серверы домашних папок пользователей и т. Д.) Уже около года. Просто убедитесь, что вы полностью исправлены, я помню несколько исправлений для дедупликации функциональности (как накопительных обновлений, так и исправлений) начиная с RTM.

Однако есть некоторые проблемы, связанные с тем, что некоторые системы не могут читать данные напрямую из оптимизированных файлов в локальной системе (IIS, SCCM в некоторых сценариях). В соответствии с рекомендациями yagmoth555, вы должны либо попробовать Expand-DedupFile, чтобы неоптимизировать его, либо просто сделать копию файла (целевой файл не будет оптимизирован до следующего запуска оптимизации) и повторить попытку. http://blogs.technet.com/b/configmgrteam/archive/2014/02/18/configuration-manager-distribution-points-and-windows-server-2012-data-deduplication.aspx https: //kickthatcomputer.wordpress .com / 2013/12/22 / не ввод-файла не указано-Windows-сервер-2012-дедупликации-на-МИС-с-PHP /

Если ваша резервная копия SQL действительно повреждена, я считаю, что это связано с другой проблемой, а не с технологией дедупликации.

Дон зоомик
источник
Спасибо за ответ. Ваш ответ отражает мои собственные выводы. У меня были некоторые недоразумения по поводу дедупликации, и моя методология тестирования была ошибочной.
Марк Хендерсон
@ Расскажите что-нибудь о своих недоразумениях и методологии тестирования, которыми вы могли бы поделиться ...? Возможно в сообщении в блоге? Было бы интересно узнать, так как я не могу вспомнить, где вы (и, следовательно, я) могли ошибаться. РЕДАКТИРОВАТЬ: я уже видел ваш ответ ... но сообщение в блоге было бы хорошо читать, если у вас есть.
Эшли
1
@AshleySteel Я больше не веду блог. Раньше когда-то давно. В основном все сводилось к тому, что я не понимал, как работает дедупликация в Windows Server ...
Марк Хендерсон
2

Похоже, я прыгнул, сказав, что такого рода дедупликация невозможна. По-видимому, это вполне возможно, потому что в дополнение к этим несжатым резервным копиям SQL Server у меня также есть резервные копии VMWare на уровне снимков виртуальных машин.

Как предположил yagmoth555, я запустил Expand-DedupeFileнекоторые из этих 0-байтовых файлов и в конце получил полностью пригодный для использования файл.

Затем я посмотрел на мою методологию тестирования, чтобы определить, что файлы не годятся, и обнаружил недостаток в своих тестах (разрешения!).

Я также открыл 0-байтовый файл резервной копии с дедупликацией в шестнадцатеричном редакторе, и все выглядело нормально.

Поэтому я скорректировал свою методологию тестирования, и все, похоже, действительно работает. Когда я вышел из этого процесса, дедупликации действительно улучшились, и теперь я сэкономил более 1,5 ТБ пространства благодаря дедупликации.

Я собираюсь протестировать это более тщательно, прежде чем начать разработку, но сейчас это выглядит многообещающе.

Марк Хендерсон
источник
0

Да, но я видел только случай гиперв кластера ddupded. 4Тб до 400г, и ВМ работала. ОС была полностью исправлена.

Для вашего файла резервной копии sql это дамп, который вы можете прочитать в нем? Я бы проверил содержание. Для этой части я не могу ответить, как он дедуплицирует ascii файл.

yagmoth555
источник
Это двоичные файлы, но, как я уже говорил, все, что в них есть, полностью повреждено. На самом деле я не проверял содержимое в шестнадцатеричном редакторе, и с тех пор я обстрелял этот диск и воссоздал его с другими параметрами дедупликации, чтобы посмотреть, что произойдет сегодня вечером.
Марк Хендерсон
1
@MarkHenderson Это может быть повреждение фрагмента в метаданных дедупликации, так как размер был равен 0. Цитируется; «Дедупликация повышает влияние повреждения отдельного чанка, поскольку на популярный чанк может ссылаться большое количество файлов. Представьте, что чанк, на который ссылаются 1000 файлов, теряется из-за ошибки сектора; вы сразу же понесете потерю 1000 файлов. " Cmd Expand-DedupFile исключит, если это плохой .bak или повреждение
дедупликации