Какая польза от записи во временное местоположение, а затем копирования его в место назначения?

Я пишу приложение, которое работает со спутниковыми изображениями, и мой начальник попросил меня взглянуть на некоторые из коммерческих приложений и посмотреть, как они ведут себя. Я обнаружил странное поведение, а затем, когда я искал, я нашел его и в других стандартных приложениях.

Эти программы сначала записывают в временную папку, а затем копируют ее в место назначения.

Пример: 7zip сначала извлекает во временную папку, а затем копирует извлеченные данные в место, в которое вы просили его извлечь данные.

Я вижу несколько проблем с этим подходом:

1. Временная папка может не иметь достаточно места, в то время как в предполагаемом месте может быть столько места.

2. Если это большой файл, для операции копирования может потребоваться немалое количество времени.

Я много думал об этом, но не увидел ни одного положительного момента в этом. Я что-то упустил или есть реальная выгода для этого?

Несколько причин, которые я могу придумать:

• На большинстве платформ перемещение файлов является атомарным, а запись файлов - нет (особенно если вы не можете записать все данные за один раз). Таким образом, если у вас есть типичный шаблон «производитель / потребитель» (один процесс создает файлы, другой просматривает каталог и берет все, что он находит), сначала записывает во временную папку и только затем перемещается в реальное местоположение, что означает, что потребитель никогда не увидит незаконченный файл.
• Если процесс, который записывает файл, умирает на полпути, у вас есть поврежденный файл на вашем диске. Если он находится в реальном месте, вы должны позаботиться о его очистке самостоятельно, но если он находится во временном местоположении, ОС позаботится об этом.
• Если файл создается во время выполнения задания резервного копирования, задание может выбрать неполный файл; временные каталоги, как правило, исключаются из резервных копий, поэтому файл будет включен только после перемещения в конечный пункт назначения.
• Временный каталог может находиться в быстрой, но нестабильной файловой системе (например, виртуальном диске), что может быть полезно для таких вещей, как параллельная загрузка нескольких фрагментов одного и того же файла или выполнение обработки файла на месте с большим количеством операций поиска. Кроме того, временные каталоги имеют тенденцию вызывать большую фрагментацию, чем каталоги с менее частым чтением, записью и удалением, а сохранение временного каталога в отдельном разделе может помочь предотвратить фрагментацию других разделов.

TL; DR - в основном сводится к атомарности, то есть вы хотите сделать так, чтобы (в конечном месте) файл был либо завершен, либо отсутствовал вообще в любой момент времени.

Это кажется проблемой в Windows, более конкретно связанной с управлением перетаскиванием.

Разработчики клиента WINSCP разработали свое собственное расширение оболочки, которое отменяет это поведение перетаскивания и позволяет сразу же перенести файл в нужную папку. Они объясняют хитрость в своей документации и, что более интересно, в чем проблема и как они ее решили.

Вот интересная часть:

Механизм перетаскивания в Windows не позволяет исходному приложению операции перетаскивания легко определить, куда удаляются файлы. Это целевое приложение (обычно Windows Explorer) для передачи файлов в место назначения. Это довольно разумно, поскольку исходное приложение вряд ли может передавать файлы по всем возможным направлениям. Помните, что вы можете помещать файлы не только в каталог, но даже в ZIP-файл (или любой другой архив), в удаленный каталог (через FTP, SFTP, SCP,…), в корзину,…

Очевидно, что даже Windows Explorer (или любое другое целевое приложение, например WinZip) не может загружать файлы из любого возможного источника (в частности, он не знает SFTP / SCP).

Кроме того, специально для 7Zip: пользователь ray023 отвечает на этот вопрос в стэке SuperUser Q & A: https://superuser.com/a/422463

По сути, если вместо перетаскивания файла вы используете метод извлечения здесь, доступный в bith 7-ZIP и Winrar, файлы будут непосредственно извлечены в нужный каталог.

Если вам необходимо выполнить какую-либо обработку данных в файле (декодировать / преобразовать / и т. Д.), То лучше использовать временный файл и, когда он будет завершен, и только если он завершен, передать результат в конечный пункт назначения.

Выгоды:

1. Только завершенные файлы достигают места назначения
2. Временный файл может (должен) находиться на быстром носителе
3. Избегайте фрагментации в конечном файле
4. Позволяет использовать другие носители в качестве конечного пункта назначения (ftp, облако, что угодно)
5. Прерванные временные файлы легче чистить

Я не вижу реальной выгоды от прямой записи в пункт назначения при обработке данных.