Rsync показать прогресс для отдельного файла

21

Я использую rsync для загрузки / скачивания довольно большого файла (20 Гб). Мне известна опция --progress, но в моем случае она просто показывает результат в конце.

Моя проблема в том, что во время какого-то нестабильного соединения - я не знаю, идет ли загрузка или выгрузка или что-то пошло не так. Есть ли способ показать индикатор выполнения для отдельного файла? Что-то похожее на то, что делает wget по умолчанию?

Благодарность!

linux rsync file-transfer files Лосось
источник
4
Я использую rsync более 10 лет и не могу поверить, что никогда не задавал этот вопрос.
SLM

Ответы:

17

Это может быть то, что вы после. 

% rsync -avvz --times --stats --checksum --human-readable --acls \
    --itemize-changes --progress \
    --out-format='[%t] [%i] (Last Modified: %M) (bytes: %-10l) %-100n' \
    /usr/include/glib-2.0 my-glib-copy/

Выключатели разбиты следующим образом:

  • -avvz = архив, подробный x 2, сжатие
  • --times = сохранить время модификации
  • --stats = дать некоторую статистику передачи файлов
  • --checksum = пропустить на основе контрольной суммы, а не мод-времени и размера
  • --human-readable = вывод чисел в удобочитаемом формате
  • --acls = сохранить ACL (подразумевает -p)
  • --itemize-changes = выводить сводку изменений для всех обновлений
  • --progress = показать прогресс во время передачи
  • --out-format = '[% t] [% i] (Последнее изменение:% M) (байты:% -10l)% -100n'
    • % t = текущая дата и время
    • % i = подробный список того, что обновляется
    • % M = время последнего изменения файла
    • % -10l = длина файла в байтах (-10 для выравнивания и точности)
    • % -100n = имя файла (краткая форма; завершающий "/" в директории) (-100 для выравнивания и точности)

Примечание: обратитесь к страницам для rsyncи rsyncd.confдля более подробной информации об указанных выше переключателях.

Приведенная выше команда создает следующую расшифровку:

sending incremental file list
delta-transmission disabled for local transfer or --whole-file
[2012/12/23 21:34:46] [cd+++++++++] (Last Modified: 2010/12/19-08:13:31) (bytes: 4096      ) glib-2.0/
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:30) (bytes: 1511      ) glib-2.0/glib-object.h
       1.51K 100%    0.00kB/s    0:00:00
       1.51K 100%    0.00kB/s    0:00:00 (xfer#1, to-check=181/183)
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:30) (bytes: 2910      ) glib-2.0/glib.h
       2.91K 100%    2.78MB/s    0:00:00
       2.91K 100%    2.78MB/s    0:00:00 (xfer#2, to-check=180/183)
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:31) (bytes: 3613      ) glib-2.0/gmodule.h
       3.61K 100%    3.45MB/s    0:00:00
       3.61K 100%    3.45MB/s    0:00:00 (xfer#3, to-check=179/183)
...
...
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:31) (bytes: 8431      ) glib-2.0/gobject/gvaluecollector.h
       8.43K 100%  141.96kB/s    0:00:00
       8.43K 100%  141.96kB/s    0:00:00 (xfer#178, to-check=1/183)
[2012/12/23 21:34:46] [>f+++++++++] (Last Modified: 2010/09/30-15:02:31) (bytes: 8507      ) glib-2.0/gobject/gvaluetypes.h
       8.51K 100%  143.23kB/s    0:00:00
       8.51K 100%  143.23kB/s    0:00:00 (xfer#179, to-check=0/183)
total: matches=0  hash_hits=0  false_alarms=0 data=1305506

rsync[2996] (sender) heap statistics:
  arena:         540672   (bytes from sbrk)
  ordblks:            3   (chunks not in use)
  smblks:             7
  hblks:              2   (chunks from mmap)
  hblkhd:        401408   (bytes from mmap)
  allmem:        942080   (bytes from sbrk + mmap)
  usmblks:            0
  fsmblks:          592
  uordblks:      404784   (bytes used)
  fordblks:      135888   (bytes free)
  keepcost:      134240   (bytes in releasable chunk)

rsync[2999] (server receiver) heap statistics:
  arena:         286720   (bytes from sbrk)
  ordblks:            2   (chunks not in use)
  smblks:             8
  hblks:              3   (chunks from mmap)
  hblkhd:        667648   (bytes from mmap)
  allmem:        954368   (bytes from sbrk + mmap)
  usmblks:            0
  fsmblks:          672
  uordblks:      174480   (bytes used)
  fordblks:      112240   (bytes free)
  keepcost:      102352   (bytes in releasable chunk)

rsync[2998] (server generator) heap statistics:
  arena:         233472   (bytes from sbrk)
  ordblks:            4   (chunks not in use)
  smblks:             6
  hblks:              2   (chunks from mmap)
  hblkhd:        401408   (bytes from mmap)
  allmem:        634880   (bytes from sbrk + mmap)
  usmblks:            0
  fsmblks:          448
  uordblks:       83152   (bytes used)
  fordblks:      150320   (bytes free)
  keepcost:      131120   (bytes in releasable chunk)

Number of files: 183
Number of files transferred: 179
Total file size: 1.31M bytes
Total transferred file size: 1.31M bytes
Literal data: 1.31M bytes
Matched data: 0 bytes
File list size: 6.30K
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 350.39K
Total bytes received: 3.43K

sent 350.39K bytes  received 3.43K bytes  707.64K bytes/sec
total size is 1.31M  speedup is 3.69

Прогресс-бар в новых версиях rsync?

Я сталкивался с этим вопросом SF:

В одном из ответов упоминается, что в более новых версиях rsyncтеперь есть поддержка индикатора выполнения. Это выглядит так:

% ./rsync -a --info=progress2 /usr .
    305,002,533  80%   65.69MB/s    0:00:01  xfr#1653, ir-chk=1593/3594)

Этот индикатор выполнения по-прежнему не показывает состояние отдельных файлов при передаче, но он показывает процентную долю от общего объема передачи, что может быть полезно.

ОДС
источник
1
Спасибо за ответ. Это все еще не совсем то, что я ищу. Что мне действительно нужно, так это когда вы загружаете отдельный файл (скажем, glib-2.0 / glib-object.h) - он показывает мне индикатор выполнения только для этого файла. Представьте, что glib-2.0 / glib-object.h равен 20 ГБ. Как бы вы узнали, если он все еще загружается и сколько времени осталось?
лосось
6

rsync -vP работает для меня.

Со страницы руководства : "-P то же, что --partial --progress"

Прадйумна
источник
1

Вы используете rsync в режиме демона? Поведение rsync по умолчанию (в Debian 6) соответствует вашему запросу. Тем не менее, я нашел на странице man для rsyncd.conf, что поведение по умолчанию в режиме демона:

протоколирование передачи
Этот параметр позволяет регистрировать загрузки и выгрузки для каждого файла в формате, несколько похожем на тот, который используется демонами ftp. Демон всегда регистрирует передачу в конце, поэтому, если передача прервана, в файле журнала не будет упоминания.
Если вы хотите настроить строки журнала, см. Параметр «log format».

Так что если вы используете rsync в режиме демона, похоже, вам нужно добавить строку «logging» в rsyncd.conf.

jkim
источник
Нет, я не нахожусь в режиме deamon, и я не вижу индикатор выполнения для каждого файла, только сводка для всего процесса
Salmon