Масштабируемость sort -u для гигантских файлов

Каков разумный предел масштабируемости для 'sort -u'? (в измерениях «длина строки», «количество строк», «общий размер файла»?)

Что является альтернативой Unix для файлов, превышающих это в измерении «количества строк»? (Конечно, я могу легко реализовать один, но я задавался вопросом, можно ли что-то сделать с помощью нескольких стандартных команд Linux?)

То, sortчто вы найдете в Linux, происходит из пакета coreutils и реализует слияние с внешним R-Way . Он разбивает данные на куски, которые он может обрабатывать в памяти, сохраняет их на диске и затем объединяет. Куски выполняются параллельно, если на машине есть процессоры для этого.

Таким образом, если существует ограничение, это свободное дисковое пространство, которое sortможно использовать для хранения временных файлов, которые он должен объединить, в сочетании с результатом.

Я не могу говорить о конкретных реализациях поставщика, но UNIX sortреализация разбивает большие файлы на более мелкие, сортирует эти файлы и затем объединяет отсортированные меньшие файлы в агрегированный отсортированный вывод.

Единственным ограничением является дисковое пространство для меньших файлов, созданных промежуточным способом sort, но файлы могут быть перенаправлены в произвольный каталог, установив переменную среды TMPDIR.

На основании https://blog.mafr.de/2010/05/23/sorting-large-files/ и /unix//a/88704/9689 :

split -n l/20 input input-
for inpf in input-* ; do
    sort --parallel="$(nproc --all)" "${inpf}" > sorted-"{$inpf}"
done
sort -m sorted-input-* > sorted-input

Обновить:

Из ответов выше мы видим, что sortуже делает то, что упомянул фрагмент - т.е. слияние внешнего R-Way . Так ведь работает всего лишь:

sort --parallel="$(nproc --all)" -u input > output

Должно быть достаточно.

Мои текущие предположения (без проверки кода) об ограничениях:

• Максимальная длина строки ограничена объемом физической памяти. Сортировать нужно вписать как минимум две в память
• количество строк - я не в курсе
• размер файла - конечно, по файловой системе
• количество открытых файлов параллельно - в зависимости от операционной системы (спасибо Diomidis Spinellis за то, что указал на это!)

(Этот ответ помечен как вики сообщества - чувствую себя лучше, чтобы улучшить его! :))