Вопросы с тегом «large-files»

132
cat line X в строку Y на огромном файле

Скажем , у меня есть огромный текстовый файл (> 2 Гб) , и я просто хочу catлинии Xк Y(например , 57890000 на 57890010). Из того, что я понимаю, я могу сделать это, подключившись headк сети tailили наоборот, т.е. head -A /path/to/file | tail -B или альтернативно tail -C /path/to/file | head -D...

126
Как удалить дубликаты строк внутри текстового файла?

Огромный (до 2 ГиБ) мой текстовый файл содержит около 100 точных дубликатов каждой строки в нем (в моем случае это бесполезно, поскольку файл представляет собой таблицу данных, похожую на CSV). Что мне нужно, так это удалить все повторения, при этом (желательно, но этим можно пожертвовать ради...

126
Заменить строку в огромном (70 ГБ), одной строке, текстовом файле

У меня есть огромный (70 ГБ), одна строка , текстовый файл, и я хочу заменить строку (токен) в нем. Я хочу заменить токен <unk>другим фиктивным токеном ( проблема с перчатками ). Я пробовал sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new но выходной файл...

54
Есть ли способ изменить файл на месте?

У меня довольно большой файл (35 ГБ), и я хотел бы отфильтровать этот файл на месте (т. Е. У меня недостаточно места на диске для другого файла), в частности, я хочу grep и игнорировать некоторые шаблоны - есть ли способ сделать это без использования другого файла? Допустим, я хочу отфильтровать...

27
Передача больших (8 ГБ) файлов по ssh

Я попробовал это с SCP, но там написано "Отрицательный размер файла". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Также пытался использовать SFTP, работал нормально, пока 2 ГБ файла не были переданы, затем остановился: sftp> put matlab.iso Uploading matlab.iso to...

25
Быстро заменить текст в очень большой файл

У меня есть текстовый файл 25 ГБ, который нуждается в замене строки только на несколько строк. Я могу sedуспешно использовать, но это занимает очень много времени для запуска. sed -i 's|old text|new text|g' gigantic_file.sql Есть ли более быстрый способ сделать...

19
Количество файлов в каталоге

У меня есть каталог с около 100000 небольших файлов (каждый файл из 1-3 строк, каждый файл является текстовым файлом). По размеру каталог не очень большой (<2 ГБ). Эти данные хранятся на профессионально управляемом сервере NFS. Сервер работает под управлением Linux. Я думаю, что файловая система...

19
Почему эти файлы в томе ext4 фрагментированы?

У меня есть ext4раздел на 900 ГБ на (магнитном) жестком диске, который не имеет дефектов и поврежденных секторов. Раздел полностью пустой, за исключением пустой lost+foundдиректории. Раздел был отформатирован с использованием параметров по умолчанию, за исключением того, что я установил количество...

18
Как я могу отредактировать большой файл на месте?

У меня есть несколько файлов размером> 1 ГБ каждый. Мне нужно удалить последние несколько байтов из файлов. Как мне это сделать? Я предпочитаю редактировать файл на месте, чтобы сэкономить место на диске. Я нахожусь на...

17
возможность создания больших файлов при создании файловой системы

Полезно ли использовать флаг -T largefile при создании файловой системы для раздела с большими файлами, такими как видео и аудио в формате flac? Я протестировал один и тот же раздел с этим флагом и без него, и, используя tune2fs -l [partition] , я проверил в разделе «Функции файловой системы», в...

10
Emacs: открыть буфер со всеми строками между строками от X до Y из огромного файла

В том же духе, что и этот другой вопрос: cat line X - строка Y на огромном файле : Есть ли способ открыть из Emacs (и показать в буфере) заданный набор строк (например, все строки между строкой Xи Y) из огромного текстового файла? Например, открыть и показать в буфере все строки между строками...

10
Основная команда sed для большого однострочного файла: не удалось перераспределить память

У меня есть текстовый файл 250 МБ, все в одной строке. В этом файле я хочу заменить aсимволы на bсимволы: sed -e "s/a/b/g" < one-line-250-mb.txt Это терпит неудачу с: sed: couldn't re-allocate memory Мне кажется, что такого рода задачи могут быть выполнены в линию без выделения большого...

9
Просмотр большого изображения в Linux

Мне нужно просмотреть большое (50000x40000 px) изображение PNG в Linux. К сожалению, большинство инструментов (eog, convert и т. Д.) Либо аварийно завершают работу, либо отказывают, отмечая слишком мало памяти. Есть ли способ просмотреть это изображение (я бы предпочел видеть как измененное...

9
Как найти повторяющиеся строки во многих больших файлах?

У меня есть ~ 30 тыс. Файлов. Каждый файл содержит ~ 100 тыс. Строк. Строка не содержит пробелов. Строки в отдельном файле сортируются и дублируются бесплатно. Моя цель: я хочу , чтобы найти все все повторяющиеся строки через два или более файлов , а также имена файлов, содержащие дублированные...

8
Как повторно сжать 2 миллиона файлов gzip, не сохраняя их дважды?

У меня есть около 2 миллионов (60 ГБ) сжатых небольших файлов, и я хотел бы создать сжатый архив, содержащий все из них в несжатой версии. К сожалению, я не могу просто распаковать их все, а затем создать сжатый архив, так как у меня всего около 70 ГБ свободного дискового пространства. Другими...