Скажем , у меня есть огромный текстовый файл (> 2 Гб) , и я просто хочу catлинии Xк Y(например , 57890000 на 57890010). Из того, что я понимаю, я могу сделать это, подключившись headк сети tailили наоборот, т.е. head -A /path/to/file | tail -B или альтернативно tail -C /path/to/file | head -D...
Огромный (до 2 ГиБ) мой текстовый файл содержит около 100 точных дубликатов каждой строки в нем (в моем случае это бесполезно, поскольку файл представляет собой таблицу данных, похожую на CSV). Что мне нужно, так это удалить все повторения, при этом (желательно, но этим можно пожертвовать ради...
У меня есть огромный (70 ГБ), одна строка , текстовый файл, и я хочу заменить строку (токен) в нем. Я хочу заменить токен <unk>другим фиктивным токеном ( проблема с перчатками ). Я пробовал sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new но выходной файл...
У меня довольно большой файл (35 ГБ), и я хотел бы отфильтровать этот файл на месте (т. Е. У меня недостаточно места на диске для другого файла), в частности, я хочу grep и игнорировать некоторые шаблоны - есть ли способ сделать это без использования другого файла? Допустим, я хочу отфильтровать...
У меня есть два больших файла (6 ГБ каждый). Они не отсортированы, с переводами строки ( \n) в качестве разделителей. Как я могу их различить? Это должно занять до 24...
Я попробовал это с SCP, но там написано "Отрицательный размер файла". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Также пытался использовать SFTP, работал нормально, пока 2 ГБ файла не были переданы, затем остановился: sftp> put matlab.iso Uploading matlab.iso to...
У меня есть текстовый файл 25 ГБ, который нуждается в замене строки только на несколько строк. Я могу sedуспешно использовать, но это занимает очень много времени для запуска. sed -i 's|old text|new text|g' gigantic_file.sql Есть ли более быстрый способ сделать...
У меня есть каталог с около 100000 небольших файлов (каждый файл из 1-3 строк, каждый файл является текстовым файлом). По размеру каталог не очень большой (<2 ГБ). Эти данные хранятся на профессионально управляемом сервере NFS. Сервер работает под управлением Linux. Я думаю, что файловая система...
У меня есть ext4раздел на 900 ГБ на (магнитном) жестком диске, который не имеет дефектов и поврежденных секторов. Раздел полностью пустой, за исключением пустой lost+foundдиректории. Раздел был отформатирован с использованием параметров по умолчанию, за исключением того, что я установил количество...
У меня есть несколько файлов размером> 1 ГБ каждый. Мне нужно удалить последние несколько байтов из файлов. Как мне это сделать? Я предпочитаю редактировать файл на месте, чтобы сэкономить место на диске. Я нахожусь на...
Полезно ли использовать флаг -T largefile при создании файловой системы для раздела с большими файлами, такими как видео и аудио в формате flac? Я протестировал один и тот же раздел с этим флагом и без него, и, используя tune2fs -l [partition] , я проверил в разделе «Функции файловой системы», в...
В том же духе, что и этот другой вопрос: cat line X - строка Y на огромном файле : Есть ли способ открыть из Emacs (и показать в буфере) заданный набор строк (например, все строки между строкой Xи Y) из огромного текстового файла? Например, открыть и показать в буфере все строки между строками...
У меня есть текстовый файл 250 МБ, все в одной строке. В этом файле я хочу заменить aсимволы на bсимволы: sed -e "s/a/b/g" < one-line-250-mb.txt Это терпит неудачу с: sed: couldn't re-allocate memory Мне кажется, что такого рода задачи могут быть выполнены в линию без выделения большого...
Мне нужно просмотреть большое (50000x40000 px) изображение PNG в Linux. К сожалению, большинство инструментов (eog, convert и т. Д.) Либо аварийно завершают работу, либо отказывают, отмечая слишком мало памяти. Есть ли способ просмотреть это изображение (я бы предпочел видеть как измененное...
У меня есть ~ 30 тыс. Файлов. Каждый файл содержит ~ 100 тыс. Строк. Строка не содержит пробелов. Строки в отдельном файле сортируются и дублируются бесплатно. Моя цель: я хочу , чтобы найти все все повторяющиеся строки через два или более файлов , а также имена файлов, содержащие дублированные...
У меня есть около 2 миллионов (60 ГБ) сжатых небольших файлов, и я хотел бы создать сжатый архив, содержащий все из них в несжатой версии. К сожалению, я не могу просто распаковать их все, а затем создать сжатый архив, так как у меня всего около 70 ГБ свободного дискового пространства. Другими...