Мы хотели бы хранить миллионы текстовых файлов в файловой системе Linux, чтобы иметь возможность архивировать и обслуживать произвольную коллекцию в качестве службы. Мы пробовали другие решения, такие как база данных ключ / значение, но наши требования к параллелизму и параллелизму делают...
Я выполняю некоторые тяжелые процессы ввода-вывода на своей рабочей станции и недавно установлен iotopдля их мониторинга. Вот недавний скриншот: Я немного запутался по поводу показаний в IO>колонке. Это указывает на то, что на моем диске около 1500% активности ввода / вывода. Это вообще...
Иногда что-то в моей системе начинает забивать диск. Я хотел бы регистрировать данные, которые позволили бы мне знать об использовании ввода / вывода для процесса, а затем я мог бы вернуться к нему позже и посмотреть, что продолжает делать это. Как мне решить эту проблему? Бонусные баллы за решение...
Кажется, findчто в любом случае придется проверить, соответствует ли данный путь файлу или каталогу, чтобы рекурсивно просмотреть содержимое каталогов. Вот некоторая мотивация и то, что я сделал на местном уровне, чтобы убедить себя, что на find . -type fсамом деле медленнее, чем find .. Я еще не...
Мне нужно дедуплицировать большой список слов. Я попробовал несколько команд и провел некоторое исследование здесь и здесь, где они объясняют, что самый быстрый способ дедупликации списка слов, кажется, использует awk. awk -> O (n)? сортировать -> O (n log n)? Однако я обнаружил, что это,...
Я запускаю тысячи фоновых процессов curl параллельно в следующем скрипте bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done У меня 49Gb Corei7-920 выделенный сервер (не...
Когда я запускаю команду TOP, процесс показывает 1208% использования процессора, а общее время загрузки процессора составляет 81,7% при включенном режиме IRIX. Когда я переключаюсь в режим IRIX, процесс показывает 99% использования процессора, а общее время процессора пользователя составляет 43%....
Я заметил, что когда я пишу тяжелые приложения, вся система тормозит. Чтобы проверить это дальше, я запустил это для выполнения (относительно) низкой загрузки процессора, высокой активности диска: john -incremental > file_on_SSD Это выкачивает десятки тысяч строк в секунду в файл на моем...
Мои системы Debian Wheezy используют deadlineпланировщик. Я привык использовать ioniceперепланирование приоритета ввода / вывода для работ с большим количеством дисков в загруженное время, и, по-видимому, это помогает (но у меня нет никаких веских доказательств). Страница ioniceруководства ,...
У меня установлены две двухъядерные системы Linux с использованием Linux cgroups с относительно недавними ядрами; один работает под Debian Squeeze, другой - Ubuntu 11.04 Natty Narwhal. Я получил балансировку нагрузки процессора с помощью cgroups, работающей немного лучше в системе Debian, несмотря...
Страница руководства говорит о barrierопции для ext4: Барьеры записи обеспечивают правильное упорядочение записей в журнале на диске, делая безопасными использование кэшей записи на диск при некотором снижении производительности. Если ваши диски так или иначе питаются от батареи , отключение...
У меня есть каталог с около 26 000 файлов, и мне нужно grep во всех этих файлах. Проблема в том, что мне это нужно как можно быстрее, поэтому не идеально делать скрипт, в котором grep будет брать имя одного файла из команды поиска и записывать совпадения в файл. Прежде чем "список аргументов...
Например, bzipесть pbzip , параллельная версия bzip. Есть ли такие инструменты распараллеливания для sortповышения
Похоже, я установил logcheck как задание cron, и всякий раз, когда он запускается grep, logcheckзанимает около ¼ моего процессора. Теперь у меня есть определенное время, в течение которого мне нужна полная загрузка процессора, и чтобы моя система занимала как можно меньше ресурсов, за исключением...
В моей локальной сети есть компьютер Debian, служащий резервным сервером для остальных. Он имеет четыре жестких диска, объединенных в программный RAID 5 md, на этом LVM и на этом btrfs. Резервное копирование выполняется с помощью rsync, а для большой файловой системы требуется более часа. Долгое...
В поисках того, что можно отслеживать perf_eventsв Linux, я не могу найти то Kernel PMU event, что есть? А именно, с perf version 3.13.11-ckt39теми perf listшоу событий , как: branch-instructions OR cpu/branch-instructions/ [Kernel PMU event] Всего есть: Tracepoint event Software event Hardware...
Могучий straceподвел меня. Как это возможно? time fooпоказывает, что fooдля запуска требуется несколько секунд («реальный»), но используется незначительное время процессора, как в пользовательском пространстве («пользователь»), так и в ядре («sys»). Для любопытных fooопределяется ниже. Поэтому он...
Раньше в cgroups была опция конфигурации ядра, называемая sched_user или аналогичная. Это позволило (насколько мне известно) всем пользователям справедливо делиться системными ресурсами. В 2.6.35 он недоступен. Есть ли способ настроить мою систему для автоматического распределения ресурсов io / cpu...
Параметр swappiness контролирует стремление ядра перемещать процессы из физической памяти на диск подкачки. Что такое настройка по умолчанию и как ее настроить для улучшения общей производительности...
У меня проблемы с производительностью сети на сервере Linux под управлением Ubuntu 9.10. Скорость передачи для всех типов трафика составляет около 1,5 МБ / с при проводном соединении Ethernet со скоростью 1000 Мбит / с. Этот сервер достиг 55 МБ / с по сравнению с Samba в недавнем прошлом. Я не...