Как вы очищаете буферы и кеш в системе Linux?

314

Прежде чем приступить к тестам, как освободить память (ОЗУ), которую ядро ​​Linux использует для своих буферов и кеша?

Обратите внимание, что это в основном полезно для бенчмаркинга. Очистка буферов и кеша снижает производительность! Если вы здесь, потому что вы думали, что освобождение буферов и кеша было положительным моментом, иди и читайте, что Linux съел мою память! , Короткая история: свободная память - неиспользованная память - потраченная впустую память.

linux kernel performance cache ram SLM
источник
1
Каков интерес к открытому двойному вопросу и ответу на себя? unix.stackexchange.com/questions/58553/… & unix.stackexchange.com/questions/17936/…
мир невинных
1
@ innocent-world - никогда не видел их, когда я искал, поэтому это была дыра в базе знаний на этом сайте, и он пытался ее заполнить.
slm
2
@ innocent-world - глядя на эти 2 вопроса, я думаю, что еще есть место для этих вопросов и ответов. Этот действует как канонический Q & A на сайте. Они довольно специфичны в том, к чему они обращаются. Кроме того, эта информация показывает информацию об анализе буферов и кэша, а также о том, как установить параметры с помощью sudo. Ни один из двух других вопросов не касается ни одного из этих вопросов.
SLM
Пожалуйста, прочитайте эту статью linuxatemyram.com Если вы понимаете риск, вы можете бесплатно & & sync && echo 3> / proc / sys / vm / drop_caches && free

Ответы:

490

Очистка буфера кеша

Если вы когда-нибудь захотите очистить его, вы можете использовать эту цепочку команд.

# free && sync && echo 3 > /proc/sys/vm/drop_caches && free

             total       used       free     shared    buffers     cached
Mem:       1018916     980832      38084          0      46924     355764
-/+ buffers/cache:     578144     440772
Swap:      2064376        128    2064248
             total       used       free     shared    buffers     cached
Mem:       1018916     685008     333908          0        224     108252
-/+ buffers/cache:     576532     442384
Swap:      2064376        128    2064248

Вы можете сообщить ядру Linux об удалении различных аспектов кэшированных элементов, изменив числовой аргумент на приведенную выше команду.

  • Чтобы освободить кеш страницы:

    # echo 1 > /proc/sys/vm/drop_caches

  • Чтобы освободить дентрии и иноды:

    # echo 2 > /proc/sys/vm/drop_caches

  • Чтобы освободить страничный кеш, дентри и иноды:

    # echo 3 > /proc/sys/vm/drop_caches

Вышеуказанное предназначено для запуска от имени пользователя root. Если вы пытаетесь использовать их, sudoвам нужно немного изменить синтаксис, например:

$ sudo sh -c 'echo 1 >/proc/sys/vm/drop_caches'
$ sudo sh -c 'echo 2 >/proc/sys/vm/drop_caches'
$ sudo sh -c 'echo 3 >/proc/sys/vm/drop_caches'

ПРИМЕЧАНИЕ: есть более эзотерическая версия вышеупомянутой команды, если вы в это:

$ echo "echo 1 > /proc/sys/vm/drop_caches" | sudo sh

Почему изменение синтаксиса? Из-за этого /bin/echoпрограмма работает как root, sudoно оболочка, которая перенаправляет вывод эха в файл только для root, все еще работает как вы. Ваша текущая оболочка выполняет перенаправление перед sudo запуском.

Видя, что в буферах и кеше

Посмотрите, linux-ftoolsхотите ли вы проанализировать содержимое буферов и кеша. В частности, если вы хотите увидеть, какие файлы в настоящее время кэшируются.

fincore

С помощью этого инструмента вы можете увидеть, какие файлы кэшируются в заданном каталоге.

fincore [options] files...

  --pages=false      Do not print pages
  --summarize        When comparing multiple files, print a summary report
  --only-cached      Only print stats for files that are actually in cache.

Например, /var/lib/mysql/blogindex:

root@xxxxxx:/var/lib/mysql/blogindex# fincore --pages=false --summarize --only-cached * 
stats for CLUSTER_LOG_2010_05_21.MYI: file size=93840384 , total pages=22910 , cached pages=1 , cached size=4096, cached perc=0.004365 
stats for CLUSTER_LOG_2010_05_22.MYI: file size=417792 , total pages=102 , cached pages=1 , cached size=4096, cached perc=0.980392 
stats for CLUSTER_LOG_2010_05_23.MYI: file size=826368 , total pages=201 , cached pages=1 , cached size=4096, cached perc=0.497512 
stats for CLUSTER_LOG_2010_05_24.MYI: file size=192512 , total pages=47 , cached pages=1 , cached size=4096, cached perc=2.127660 
stats for CLUSTER_LOG_2010_06_03.MYI: file size=345088 , total pages=84 , cached pages=43 , cached size=176128, cached perc=51.190476 
stats for CLUSTER_LOG_2010_06_04.MYD: file size=1478552 , total pages=360 , cached pages=97 , cached size=397312, cached perc=26.944444 
stats for CLUSTER_LOG_2010_06_04.MYI: file size=205824 , total pages=50 , cached pages=29 , cached size=118784, cached perc=58.000000 
stats for COMMENT_CONTENT_2010_06_03.MYI: file size=100051968 , total pages=24426 , cached pages=10253 , cached size=41996288, cached perc=41.975764 
stats for COMMENT_CONTENT_2010_06_04.MYD: file size=716369644 , total pages=174894 , cached pages=79821 , cached size=326946816, cached perc=45.639645 
stats for COMMENT_CONTENT_2010_06_04.MYI: file size=56832000 , total pages=13875 , cached pages=5365 , cached size=21975040, cached perc=38.666667 
stats for FEED_CONTENT_2010_06_03.MYI: file size=1001518080 , total pages=244511 , cached pages=98975 , cached size=405401600, cached perc=40.478751 
stats for FEED_CONTENT_2010_06_04.MYD: file size=9206385684 , total pages=2247652 , cached pages=1018661 , cached size=4172435456, cached perc=45.321117 
stats for FEED_CONTENT_2010_06_04.MYI: file size=638005248 , total pages=155763 , cached pages=52912 , cached size=216727552, cached perc=33.969556 
stats for FEED_CONTENT_2010_06_04.frm: file size=9840 , total pages=2 , cached pages=3 , cached size=12288, cached perc=150.000000 
stats for PERMALINK_CONTENT_2010_06_03.MYI: file size=1035290624 , total pages=252756 , cached pages=108563 , cached size=444674048, cached perc=42.951700 
stats for PERMALINK_CONTENT_2010_06_04.MYD: file size=55619712720 , total pages=13579031 , cached pages=6590322 , cached size=26993958912, cached perc=48.533080 
stats for PERMALINK_CONTENT_2010_06_04.MYI: file size=659397632 , total pages=160985 , cached pages=54304 , cached size=222429184, cached perc=33.732335 
stats for PERMALINK_CONTENT_2010_06_04.frm: file size=10156 , total pages=2 , cached pages=3 , cached size=12288, cached perc=150.000000 
---
total cached size: 32847278080

С помощью вышеприведенного вывода вы можете видеть, что в настоящее время кэшируются несколько файлов * .MYD, * .MYI и * .frm.

Поменять местами

Если вы хотите очистить свой своп, вы можете использовать следующие команды.

$ free
             total       used       free     shared    buffers     cached
Mem:       7987492    7298164     689328          0      30416     457936
-/+ buffers/cache:    6809812    1177680
Swap:      5963772     609452    5354320

Затем используйте эту команду для отключения swap:

$ swapoff -a

Вы можете подтвердить, что теперь он пуст:

$ free
             total       used       free     shared    buffers     cached
Mem:       7987492    7777912     209580          0      39332     489864
-/+ buffers/cache:    7248716     738776
Swap:            0          0          0

И чтобы снова включить его:

$ swapon -a

А теперь подтвердите free:

$ free
             total       used       free     shared    buffers     cached
Mem:       7987492    7785572     201920          0      41556     491508
-/+ buffers/cache:    7252508     734984
Swap:      5963772          0    5963772
SLM
источник
13
никогда не слышал о linux-ftools после стольких лет, хотя я знал, как сбросить кеш. Вы действительно гуру. Спасибо, что поделился!
johnshen64
5
То, что вы говорите о синхронизации, неверно: в соответствии с документом linux запись в drop_cache очистит только чистый контент (уже синхронизированный). Кроме того, даже если он удаляет несинхронизированные данные, говорить, что ввод команды sync непосредственно перед очисткой кеша сохранит ваши данные, неверно: между записью команды drop_cache для синхронизации есть ненулевое время, поэтому любые данные могут быть добавлены в течение этого промежутка времени. Здесь нет ничего атомного.
Congelli501
3
Я получил эту информацию здесь: kernel.org/doc/Documentation/sysctl/vm.txt - «Это неразрушающая операция, которая не освобождает грязные объекты». В нем также говорится, что синхронизация может использоваться для увеличения размера отброшенного кэша (для кэшей обратной записи).
Congelli501
26
Предпочитайте "sudo sysctl vm.drop_caches = 1", а не "sudo sh -c 'echo 1> / proc / sys / vm / drop_caches'"
Рауль Салинас-Монтеагудо,
8
@slm мне нравится использовать, teeчтобы написать от имени пользователя root:echo 3 | sudo tee /proc/sys/vm/drop-caches
pqnet