Отбросить определенный файл от кэша файловой системы Linux?

Можно открыть отдельные файлы с O_DIRECT флаг (см. man 2 open) — читают раздел NOTES той страницы справочника тщательно и рассматривают, хотите ли Вы также/нуждаетесь O_SYNC.

Метод потенциала # 1 - F_DROP_CACHES

Я нашел метод в 2012 году, который обсуждает предлагаемый патч к ядру Linux в этой почтовой теме под названием: Re: [RFC Patch] FS: Реализуйте кэши для капли файла .

CONG> Это черновой патч реализован для каждого капли файла капли.

интересно. Итак, могу ли я сделать это из-за пределов процесса? Я а Sysadmin, поэтому мой POV от заметки, нахождения и крепления производительности Проблемы, когда система находится под давлением.

 CONG> Он представляет новую команду fcntl f_drop_caches для падения
CONG> Файл кэширует определенный файл.  Причина в том, что в настоящее время
CONG> У нас есть только интерфейс капли системных капли, он мог
CONG> вызвать системную производительность вниз, если мы бросьте все кэшировки страницы
CONG> Когда мы фактически хотим бросить кеши некоторых огромных файлов.
 

Как я могу сказать, сколько кеша используется файлом? И что такое Воздействие эффективности этого при запуске на занятой системе? И что делает Этот патч купишь нас, так как я полагаю, что VM уже должен отбрасывать Кэши, как только система наступает под давлением MEM ...

CON> Ниже - это небольшой тестовый корпус для этого патча:

Поток включает в себя как тестовый шкаф, так и фактический патч для нескольких файлов в ядре Linux, который добавляет дополнительную функцию К FS / DORM_CACHES.C Вызывается Drop_PageCache_File (struction file * filp) . Эта функция затем доступна через инструмент Frontend, FNCTL.C через команду f_drop_Caches . В этом случае вызывает эту функцию:

file_drop_caches(filp, arg);

, которая обрабатывает падение всех кэшей, связанных с заданным файлом. Из файла включают / linux / mm.h :

void file_drop_caches(struct file *filp, unsigned long which);

Я не нашел доказательств того, что этот патч когда-либо прошел в репозиторий Main Linux Kernel, так что это Опция будет иметь доступность, только если вы готовы перекомпилировать ядро ​​Linux самостоятельно.

Потенциальный метод № 2 - с использованием DD

в той же ниде, другой пользователь упоминает совершенно другую методологию, которая использует dd .

Это полезная функциональность. Хотя это не оно не предусмотрено posix_fadv_dontned ? Эта функциональность была добавлена ​​в GNU DD (8.11) Год назад .

Вот примеры из этого патча:

• Советуйте отбросить кеш для всего файла

    $ DD, если = ifile iflag = nocache count = 0
   

• Убедитесь, что кэш капли для всего файла

    $ DD = OFLELAG = NOCACHACH CONV = NOTRUNC, FDATASYNC COUNT = 0
   

• Кэш-память для части файла

    $ dd, если = iflag iflag = nocache skip = 10 count = 10 of = / dev / null
   

• Данные по потоку с использованием только кэш для чтения

    $ dd, если = ifile of = ofile iflag = nocache oflag = nocache
   

Я не был на 100% положительным, как это проверить, но я придумал следующий подход.

1. Создайте файл 100 МБ

    $ DD, если = / dev / urandom of = fushy.txt bs = 100 мс = 1
    

2. Процедентные доступ к файлу с использованием FATRACE

    $ SUDO FATRACE |  grep образец.txt.
    

3. Run TOP Итак, мы можем отслеживать использование памяти, обратите внимание на сумму бесплатно.

    $ Top
    

4. Открытый файл, обратите внимание на сумму бесплатной памяти сейчас. ПРИМЕЧАНИЕ FATRACE файла Whume.txt .

    $ cat whume.txt> / dev / null
    

5. Оставьте файл из памяти, сейчас обратите внимание на сумму бесплатной памяти. Обратите внимание на выходные данные FATRACE .

    $ sudo dd of = / home / saml / tst / 162600 / sample.txt \
     oflag = nocache conv = notrunc, fdatasync count = 0
    

$ dd if=/dev/urandom of=sample.txt bs=100M count=1
1+0 records in
1+0 records out
104857600 bytes (105 MB) copied, 7.37996 s, 14.2 MB/s

$ ls -l sample.txt 
-rw-rw-r--. 1 saml saml 104857600 Oct 17 22:54 sample.txt

$ top
...
KiB Mem:   7968336 total,  6900956 used,  1067380 free,   267080 buffers
...

$ sudo fatrace | grep sample.txt

$ cat sample.txt > /dev/null

KiB Mem:   7968336 total,  7011896 used,   956440 free,   267336 buffers

cat(25940): R /home/saml/tst/162600/sample.txt
cat(25940): R /home/saml/tst/162600/sample.txt
cat(25940): RC /home/saml/tst/162600/sample.txt

$ sudo dd of=/home/saml/tst/162600/sample.txt \
    oflag=nocache conv=notrunc,fdatasync count=0

dd(26229): O /home/saml/tst/162600/sample.txt
dd(26229): CW /home/saml/tst/162600/sample.txt

KiB Mem:   7968336 total,  6908364 used,  1059972 free,   267364 buffers

$ sudo pyadvise --help
Usage: 
    pyadvise [options] [FILE]..

Options:
  -h, --help        show this help message and exit
  -w, --willneed    The specified files will be accessed in the near future
  -s, --sequential  The application expects to access the specified files
                    sequentially (with lower offsets read before higher ones)
  -d, --dontneed    The specified files will not be accessed in the near
                    future
  -r, --random      The specified files will be accessed in random order
  -o, --noreuse     The specified files will be accessed only once. Under
                    Linux, this operation is a no-op; see contrib/copyfileobj-
                    fadvise.py in the python-fadvise source tree for an
                    example on how to achieve approximately the same effect
  -n, --normal      Indicates that the application has no advice to give about
                    its access pattern for the specified files. If no advice
                    is given for an open file, this is the default assumption
  -v, --verbose     Explain what is being done

$ pyadvise -d /home/saml/tst/162600/sample.txt