Как я могу использовать grep для поиска файла строковые комбинации?
Метод потенциала # 1 - F_DROP_CACHES
Я нашел метод в 2012 году, который обсуждает предлагаемый патч к ядру Linux в этой почтовой теме под названием: Re: [RFC Patch] FS: Реализуйте кэши для капли файла .
ВыдержкаCONG> Это черновой патч реализован для каждого капли файла капли.
интересно. Итак, могу ли я сделать это из-за пределов процесса? Я а Sysadmin, поэтому мой POV от заметки, нахождения и крепления производительности Проблемы, когда система находится под давлением.
CONG> Он представляет новую команду fcntl f_drop_caches для падения CONG> Файл кэширует определенный файл. Причина в том, что в настоящее время CONG> У нас есть только интерфейс капли системных капли, он мог CONG> вызвать системную производительность вниз, если мы бросьте все кэшировки страницы CONG> Когда мы фактически хотим бросить кеши некоторых огромных файлов.Как я могу сказать, сколько кеша используется файлом? И что такое Воздействие эффективности этого при запуске на занятой системе? И что делает Этот патч купишь нас, так как я полагаю, что VM уже должен отбрасывать Кэши, как только система наступает под давлением MEM ...
CON> Ниже - это небольшой тестовый корпус для этого патча:
Поток включает в себя как тестовый шкаф, так и фактический патч для нескольких файлов в ядре Linux, который добавляет дополнительную функцию К FS / DORM_CACHES.C Вызывается Drop_PageCache_File (struction file * filp) . Эта функция затем доступна через инструмент Frontend, FNCTL.C через команду f_drop_Caches . В этом случае вызывает эту функцию:
file_drop_caches(filp, arg);
, которая обрабатывает падение всех кэшей, связанных с заданным файлом. Из файла включают / linux / mm.h :
void file_drop_caches(struct file *filp, unsigned long which);
Я не нашел доказательств того, что этот патч когда-либо прошел в репозиторий Main Linux Kernel, так что это Опция будет иметь доступность, только если вы готовы перекомпилировать ядро Linux самостоятельно.
Потенциальный метод № 2 - с использованием DD
в той же ниде, другой пользователь упоминает совершенно другую методологию, которая использует dd .
Тестирование этогоЭто полезная функциональность. Хотя это не оно не предусмотрено
Вот примеры из этого патча:posix_fadv_dontned? Эта функциональность была добавлена в GNU DD (8.11) Год назад .
Советуйте отбросить кеш для всего файла
$ DD, если = ifile iflag = nocache count = 0Убедитесь, что кэш капли для всего файла
$ DD = OFLELAG = NOCACHACH CONV = NOTRUNC, FDATASYNC COUNT = 0Кэш-память для части файла
$ dd, если = iflag iflag = nocache skip = 10 count = 10 of = / dev / nullДанные по потоку с использованием только кэш для чтения
$ dd, если = ifile of = ofile iflag = nocache oflag = nocache
Я не был на 100% положительным, как это проверить, но я придумал следующий подход.
Создайте файл 100 МБ
$ DD, если = / dev / urandom of = fushy.txt bs = 100 мс = 1Процедентные доступ к файлу с использованием
FATRACE$ SUDO FATRACE | grep образец.txt.Run
TOP$ TopОткрытый файл, обратите внимание на сумму бесплатной памяти сейчас. ПРИМЕЧАНИЕ
FATRACEфайлаWhume.txt.$ cat whume.txt> / dev / nullОставьте файл из памяти, сейчас обратите внимание на сумму бесплатной памяти. Обратите внимание на выходные данные
FATRACE.$ sudo dd of = / home / saml / tst / 162600 / sample.txt \ oflag = nocache conv = notrunc, fdatasync count = 0
Пример
в терминале № 1:$ dd if=/dev/urandom of=sample.txt bs=100M count=1
1+0 records in
1+0 records out
104857600 bytes (105 MB) copied, 7.37996 s, 14.2 MB/s
$ ls -l sample.txt
-rw-rw-r--. 1 saml saml 104857600 Oct 17 22:54 sample.txt
$ top
...
KiB Mem: 7968336 total, 6900956 used, 1067380 free, 267080 buffers
...
$ sudo fatrace | grep sample.txt
, и обратите внимание на сумму , и обратите внимание на сумму баран. В терминале № 1. $ cat sample.txt > /dev/null
KiB Mem: 7968336 total, 7011896 used, 956440 free, 267336 buffers
FATRACE в терминале № 3: cat(25940): R /home/saml/tst/162600/sample.txt
cat(25940): R /home/saml/tst/162600/sample.txt
cat(25940): RC /home/saml/tst/162600/sample.txt
$ sudo dd of=/home/saml/tst/162600/sample.txt \
oflag=nocache conv=notrunc,fdatasync count=0
FATRACE в терминале № 2: dd(26229): O /home/saml/tst/162600/sample.txt
dd(26229): CW /home/saml/tst/162600/sample.txt
KiB Mem: 7968336 total, 6908364 used, 1059972 free, 267364 buffers
Так что кажется, что все то, что было потреблено файлом в оперативной памяти.
Потенциальный метод № 3 - Python-Fadvise
Благодаря комментарию @frostchutz, есть другой инструмент, сценарий Python, названный [Pyadvise] [4] , который обеспечивает гораздо более простые интерфейс, чем Вышеуказанные DD методы. Этот скрипт использует один и тот же POSIX_FADVISE (2) интерфейс.
$ sudo pyadvise --help
Usage:
pyadvise [options] [FILE]..
Options:
-h, --help show this help message and exit
-w, --willneed The specified files will be accessed in the near future
-s, --sequential The application expects to access the specified files
sequentially (with lower offsets read before higher ones)
-d, --dontneed The specified files will not be accessed in the near
future
-r, --random The specified files will be accessed in random order
-o, --noreuse The specified files will be accessed only once. Under
Linux, this operation is a no-op; see contrib/copyfileobj-
fadvise.py in the python-fadvise source tree for an
example on how to achieve approximately the same effect
-n, --normal Indicates that the application has no advice to give about
its access pattern for the specified files. If no advice
is given for an open file, this is the default assumption
-v, --verbose Explain what is being done
И если мы повторим вышеупомянутый тест и использовать Pyadvise вместо dd :
$ pyadvise -d /home/saml/tst/162600/sample.txt
Я заметил одинаковое падение в использовании оперативной памяти, как и раньше, когда Я использовал dd .