Почему там столько различных способов измерить использование диска?

^{Некоторые файловые системы, такие как [115557]btrfs[115558] и [115559]zfs[115560], поддерживают сжатие общего назначения [115561]сжатие [115562].}

Две основные особенности очень современных файловых систем, таких как zfs и btrfs, делают связь между размером файла и использованием диска значительно более отдаленной: снимки и дедупликация.

Снимки

- это замороженное состояние файловой системы на определенную дату. Файловые системы, поддерживающие эту функцию, могут содержать несколько снимков, сделанных в разные даты. Разумеется, эти снимки занимают место. С одной стороны, если вы удалите все файлы из активной версии файловой системы, файловая система не станет пустой, если останутся снимки.[12169]Любой файл или блок, который не изменился с момента создания снимка, или между двумя снимками, существует идентично как в снимке, так и в активной версии или другом снимке. Это реализовано посредством [115565] копирования на запись [115566]. В некоторых крайних случаях возможно, что удаление файла на полной файловой системе не удастся из-за нехватки свободного места - так как для удаления этого файла потребовалось бы сделать копию блока в каталоге, а места даже для этого блока больше нет.[12170]Дедупликация[12171]- это метод оптимизации хранилища, который заключается в том, чтобы избежать хранения идентичных блоков. При работе с типичными данными поиск дубликатов не всегда стоит усилий. И [115569]zfs[115570], и [115571]btrfs[115572] поддерживают дедупликацию в качестве опции.[12172]Почему сумма из [115573]du[115574] отличается от суммы размеров файла?[12173]Как мы видели выше, размер, сообщаемый [115575]du[115576] для каждого файла, как правило, представляет собой сумму размеров блоков или эквивалентов, используемых файлом. Обратите внимание, что по умолчанию в [115577]ls -l[115578] перечислены размеры в байтах, а в [115579]du[115580] перечислены размеры в килобайтах или в 512-байтных единицах (секторах) на некоторых более традиционных системах ([115581]du -k[115582] заставляет использовать килобайты). Большинство современных юниксов поддерживают [115583]ls -lh[115584] и [115585]du -h[115586] для использования "читаемых человеком" чисел с использованием K, M, G и т.д. достаточно (для KiB, MiB, GiB) соответственно.[12174] Когда вы запускаете [115587]du[115588] в каталоге, он суммирует использование диска всеми файлами в дереве каталогов, [115589] включая сами каталоги [115590]. Каталог содержит данные (имена файлов и указатель на то, где находятся метаданные файла), поэтому ему требуется немного места для хранения. Маленький каталог займет один блок, большой - больше. Объем памяти, используемый каталогом, иногда зависит не только от файлов, которые он содержит, но и от порядка, в который они были вставлены и в который удалены некоторые файлы (в некоторых файловых системах это может оставить дыры - компромисс между дисковым пространством и производительностью), но разница будет незначительной (дополнительный блок то тут, то там). При запуске [115591]ls -ld /some/directory[115592] указан размер каталога. (Обратите внимание, что строка "total NNN" в верхней части вывода от [115593]ls -l[115594] является несвязанным числом, это сумма размеров в блоках перечисленных элементов, выраженных в KiB или секторах. )[12175]Имейте в виду, что [115595]du[115596] включает [12176]точечные файлы[12177], которые [115599]ls[115600] не показывают, если не использовать вариант [115601]-A[115602] или [115603]-a[115604].[12178]Иногда [115605]du[115606] сообщает меньшую, чем ожидаемая сумма. Это происходит, если внутри дерева каталогов имеются [12179]-жесткие ссылки[12180]: [115609]du[115610] считает каждый файл только один раз.[12181] В некоторых файловых системах, таких как [115611]ZFS[115612] под Linux, [115613]du[115614] не сообщает о полном дисковом пространстве, занятом расширенными атрибутами файла.[12182]Остерегайтесь, что если под каталогом имеются точки монтирования, то [115615]du[115616] будет считать все файлы в этих точках монтирования также, если только не задан параметр [115617]-x[115618]. Поэтому, если, например, вам нужен общий размер файлов в вашей корневой файловой системе, запустите [115619]du -x /[115620], а не [115621]du /[115622].[12183] Если файловая система монтируется в непустую директорию [115624], то файлы в этой директории будут скрыты монтируемой файловой системой. Они всё ещё занимают их место, но [115625]du[115626] их не найдёт.[12184]Удалённые файлы[12185] Когда файл [115627]удалён[115628], это только удаляет запись каталога, а не обязательно сам файл. Для того, чтобы удалить файл и тем самым вернуть ему место на диске, необходимо выполнить два условия:[12186]Счетчик ссылок файла должен упасть до 0: если файл имеет несколько жестких ссылок, то удаление одной из них не влияет на другие.[12187]Пока файл открыт каким-либо процессом, данные остаются. Только когда все процессы закрыли файл, он удаляется. Вывод [12188]fuser -m[12189]или [12190]lsof[12191]на точку монтирования включает в себя процессы, у которых файл открыт на этой файловой системе, даже если файл удален.[12192]даже если ни один процесс не открыл удаленный файл, пространство файла может не быть восстановлено, если этот файл является бэкендом устройства [115969]loop[115970]. [115971]losetup -a[115972] (как [115973]root[115974]) может сказать вам, какие устройства [115975]loop[115976] в настоящее время настроены и на каком файле. Устройство шлейфа должно быть уничтожено (с помощью [115977]losetup -d[115978]), прежде чем дисковое пространство может быть восстановлено.[12193] Если вы удаляете файл в некоторых файловых менеджерах или графических средах, он может быть помещен в мусорное ведро, где его можно недооценить. До тех пор, пока файл может быть недоосвоен, его пространство все еще занято.[12194]Что это за цифры из [115635]df[115636]?[12195]Типичная файловая система содержит:[12196]Блоки, содержащие данные файла (включая каталоги) и некоторые метаданные (включая косвенные блоки, и расширенные атрибуты на некоторых файловых системах). [12197]Свободные блоки.[12198]Блоки, зарезервированные за корневым пользователем.[12199]Суперблоки и другая управляющая информация.[12200]Inodes[12201]A [115981]journal[12202]Только первый вид сообщается [115649]du[115650]. Когда дело доходит до [115651]df[115652], то, что попадает в "использованные", "доступные" и суммарные столбцы, зависит от файловой системы (конечно использованные блоки (в том числе и косвенные) всегда находятся в столбце "использованные", а неиспользуемые - в столбце "доступные").[12203]Файловые системы в ext2/ext3/ext4 [115653]резервируют[115654] 5% пространства для корневого пользователя. Это полезно в корневой файловой системе, чтобы система работала, если она заполняется (в частности, для протоколирования, и чтобы системный администратор мог хранить немного данных во время исправления проблемы). Даже для разделов с данными, таких как [115655]/home[115656], сохранение этого зарезервированного пространства полезно, так как почти полная файловая система подвержена фрагментации. Linux пытается избежать фрагментации (которая замедляет доступ к файлам, особенно на вращающихся механических устройствах, таких как жесткие диски), предварительно выделяя много последовательных блоков при записи файла, но если последовательных блоков не много, это не может работать.[12204]Традиционные файловые системы, вплоть до ext4, но не btrfs, резервируют фиксированное число [115657]inodes[115658] при создании файловой системы. Это значительно упрощает проектирование файловой системы, но имеет оборотную сторону, заключающуюся в том, что количество кодов должно быть подобрано по размеру: при слишком большом количестве кодов пространство растрачивается впустую; при слишком малом количестве кодов файловая система может закончиться до того, как закончится пространство. Команда [115659]df -i[115660] сообщает количество используемых и доступных драйверов (файловые системы, где концепция не применима, могут показывать 0).[12205]Выполнение [115661]tune2fs -l[115662] на томе, содержащем файловую систему ext2/ext3/ext4, сообщает некоторую статистику, включая общее количество и количество свободных драйверов и блоков. [12206]Другая особенность, которая может смутить дело - это [115663]subvolumes[115664] (поддерживается в [115665]btrfs[115666], а в zfs под именем [115667]datasets[115668]). Несколько подтомов занимают одно и то же место, но имеют отдельные корни дерева каталогов.[12207]Если файловая система смонтирована по сети (NFS, Samba и т.д.) и сервер экспортирует часть этой файловой системы (например [115669] сервер имеет файловую систему [115983]/home[115984] и экспортирует [115985]/home/bob[12208]), то [115671]df[115672] на клиенте отражает данные для всей файловой системы, а не только для той ее части, которая экспортируется и монтируется на клиенте. [12209] Что используется пространство на моем диске? [12210] Как мы видели выше, общий размер, указанный в [115673]df[115674], не всегда учитывает все управляющие данные файловой системы. Используйте инструменты, специфичные для файловой системы, чтобы получить точный размер файловой системы, если это необходимо. Например, с помощью ext2/ext3/ext4 запустите [115675]tune2fs -l[115676] и умножьте размер блока на количество блоков.[12211]Когда вы создаете файловую систему, она обычно заполняет доступное пространство на окружающем разделе или томе. Иногда при перемещении файловых систем вокруг томов или изменении их размеров вы можете получить файловую систему меньшего размера.[12212]В Linux, [115677]lsblk[115678] представляет хороший обзор доступных томов хранилищ. Для получения дополнительной информации или если у вас нет [115679]lsblk[115680], воспользуйтесь специализированными утилитами управления томами или разметки, чтобы проверить, какие разделы у вас есть. В Linux есть [115681]lvs[115682], [115683]vgs[115684], [115685]pvs[115686] для [115687]LVM[115688], [12213]fdisk[12214]для разделов традиционного PC-стиля ("MBR") (а также GPT на последних системах), [12215]gdisk[12216]для разделов [115693]GPT[115694], [12217]disklabel[12218]для BSD disklabel, [115697]Parted[115698] и др. Под Linux [115699]cat /proc/partitions[115700] дает краткое описание. Типичные установки имеют как минимум два раздела или тома, используемые операционной системой: файловую систему (иногда больше) и том [115701]swap[115702].[12219]Некоторые компьютеры имеют раздел, содержащий [115703]BIOS[115704] или другое диагностическое программное обеспечение. Компьютеры с [115705]UEFI[115706] имеют специальный раздел загрузчика.[12220]Наконец, обратите внимание, что большинство компьютерных программ используют устройства, основанные на мощности 1024 = 2[115707]10[115708] (потому что программисты любят двоичные файлы и мощности 2). Так 1 кБ = 1024 B, 1 МБ = 1048576 B, 1 ГБ = 1073741824, 1 ТБ = 1099511627776 B, ... Официально эти единицы известны как [115709]кибибайт[115710] KiB, [115711]мебибайт[115712] MiB и т.д., но большинство программ просто сообщает k или kB, M или MB и т.д. и т.п. С другой стороны, Производители жестких дисков систематически используют метрические (на базе 1000 единиц). Так что диск емкостью 1 ТБ составляет всего 931 Гб или 0,904 Тб[115041].