Вопросы Теги

Структура каталогов для большого количества файлов

Попробуйте это:

eval-some-language --path=<(echo "hello world")

< ()создаст файловый дескриптор, привязанный к выходным данным команды, и передаст его как /dev/fd/xxx. Например:

$ echo <(echo aaa)
/dev/fd/63

$ echo <(echo test) <(echo second test)
/dev/fd/63 /dev/fd/62

Дополнительную информацию см. в разделе «Процесс замены» в man bash

.
-1
12.12.2020, 00:00
1 ответ

Это платформа для решения вашей проблемы, которую вам может понадобиться адаптировать под свои нужды. Здесь достаточно много отладочных и тестовых файлов. Сначала идет журнал испытаний, а потом сценарий. Приветствуются запросы.

Я предполагаю, что количество ваших файлов составляет около 16 миллионов (на самом деле 16 *1024 *1024 ). Поэтому я решил иметь дерево с первым уровнем, имеющим 256 каталогов, и каждым вторым уровнем 256 каталогов (, поэтому 65 536 каталогов на этом уровне ), и тогда файлы также будут в среднем 256 на каталог. Если вы хотите использовать 4- или 5-уровневую схему, изменения незначительны (, спросите, не очевидны ли они ).

Я использую awkдля преобразования имен sha256 в команды mvи передаю их вbash(примерно через 2 строки от конца ). Я бы рекомендовал удалять | bashдо тех пор, пока вы не будете уверены, что команды соответствуют вашим ожиданиям. Есть также чистые -строки(rm -rf)и некоторые отладочные(lsи find), которые вы захотите очистить или закомментировать.

Сценарий запускается в каталоге, где находятся все ваши миллионы файлов, а переменная "Tree"— это место, где будет находиться общее дерево. Это должно быть в той же файловой системе,так что mv просто нужно изменить запись каталога для каждого файла :, если источник и цель находятся в разных файловых системах, mv вместо этого будет действовать как cp, и процесс будет работать «навсегда».

Это полный тестовый прогон:

/home/paul/SandBox/Toys/dirTree
total 8
-rwxr-xr-x 1 paul paul 1841 Dec 12 23:59 myTree
-rw-r--r-- 1 paul paul   32 Dec 12 23:59 myTree.log
Making test files...
total 544
-rw-r--r-- 1 paul paul  17545 Dec 12 23:59 4E8A34A5010C507ADF81E3D9EEC6330A9E866D3B70857111D3A9DF5C5008BA9D
-rw-r--r-- 1 paul paul  90655 Dec 12 23:59 590A853F3C97C05BB55BBBDFBA988210066807C188E54B78F340F01DD48C0AF5
-rw-r--r-- 1 paul paul   2685 Dec 12 23:59 5B02D3A74A2E4B433D0C7DEE57446460CCE6661E3CE59918B5243B903E3358A6
-rw-r--r-- 1 paul paul   2051 Dec 12 23:59 6F48C65B219CA78B8C7FF03F12A8E27E1A298A541481E9B3C86645B622DCB5B1
-rw-r--r-- 1 paul paul  13545 Dec 12 23:59 8FED5B546352BF30E3B98E7EB8EB916DA5E2814B4227461F01173547263BB257
-rw-r--r-- 1 paul paul 311346 Dec 12 23:59 A8BCA57679FE42C2902D2AE70804C4C93088079B167BC99A7827295FFB34D32E
-rw-r--r-- 1 paul paul   2092 Dec 12 23:59 B31470EC1AF3204CF2327F12A48296F8161B51E3C30679EFA71E65AA882DCED4
-rw-r--r-- 1 paul paul   4602 Dec 12 23:59 C2BFA9351040ABA8F36990D0C3E3E32F70F2E94EF8D05AEDC5EE3B32270953D3
-rw-r--r-- 1 paul paul   7687 Dec 12 23:59 C9FA54EEF557DE7B67B66A145CCC0D65037117F0EDFF8EFCE694B56C4A6F7FEB
-rw-r--r-- 1 paul paul  71752 Dec 12 23:59 D3040C6348CB758498988DA5FAF086666553B27CFB7E591B5E7616C3E8373068
-rwxr-xr-x 1 paul paul   1841 Dec 12 23:59 myTree
-rw-r--r-- 1 paul paul    204 Dec 12 23:59 myTree.log

real    0m1.992s
user    0m2.196s
sys 0m0.296s
Making directory tree...
/home/paul/SandBox/Toys/dirTree/sha256
256
65536
   262748      4 drwxr-xr-x   2 paul     paul         4096 Dec 12 23:59./01/B4
   262811      4 drwxr-xr-x   2 paul     paul         4096 Dec 12 23:59./01/F3
   262752      4 drwxr-xr-x   2 paul     paul         4096 Dec 12 23:59./01/B8
   262644      4 drwxr-xr-x   2 paul     paul         4096 Dec 12 23:59./01/4C

real    3m47.220s
user    0m42.700s
sys 0m32.900s
   135626     72 -rw-r--r--   1 paul     paul        71752 Dec 12 23:59 sha256/D3/04/D3040C6348CB758498988DA5FAF086666553B27CFB7E591B5E7616C3E8373068
   135639    308 -rw-r--r--   1 paul     paul       311346 Dec 12 23:59 sha256/A8/BC/A8BCA57679FE42C2902D2AE70804C4C93088079B167BC99A7827295FFB34D32E
   135641     20 -rw-r--r--   1 paul     paul        17545 Dec 12 23:59 sha256/4E/8A/4E8A34A5010C507ADF81E3D9EEC6330A9E866D3B70857111D3A9DF5C5008BA9D
   133634      4 -rw-r--r--   1 paul     paul         2685 Dec 12 23:59 sha256/5B/02/5B02D3A74A2E4B433D0C7DEE57446460CCE6661E3CE59918B5243B903E3358A6
   135640     92 -rw-r--r--   1 paul     paul        90655 Dec 12 23:59 sha256/59/0A/590A853F3C97C05BB55BBBDFBA988210066807C188E54B78F340F01DD48C0AF5
   135625      8 -rw-r--r--   1 paul     paul         7687 Dec 12 23:59 sha256/C9/FA/C9FA54EEF557DE7B67B66A145CCC0D65037117F0EDFF8EFCE694B56C4A6F7FEB
   135642     16 -rw-r--r--   1 paul     paul        13545 Dec 12 23:59 sha256/8F/ED/8FED5B546352BF30E3B98E7EB8EB916DA5E2814B4227461F01173547263BB257
   135624      4 -rw-r--r--   1 paul     paul         2051 Dec 12 23:59 sha256/6F/48/6F48C65B219CA78B8C7FF03F12A8E27E1A298A541481E9B3C86645B622DCB5B1
   135628      4 -rw-r--r--   1 paul     paul         2092 Dec 12 23:59 sha256/B3/14/B31470EC1AF3204CF2327F12A48296F8161B51E3C30679EFA71E65AA882DCED4
   135630      8 -rw-r--r--   1 paul     paul         4602 Dec 12 23:59 sha256/C2/BF/C2BFA9351040ABA8F36990D0C3E3E32F70F2E94EF8D05AEDC5EE3B32270953D3

real    0m2.118s
user    0m0.528s
sys 0m1.520s

Это скрипт:

#! /bin/bash

Tree="sha256"

#.. Fake some test files from man pages, renamed with their own sha256.

mkFile () {

    local Fn
    local Awk='{ printf ("%s\n", toupper ($(NF))); }'

    man -s 1 "${1}" > Man
    Fn=$( openssl dgst -sha256 Man | awk "${Awk}" )
    mv Man "${Fn}"
}

#.. Make a directory tree for the first 4 hex characters of any name,
#.. such that files 7BC12A13... go into./7B/C1.

mkDirs () {

    local a b c d
    for a in {0..9} {A..F}; do
        for b in {0..9} {A..F}; do
            for c in {0..9} {A..F}; do
                for d in {0..9} {A..F}; do
                    mkdir -p./${a}${b}/${c}${d}
                done
            done
        done
    done
}

#.. Move all files in the current directory that have sha256-type names
#.. into their appropriate directory.

mvFiles () {

    local Awk='
BEGIN {
    FS = "/";
    cmd = "mv -t \047%s/%s/%s\047 \047%s\047\n";
}
length ($NF) == 64 && $NF ~ /^[[:xdigit:]]*$/ {
    printf (cmd, Tree, substr ($NF, 1, 2), substr ($NF, 3, 2), $NF);
}
'
    awk -v Tree="${Tree}" -f <( printf '%s' "${Awk}" ) -
}

#.. Tests.

    #.. Nothing up my sleeves.
    pwd
    ls -l

    #.. Make some test files.
    [ x ] && time (
        echo "Making test files..."
        for tx in cut cat ls find wc dd bash awk vi dc; do
            mkFile "${tx}"
        done
        ls -l
    )

    #.. Make a directory tree.
    [ x ] && time (
        echo "Making directory tree..."
        rm -rf ${Tree}
        mkdir -p ${Tree}
        cd ${Tree} || exit

        pwd
        mkDirs
        ls -d * | wc -l
        ls -d */* | wc -l
        find. -ls | tail -n +1299 | head -n 4
    )

    #.. Move all the local sha256 files into the tree.
    [ x ] && time (
        find. -maxdepth 1 -type f | mvFiles "${Tree}" | bash
        find "${Tree}" -type f -ls
    )
0
28.04.2021, 23:02

Теги

Похожие вопросы