Удалите дублирующиеся записи $PATH с командой awk

Использовать awk разделять путь на :, затем цикл по каждому полю и хранилищу это в массиве. При случайной встрече с полем, которое уже находится в массиве, который означает, что Вы видели его прежде, не печатайте его.

Вот пример:

$ MYPATH=.:/foo/bar/bin:/usr/bin:/foo/bar/bin
$ awk -F: '{for(i=1;i<=NF;i++) if(!($i in arr)){arr[$i];printf s$i;s=":"}}' <<< "$MYPATH"
.:/foo/bar/bin:/usr/bin

(Обновленный для удаления запаздывания :.)

Была подобная дискуссия об этом здесь.

Я проявляю определенный другой подход. Вместо того, чтобы просто принять ПУТЬ, который установлен от всех различных файлов инициализации, которые установлены, я предпочитаю использовать getconf чтобы определить системный путь и поместить его сначала, затем добавьте мой предпочтительный порядок пути, затем используйте awk удалить любые дубликаты. Это может или не может действительно ускорить выполнение команды (и в теории быть более безопасным), но это дает мне теплый fuzzies.

# I am entering my preferred PATH order here because it gets set,
# appended, reset, appended again and ends up in such a jumbled order.
# The duplicates get removed, preserving my preferred order.
#
PATH=$(command -p getconf PATH):/sbin:/usr/sbin:/usr/local/bin:/usr/local/sbin:$PATH
# Remove duplicates
PATH="$(printf "%s" "${PATH}" | /usr/bin/awk -v RS=: -v ORS=: '!($0 in a) {a[$0]; print}')"
export PATH

[~]$ echo $PATH
/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/lib64/ccache:/usr/games:/home/me/bin

Вот гладкий:

printf %s "$PATH" | awk -v RS=: -v ORS=: '!arr[$0]++'

Дольше (чтобы видеть, как это работает):

printf %s "$PATH" | awk -v RS=: -v ORS=: '{ if (!arr[$0]++) { print $0 } }'

Хорошо, так как Вы плохо знакомы с Linux, вот то, как на самом деле установить ПУТЬ без запаздывания ":"

PATH=`printf %s "$PATH" | awk -v RS=: '{ if (!arr[$0]++) {printf("%s%s",!ln++?"":":",$0)}}'`

btw удостоверяются, что НЕ имели каталоги, содержащие ":" в Вашем ПУТИ иначе это собирается быть испорченным.

некоторый кредит к:

• этот блог
• этот поток

Также sed (сюда использование GNU sed синтаксис), может сделать задание:

MYPATH=$(printf '%s\n' "$MYPATH" | sed ':b;s/:\([^:]*\)\(:.*\):\1/:\1\2/;tb')

эти работы хорошо только в случае, если первый путь . как в примере dogbane.

В общем случае необходимо добавить еще один s команда:

MYPATH=$(printf '%s\n' "$MYPATH" | sed ':b;s/:\([^:]*\)\(:.*\):\1/:\1\2/;tb;s/^\([^:]*\)\(:.*\):\1/:\1\2/')

Это работает даже над такой конструкцией:

$ echo "/bin:.:/foo/bar/bin:/usr/bin:/foo/bar/bin:/foo/bar/bin:/bar/bin:/usr/bin:/bin" \
| sed ':b;s/:\([^:]*\)\(:.*\):\1/:\1\2/;tb;s/^\([^:]*\)\(:.*\):\1/\1\2/'

/bin:.:/foo/bar/bin:/usr/bin:/bar/bin

PATH=`perl -e 'print join ":", grep {!$h{$_}++} split ":", $ENV{PATH}'`
export PATH

Это использует жемчуг и обладает несколькими преимуществами:

1. Это удаляет дубликаты
2. Это сохраняет порядок сортировки
3. Это сохраняет самое раннее появление (/usr/bin:/sbin:/usr/bin приведет к /usr/bin:/sbin)

Я сделал бы это только с основными инструментами, такими как TR, вид и uniq:

NEW_PATH=`echo $PATH | tr ':' '\n' | sort | uniq | tr '\n' ':'`

Если нет ничего специального или странного в Вашем пути, оно должно работать

PATH=`awk -F: '{for (i=1;i<=NF;i++) { if ( !x[$i]++ ) printf("%s:",$i); }}' <<< "$PATH"`

Объяснение кода awk:

1. Разделите вход двоеточиями.
2. Добавьте новые записи пути в ассоциативный массив для быстрого дублирующегося поиска.
3. Печатает ассоциативный массив.

В дополнение к тому, чтобы быть кратким, эта острота быстра: awk использует хеш-таблицу объединения в цепочку для достижения амортизируемого O (1) производительность.

на основе Удаления дублирующихся записей $PATH

Это - моя версия:

path_no_dup () 
{ 
    local IFS=: p=();

    while read -r; do
        p+=("$REPLY");
    done < <(sort -u <(read -ra arr <<< "$1" && printf '%s\n' "${arr[@]}"));

    # Do whatever you like with "${p[*]}"
    echo "${p[*]}"
}

Использование: path_no_dup "$PATH"

Демонстрационный вывод:

rany$ v='a:a:a:b:b:b:c:c:c:a:a:a:b:c:a'; path_no_dup "$v"
a:b:c
rany$

• где:
• IFS[114384] меняет разделитель полей ввода на [114385]:
• объявляет -A[114388] объявляет ассоциативный массив

${a[$i]+_}[114390] значением расширения параметра: [114391]_[114392] подставляется, если и только если установлено [114393]a[$i][114394]. Это похоже на [114395]${parameter:+word}[114396], который также тестирует на not-null. Таким образом, в следующей оценке условия выражение [114397]_[114398] (т.е. строка из одного символа) оценивается как истинное (это эквивалентно [114399]-n _[114400]) - в то время как пустое выражение оценивается как ложное.

где:

printf %s "$PATH"[114362] печатает содержимое [114363]$PATH[114364] без новой строки

RS=: [114366] изменяет символ входного разделителя записи (по умолчанию newline)

ORS=[114368] изменяет выходной разделитель записи на пустую строку

+---+---------------+------------+------------+
|   | A             | B          | C          |
+---+---------------+------------+------------+
| 1 | col1, line1a  |            |            |
|   | col1, line1b  |            |            |
|   | col1, line1c  | col2, row1 | col3, row1 |
| 2 | col1, row2    | col2, row2 | col3, row2 |
+---+---------------+------------+------------+

a[114370] имя неявно созданного массива

"col1, line1a
col1, line1b
col1, line1c","col2, row1","col3, row1"
"col1, row2","col2, row2","col3, row2"

$0[114372] ссылки текущая запись

a[$0][114374] является ассоциативным разыменованием массива

• ++[114376] является пост-инкрементирующим оператором
• ! a[$0]++[114378] охраняет правую сторону, т.е. он гарантирует, что текущая запись будет распечатана только в том случае, если она не была распечатана до

+---+---------------+------------+------------+
|   | A             | B          | C          |
+---+---------------+------------+------------+
| 1 | "col1, line1a |            |            |
| 2 | col1, line1b  |            |            |
| 3 | col1, line1c" | col2, row1 | col3, row1 |
| 4 | col1, row2    | col2, row2 | col3, row2 |
+---+---------------+------------+------------+