Используйте AWK для чтения дубликатов в столбце

Вы можете получить список уникальных IP-адресов, используя cutи sort, и передать его в цикл while, который запускает большую часть вашего существующего скрипта:

#!/bin/bash

while read addr ; do
    # your scripting here
done < <(cut -d '|' -f 2 input_file | sort -u)

<()— это баш-изм -, так что это не так переносимо.

Поскольку вы хотите изучить awk и, по-видимому, GNU awk (gawk ), awk -f script <logfileгде scriptсодержит

BEGIN{ split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec",n2m);
  for(i=1;i<=12;i++) m2n[n2m[i]]=i; FS="|"; }
function fixtime(str,tmp){ split(str,tmp,"[:/]");
  return mktime(tmp[3] OFS m2n[tmp[2]] OFS tmp[1] OFS tmp[4] OFS tmp[5] OFS tmp[6]) }
++count[$2]==1 { first[$2]=fixtime($1) }
count[$2]==5 && fixtime($1)-first[$2]<15 { print $2 }

Первые две строки устанавливают массив m2n (месяц в число ), которое отображает январь в 1, февраль в 2 и т. д., а также устанавливает разделитель полей в |. (Вместо этого можно было бы сделать m2n["Jan"]=1; m2n["Feb"]=2;и т. д., но это более утомительно.

Следующие две строки определяют функцию, которая разбивает ваш формат времени, используя все /и :в качестве разделителей (без необходимости сначала переводить их в пробел ), преобразует название месяца в число, изменяет порядок по мере необходимости и подается толькоmktime()(gawk ). Вместо OFS (, который по умолчанию состоит из одного пробела и не был изменен ), вы можете использовать литерал " ", но я нахожу это более уродливым.

Пятая и шестая строки находят первое появление любого IPaddr и запоминают его отметку времени, а также пятое появление того же IPaddr и сравнивают его отметку времени с запомненной, чтобы увидеть если интервал меньше 15 секунд. Некоторые люди помещали ;nextв действие на пятой строке, чтобы было ясно, что пятая и шестая строки скрипта не будут выполняться для одной и той же записи (, то есть строки данных ), но я не беспокоился.

КЭФ.

Если вы предпочитаете, вы можете поместить весь сценарий в командную строку в '...'вместо использования файла сценария, но я не люблю делать это для более чем 100 символов.

Вместо того, чтобы просто смотреть на 1-е и 5-е вхождения второго поля, вы можете просмотреть все вхождения, разделенные пятью. Метод скользящего окна:

awk '
{
    n = c[$7] = ++c[$7] % 4
    m = index("..JanFebMarAprMayJunJulAugSepOctNovDec",$2)/3
    s = mktime($3 " " m " " $1 " " $4 " " $5 " " $6)
    if (s - t[$7,n] < 15 && !seen[$7]++) {
        print
    }
    t[$7,n] = s
}
' FS='[/:|]' output.csv

Это может быть немного чересчур, но, учитывая, что csv не является последовательным во времени, может возникнуть необходимость разобраться с этим, и, поскольку вы изучаете gawk, здесь может быть несколько вещей, которые нужно растянуть. ты...

awk -F'[|/:]' 'BEGIN{mth="   JanFebMarAprMayJunJulAugSepOctNovDec"}
        {mthn=int(index(mth,$2)/3)}
        {ipt=mktime($3" "mthn" "$1" "$4" "$5" "$6); ip[$7]++; print $7, ipt}' file | 
        sort | 
awk '{ix=(NR-1)%5; iy=(ix+1)%5; ip[ix]=$1;t[ix]=$2}
          NR>4&&(ip[ix]==ip[iy])&&((t[ix]-t[iy])<=15)&&(!found[$1]){print ip[ix]}'

прохождение

Установите разделитель полей -Fдля доступа к отдельным элементам поля даты и установите строку месяцев

awk -F'[|/:]' 'BEGIN{mth="   JanFebMarAprMayJunJulAugSepOctNovDec"}

Получить номер месяца как индекс совпадения в строке месяца / 3

        {mthn=int(index(mth,$2)/3);

Объединить поля даты в спецификацию времени для mktimeи преобразовать в отметку времени iptи вывести IP-адрес и отметку времени

            ipt=mktime($3" "mthn" "$1" "$4" "$5" "$6); print $7, ipt}' file |

Сортировка вывода

        sort |

сортирует по IP, а затем по времени. Вывод выглядит следующим образом

000.111.026.111 1603949440
000.111.026.111 1603949444
000.111.026.111 1603949445
000.111.026.111 1603949447
000.111.026.111 1603949448
000.111.026.111 1603950114
060.121.125.144 1603950112
060.121.125.144 1603950112
060.121.125.144 1603950115
060.121.125.144 1603950117
060.121.125.144 1603950118
111.111.111.111 1603946502
220.171.008.221 1603949447
221.651.943.323 1603946509

Затем верните его в awkи загрузите поля в массивы, содержащие отметку ipи timstamp, где индекс рассчитывается как (NR-1)%5, так что он вращается в диапазоне 0 -4 по мере того, как мы работать через файл. iy — пятая предыдущая запись (ix+1)%5, обернутая таким же образом

awk '{ix=(NR-1)%5; iy=(ix+1)%5; ip[ix]=$1;t[ix]=$2}

Затем самое интересное, если запись пятая или выше...

          NR>4

И ip в текущем поле такой же, как и в 5 полях до...

              &&(ip[ix]==ip[iy])

И разница во времени между этими полями <=15 секунд...

                &&((t[ix]-t[iy])<=15)

И мы раньше не сообщали об этом ip...

                  &&(!found[$1])

ТОГДА увеличивайте наш найденный счетчик, чтобы мы не сообщали об этом снова и сообщали об IP-адресе один раз

                    {found[$1]++; print $1}'

#!/bin/bash
awk -v mon=$(locale abmon) -v FS='[/:|]' '
BEGIN           {for(n=split(mon, M, ";"); n; n--) Mn[M[n]]=n}
!A[$7]++        {IP[$7] = mktime($3" "Mn[$2]" "$1" "$4" "$5" "$6)}
A[$7]==5 && mktime($3" "Mn[$2]" "$1" "$4" "$5" "$6) - IP[$7] < 15 {print $7}
' file > bot_ip

-v mon=$(locale abmon)-Переменной monназначается следующая строка:Jan;Feb;Mar;Apr;May;Jun;Jul;Aug;Sep;Oct;Nov;Dec
for(n=split(mon, M, ";"); n; n--)-Функция splitвозвращает количество элементов массива, которыми мы инициируем счетчик в цикле for