Трафик перенаправления предназначен для IP и порта

Если использование линии сравнения является приемлемой, то следующее будет скажет, какие строки дублируются в файле Text и сколько раз каждая каждая:

sort text | uniq -c | grep -vE '^\s*1 '

В качестве примера

$ cat text
alpha
beta
alpha
gamma
alpha
beta
$ sort text | uniq -c | grep -vE '^\s*1 '
      3 alpha
      2 beta

используя обычные инструменты Unix, это может быть расширено, при условии, что формат входного теста не является слишком сложным, в соответствии с параграфами или сопоставлением предложений.

Найти повторяющиеся абзацы

. Предположим, что наш файл Text содержит:

This is a paragraph.

This is another
paragraph

This is
a paragraph.

Last sentence.

Следующая команда идентифицирует показывает, какие абзацы появляются более одного раза:

$ awk -v RS=""  '{gsub(/\n/," "); print}' text | sort | uniq -c | grep -vE '^\s*1 '
      2 This is a paragraph.

Это использует awk Разбивайте текст в абзацы (разграниченные пустыми строками), преобразуют новые линии в пробелы, а затем передают выходные данные, одну строку на параграф, для сортировки и UNIQ для подсчета дублированных абзацев.

Вышеуказанное было проверено WTIH GNU awk . Для других AWK Способ определения пустых строк в качестве пункта (записи) границ может отличаться.