2
ответа
Как удалить блоки повторяющихся строк с помощью uniq?
Можно ли как-то использовать uniq (или аналогичный) для фильтрации/удаления наборов повторяющихся строк из вывода типа журнала? Я отлаживаю код MPI, в котором несколько процессоров часто выводят один и тот же точный вывод. uniq ...
08.05.2020
2
ответа
Удалить все дубликаты файлов в подкаталогах основного каталога
Я новичок в Linux, и мне интересно, как мне удалить все дубликаты с одинаковым именем файла, но оставить только один оригинал? Например, у меня есть следующее: dir_new_001 = rdt.txt
dir_new_002 = ...
23.12.2019
2
ответа
Bash -сортировка и уникальность массива
Это вопрос, аналогичный этому. Я хочу подсчитать количество слов, но на этот раз с использованием массива. Например, у меня есть следующие IP-адреса внутри массива bash, называемого IPS. IPS= ("1.1.1.1" "5.5.5.5" "3.3....
30.09.2019
2
ответа
изменить формат команды uniq -c
Я хочу получить уникальные слова и их количество из файла. Когда я запускаю следующую команду, сортируйте words.txt | uniq -c 2 америка 4 и 1 англия 1 файл 1 за 1 место Но я хочу...
20.09.2019
2
ответа
Разница между файлом cat.txt | sort -u и cat файл.txt | uniq
Я хочу знать разницу между sort -u и uniq.
Я попробовал команду ниже, чтобы получить количество уникальных строк в файле, sort -u и uniq дают тот же результат, насколько мне известно. Тогда почему...
25.08.2019
2
ответа
Удалить повторяющиеся значения, которые не находятся в одинаковых строках.
Итак, у меня есть набор текста, который содержит как имена файлов, так и связанный с ними номер. В настоящее время это выглядит так: RR0.out -1752.142111 RR1.out -1752.141887 RR2.out -1752.142111 RR3.out -...
25.07.2019
2
ответа
Как подсчитать количество вхождений в списке, а затем отсортировать их по убыванию?
У меня есть список из 1601 строки, где в каждой строке мне нужно подсчитать, сколько раз появляются разные значения для полей 5. Вот что у меня есть на данный момент: awk '{print$5}' FILE | сортировать | uniq -c ...
15.07.2019
2
ответа
Как я могу удалить строки из файла, если строка появляется на нескольких строках?
У меня есть файл с двумя столбцами, например: apple pear
банановая пицца
ложка вилка
тарелка для пиццы
колбасное яйцо Если слово появляется на нескольких строках, я хочу удалить все строки, в которых повторяющееся слово ...
08.07.2019
2
ответа
Как получить сценарий оболочки для удаления дубликатов в текстовом файле на основе 11-го 21-го столбца?
Как получить сценарий оболочки для удаления дубликатов в текстовом файле на основе 11-го 21-го столбца? Пример файла: Заголовок: 0000000000000001457854500000
XP 12345678912yeyeyeyeeye 0000003
XP ...
19.03.2019
2
ответа
строки печати с уникальными указанными полями
, Как распечатать строки на основе наличия уникальных полей 2, 3 и 4? поля номер 2 и 3 являются числами, и поле три является алфавитом с общими 2 500 строками в файле. Вход: 10,11,12, A, 3
10,11,12, A, 4
10,11,12...
31.08.2018
2
ответа
Определение уникальных записей в CSV на основе столбцы [дублировать]
Если ввод foo,bar,baz
бар, баз, квс
Кукс, Кукс, Баз
бар, фу, квс
waldo,fred,garply вывод должен быть foo,bar,baz
бар, баз, квс
waldo,fred,garply Как видите, записи дедуплицируются на основе ...
17.05.2018
2
ответа
Я не могу понять, как вырезать этот файл и найти уникальные слова определенного раздела
Итак, есть файл записи журнала доступа с именем access_log, и я должен найти все уникальные файлы, к которым был осуществлен доступ на веб-сервере. access_log имеет такой формат, это просто отрывок: ...
10.04.2018
2
ответа
Использование Uniq -c с регулярным выражением или подсчет количества удаленных строк
У меня есть файл с разделителями табуляции, в котором содержится информация о генетическом материале. Часть информации вырезается в меньший файл tab с извлечением некоторых столбцов, и используется uniq, чтобы убедиться, что в нем нет...
03.08.2017
2
ответа
Использование 1-го[N] символа при проверке на дубликат
У меня есть набор данных в файле: AAAPOL.0001 AAAPOL.0002 AAAPRO.0001 AAAPRO.0002 AAAPRO.0003 AAAPRO.0004 AAAXEL.0002 AAAJOK.1111 AAAJOK.2222 Мне нужно только первое вхождение, используя...
13.10.2016
2
ответа
Unix - подсчитывать уникальные IP-адреса, сортировать их по наиболее частым, а также сортировать по IP при количестве повторений то же самое
У меня есть список IP-адресов в файле: 72.204.55.250 72.204.55.250 72.204.55.250 72.204.55.250 72.204.55.250 96.41.51.202 208.115.113.91 178.137.94.166 178.137.94.166 208.115.113 ....
28.11.2015
2
ответа
Как работает awk '! A [$ 0] ++'?
Этот однострочный файл удаляет повторяющиеся строки из ввода текста без предварительной сортировки. Например: $ cat> f
q
w
e
w
r
$ awk '! A [$ 0] ++ '
06.10.2014
2
ответа
Удаление строк с единственным общим полем
У меня есть разделенный файл вкладки, который похож на это: 123 некоторый текст 123 некоторый другой текст 334 некоторых других текста еще 341 текст и я хотим сделать две вещи. Нужно заказать все численно (...
05.07.2014
2
ответа
Комбинация uniq и agrep?
У меня есть файл, полный долгих SQL-запросов, один на строку. Я должен создать список уникальных запросов, но большинство запросов включает значения параметров, которые делают использование точного инструмента соответствия как uniq...
29.04.2014
2
ответа
Что сделало 'uniq-t', делают?
У меня есть некоторый старый код с 2003, который использует-t опцию для команды uniq. Это бросает ошибку, так как та опция, вероятно, больше не поддерживается. Вот часть, которая использует команду: egrep-n "{...
01.02.2014
2
ответа
Где имеет мой 'uniq' или 'вид-u' строка, которую уводят с некоторыми unicode символами
Что продолжается в следующем фрагменте кода? Я не получаю свой ожидаемый вывод. Я думал бы, что это была ошибка, но это происходит для 2 различных программ (uniq и вид), таким образом, я подозреваю, что это - что-то...
23.07.2011
1
ответ
Linux uniq :как сделать список уникальным, игнорируя другое замечание
Исходные данные (abc.csv ):8|ААААА _001|0| 8|ААААА _002|0| 8|ААААА _003|0| 8|ААААА _004|0| 8|ААААА _005|0|ААААА _005 8|ААААА _006|0| 9|ВВВВВ _001|0| 9|ВВВВВ _002|0| 9|ВВВВВ _003|0|ВВВВВ _003 9|ВВВВВ _004|0| 9|...
11.11.2020
1
ответ
Как мне найти повторяющиеся строки в файле, вывести их с именем файла и сделать это для всего каталога?
У меня есть несколько файлов в каталоге, и мне нужно найти повторяющиеся строки в каждом файле и отобразить имя файла, чтобы определить, в каком файле есть дубликаты. Я попробовал :для i в *. *;выполнить сортировку $i | уникальный -д ; Выполнено Это...
13.09.2020
1
ответ
распечатать количество и строку после поиска по шаблону
У меня есть такие строки в нескольких лог-файлах ФАЙЛ 1 :Строка 203 :Вызвано :исключением арифматического переполнения Строка 204 :в com.abc.java FILE 2 :Строка 105 :Вызвано :???Строка выходит за границы исключения Строка...
30.08.2020
1
ответ
Чтобы подсчитать количество вхождений первого поля в текстовом файле
Мне нужно подсчитать количество вхождений первого поля в текстовом файле и распечатать выходной файл в виде файла с двумя столбцами, имеющего первое поле входного файла и номер. вхождений первого поля во входных данных...
25.06.2020
1
ответ
Как использовать ряд команд в vim
Привет, ребята, в терминале я использую команду cat file.txt | сортировать | уникальный -c . Сначала я хотел бы использовать эту команду в vim и сохранить вывод в другой файл, чтобы вывод не печатался при запуске ...
16.06.2020
1
ответ
Команда Bash для подсчета строк с совпадающими подстроками в двух разных позициях.
Я пытаюсь получить некоторую тривиальную статистику по некоторым выводам отладки. Каждая строка отладки имеет форму (имя класса) (разделитель 1) (ID объекта) (разделитель 2) (имя метода) (разделитель 3) (сообщение журнала). Я хочу получить ...
09.03.2020
1
ответ
Команда сортировки изменяет вывод строки
Я наткнулся на эту аномалию в отношении команды сортировки и не могу найти объяснение, почему это происходит, выполнив следующую команду: cat ~/.bash_history | уникальный -c | сортировать -h -r | head Должен ...
03.11.2019
1
ответ
Почему uniq отбрасывает корейскую строку?
У меня есть файл CSV, содержащий 220 тыс. имен, которые я хочу импортировать в базу данных графа. Средство пакетного импорта накладывает ограничение на то, что каждый узел должен встречаться только один раз, поэтому я хочу удалить дубликаты...
19.06.2019
1
ответ
uniq -c Эквивалент для групп строк произвольного счета
У меня есть файл из ~1 -2 миллионов строк, который я пытаюсь уменьшить, подсчитывая повторяющиеся группы строк, сохраняя порядок. uniq -c работает нормально :$ perl -E 'say for (("foo" )x 4, ("bar" )x 4, "baz"...
29.03.2019
1
ответ
Почему утилита uniq дает неожиданные результаты? [закрыто]
Я создаю сценарий оболочки, который распечатает файлы различных типов, которые есть в нашем каталоге. Это в значительной степени работает, однако по какой-то странной причине, когда я пытаюсь использовать uniq на своем выходе, это не работает. Это ...
27.12.2018