1
ответ

Поля cut Command

Я заметил эти два разных поля поведения полей, используя команду cut: bash: ~ $ var = `cat / proc / cpuinfo | Греп 'Модель Имя' | Uniq |. Cut --D '-F 3,4,5,6,7,8 `echo $ var Выходы Intel (R) CORE (TM) I7 -...
02.11.2018
1
ответ

Сохранить строки, содержащие только 3 поля

У меня есть файл .txt в этом формате: USER: EMAIL: PHONE, но в некоторых строках есть только USER: EMAIL Я хочу извлечь только строки, содержащие 3 поля, например, USER: EMAIL: PHONE
14.09.2018
1
ответ

Что плохого в «sort» и «uniq» делают с файлом authorized_keys?

Я пробовал кое-что, что, как мне казалось, должно было сработать. У меня была куча открытых ключей ssh, которые я хотел импортировать, поэтому я сделал это. cat public_ssh_keys .ssh / authorized_keys | сортировать | uniq> АК mv ...
27.02.2018
1
ответ

Подсчет строк с сохранением заголовка

Моя обычная идиома для подсчета количества вхождений данной строки в некоторый ввод текста: | сортировать | uniq -c | sort -n с последним sort -n необязательно используется для сортировки строк по количеству вхождений. ...
31.07.2017
1
ответ

Почему uniq считает, что あ い и い あ одинаковы?

Я пытаюсь найти дубликаты в файлах, используя: sort myfile | uniq -d Я заметил, что uniq почему-то не любит японские символы. Например, если у меня есть файл: あ い い あ Затем отсортируйте ...
29.06.2017
1
ответ

Как удалить дублирующиеся строки в большом текстовом файле мульти-ГБ?

Мой вопрос подобен этому вопросу, но с несколькими различными ограничениями: у Меня есть разграниченный список слов большого \n - одно слово на строку. Размер файлов колеблется от 2 ГБ до столь же большого как 10 ГБ. Я...
13.04.2017
1
ответ

Сортировка данных журнала с помощью bash

У меня есть файл журнала, содержащий такие записи 192.168.1.1; query = / etc / security / limits.conf; дата = 02.03.16 192.168.1.1; запрос = / etc / security / limits.conf; дата = 01.06.15 192.168.1.2; query = / etc / security / limits ....
05.03.2016
1
ответ

«Подсчитайте, как в названиях языков много разных начальных букв »

Итак, у меня есть этот текстовый документ с 89 строками. В этом документе первый столбец каждой строки - другой язык. Моя задача - посчитать, сколько разных начальных букв используется в документе. Я ...
11.10.2015
1
ответ

вид и uniq в awk

Я знаю, что существует "вид" и "uniq" там, однако, сегодняшний вопрос о том, как использовать AWK, чтобы сделать такое задание. Скажите, есть ли у меня список чего-нибудь действительно (дюйм/с, имена или числа) и я...
30.03.2015
1
ответ

Удаление дублирующихся строк после сравнения первого шаблона и специального шаблона

Я ищу код к удалению дублирующихся строк после сравнения первого разграниченного вкладкой шаблона: Пример: (↦ = вкладка) автомобиль ↦ ab ↦ 38/43 автомобиль ↦ приблизительно ↦ 2/34 содержится, ↦ приблизительно ↦ 34/34 содержатся, ↦ d ↦ 2/3 содержат ↦ ht ↦.
18.11.2014
1
ответ

Почему эти значения не могли бы быть uniq'ed вместе?

Я пытаюсь выяснить, какие IP-адреса чаще всего поражают сервер. Я получил этот вывод удивления от uniq: кошка $ access_log | awk '{печатает 1$}' | uniq-c |, вид-bnr | направляется 26 73.23.5.25...
13.08.2014
1
ответ

Uniq не удалит дубликат

Я использовал следующее завихрение команды - тихий http://api.openstreetmap.org/api/0.6/relation/2919627, http://api.openstreetmap.org/api/0.6/relation/2919628 | grep узел | awk '{печатает 3$}' | uniq когда...
08.02.2014
0
ответов

Сортировка и удаление дубликатов на месте и рекурсивно

Я хотел бы отсортировать все файлы во всех подкаталогах на месте. У меня есть 65536 файлов в 256 каталогах, каждый файл содержит одно слово в строке, и каждый файл содержит дубликаты. Чего бы я хотел, так это...
14.08.2021
0
ответов

Почему «uniq --unique» не удаляет все повторяющиеся строки?

Бег printf "lol\nlol\nfoo\n\n\n\n\nbar\nlol\nlol\nfoo\nlol\nfoo" | uniq --уникальные принты фу бар фу ржу не могу foo Почему foo печатается три раза? Разве uniq --unique не должен их удалять? Кроме того,...
17.07.2021
0
ответов

Как сортировать уникальные значения из текстового файла?

У меня есть текстовый файл, как показано ниже :А f1 Б f2 А f3 Б f4 B f5 Я хочу отсортировать его по значениям первого столбца и сохранить в отдельных файлах. Желаемый результат :A.txt :A f1 A f3 B.txt :Б f2 Б f4 С f5...
05.07.2021
0
ответов

Uniq Descending Sort в столбце

Можно ли в данных данных выполнять сортировку uniq и только печать лучшие хиты по каждому региону? Данные данные aza1 18 bcn1 16 sat2 12 lcy2 12 fra1 12 aza1 12 bcn1 10 {{1} } sat2 8 lcy2 9 fra1 13 aza1 21 bcn1 2 ...
17.04.2019
0
ответов

удалить строки с дубликатами в первом столбце в bash

У меня есть файл .txt с разделителями табуляции, и я хочу удалить строки с дубликатами в первом столбце. Если бы это можно было сделать без сортировки, это было бы замечательно, но я как бы смирился с тем, что я...
22.03.2019
0
ответов

Много дубликатов...нет fdupes, я хочу сделать скрипт

Нет fdup, пожалуйста...я хочу сделать скрипт. У меня есть много дубликатов файлов, есть более 200 я сделал (находится в стадии разработки) баш-скрипт, который делает md5sum на каждом файле, то с uniq я положил ...
01.03.2019
0
ответов

Извлечение «значения счетчика» после использования «uniq -c «

Я играю с конвейерами bash, используя кучу данных NBA. Я пытаюсь подсчитать частоту игроков на Cleveland Cavaliers, и сейчас моя команда выглядит примерно так: cut -d "," -f 2 ...
19.03.2018
0
ответов

Почему этот процесс не завершается?

wc -l | sort -t ":" -k4,4n | uniq password_demo.txt выводит root: x: 0: 0: root: / root: / bin / bash демон: x: 1: 1: демон: / usr / sbin: / usr / sbin / nologin bin: x: 2: 2: bin: / bin: / usr / sbin / nologin sys: x: 3: 3: sys: / dev: / usr / ...
26.01.2018
0
ответов

Как получить уникальные совпадения слов из большого файла?

Меня попросили написать программу для анализа частоты слов с помощью команды unix/ shell-скрипты со следующими требованиями: Ввод - это текстовый файл с одним словом в строке Вводимые слова берутся из ...
31.12.2017
0
ответов

удалить строки с одинаковым значением в данном столбце

У меня есть входной файл (отсортированный по столбцу 2 с помощью -t ,): TOP, 25424242, T0137,0.08,0.06,0.02,24 TOP, 25424242, T0138,0.07,0.06,0.01,24 TOP, 17236110, T0138,9.65,9.37,0.28,89 TOP, 23525255, T0137,0.40,0.30,0.11, ...
21.12.2017
0
ответов

назначить идентификатор uniq или серийный номер для повторяющихся значений или значений uinq на основе любого столбца

У меня есть входной файл, подобный этому, который имеет повторяющиеся значения, я хочу дать идентификатор uniq для каждого значения uniq на основе минут первого столбца (col1) повторяющиеся строки имеют один и тот же идентификатор перед десятичной точкой
21.11.2017
0
ответов

Менее дорогая версия `sort -n | уникальный -c | sort -n`

У меня есть несортированный список IP-адресов, которые мне нужно подсчитать и отсортировать по встречаемости. Я использую сортировку -n | уникальный -c | sort -n и это хорошо работает, но я бы хотел что-то менее дорогое... конечно, awk может это сделать?
30.10.2017
0
ответов

Общие черты между двумя файлами [дубликат]

У меня есть следующий код, который я запускаю на своем Терминале. LC_ALL = C && grep -F -f genename2.txt hg38.hgnc.bed> hg38.hgnc.goi.bed Это не дает мне общих черт между двумя файлами. ...
16.10.2017
0
ответов

Перед копированием данных из исходного файла проверьте целевой файл на наличие повторяющихся записей [дубликат]

Я пытаюсь скопировать строки из source.txt в target.txt. Я бы хотел, чтобы этот сценарий bash проверял каждую строку в target.txt на наличие повторяющейся записи перед копированием. source.txt содержит: a $$ a $$ a b ** b ** ...
15.10.2017
0
ответов

выберите часть файла по интервалу между строк [дубликат]

Я хочу попрактиковаться в использовании head, uniq и cut для этих данных здесь. Я знаю эту ветку, но она слишком много внимания уделяет кошке и внешнему миру программы. Хотелось бы более простого ответа. Я хочу взять интервал от ...
13.04.2017
0
ответов

`uniq` не работает в реальном времени при конвейерной передаче

Когда я запускаю for i in {1..2000}; do sleep 0.1 && echo $(netstat -s | grep -i syns); done | uniq, я вижу в реальном времени, когда выражение $(netstat -s | grep -i syns) меняется. Но когда я хочу ...
14.07.2016
0
ответов

Как удалить повторяющиеся записи в журнале Linux

Я включил общий журнал mysql и регистрировал все транзакции, происходящие за последнюю неделю. У меня также есть cronjob, который запускается каждые 5 минут, выполняя некоторые транзакции mysql, что загрязняет ...
24.06.2016
0
ответов

Попытка отсортировать два списка чисел и использование uniq для получения пересечения

У меня есть файл A и B, поэтому я использовал следующую команду ... (sort - п AB) | uniq -d, который должен дать мне числа, которые встречаются в обоих файлах. 1 2 2 3 4 5 11 11 12 31 Это числа, которые я получаю ...
25.05.2016