6
ответов

Как я могу удалить дубликаты в своем .bash_history, сохранив порядок?

Я действительно обладающий использующий control+r для рекурсивного поиска мою историю команд. Я нашел несколько хороших вариантов, которые мне нравится использовать с ним: # игнорируют дублирующиеся команды, игнорируют команды, запускающиеся с пространств
20.09.2012
5
ответов

Эффективное объединение / сортировка / уникальное большое количество текстовых файлов

Я пробую наивно: $ cat * | sort -u> /tmp/bla.txt, который не работает с: -bash: / bin / cat: Список аргументов слишком длинный Итак, чтобы избежать глупого решения вроде (создает огромный временный файл): ...
07.11.2019
5
ответов

Трубопровод, проходящий параллельно через создание нескольких подстативов

Я прочитал из этого ответа о различии между | и; https://unix.stackexchange.com/a/159492/318084; Рассмотрим две команды A и B. Когда вы пишете A | B A и B выполняются в...
31.10.2018
5
ответов

Как создать массив уникальных элементов от строки/массива в ударе?

Если у меня есть строка "1 2 3 2 1" - или массив [1,2,3,2,1] - как я могу выбрать уникальные значения, т.е. "1 2 3 2 1" производит "1 2 3", или [1,2,3,2,1] производит [1,2,3] Подобный uniq, но uniq кажется...
10.11.2014
4
ответа

Как очистить файл журнала, чтобы отображались последовательные повторяющиеся строки только один раз с числом, указывающим, сколько раз повторяется эта строка?

Текущие журналы :18 :56 :54 Информация :Запуск 18 :56 :55 Ошибка :истекло время ожидания 18 :56 :56 Ошибка :истекло время ожидания 18 :56 :57 Ошибка :истекло время ожидания 18 :56 :58 Информация :переподключено 18 :56 :59 Ошибка :превышено время ожидания
08.05.2021
4
ответа

Как удалить начальные пробелы в нескольких строках на основе отступа в первой строке?

Обработка текстовой строки -по -строке с удалением начальных пробелов в каждой строке очень проста :$ LC _ALL=C git ls -файлы | sed -nE 's :^. *(\.[^./]+ )$ :\1 :p' \ | сортировать | уникальный -c | sort -snr > lines #create example &...
09.02.2021
4
ответа

Как вывести строки для первого появления уникального значения в файле с 2 -столбцами?

У меня есть небольшой фрагмент файла, с которым я работаю :ENSDARG00000032737 ENSDARP00000120731 ЭНСДАРГ00000032737 ЭНСДАРП00000049290 ЭНСДАРГ00000061051 ЭНСДАРП00000081062 ЭНСДАРГ00000061051...
04.04.2020
4
ответа

суммируйте пару столбцов на основе соответствия полям

У меня есть большой файл в следующем формате: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4, Если значения в соответствии столбца 2, я хочу суммировать значения...
06.04.2019
4
ответа

Удаленное перезаписывание файла crontab на sudo

Я пытаюсь создать сценарий, который автоматически принимает файл на удаленном сервере и заменяет его файлом crontab, но мне отказывают в разрешении. Моя идея - создать для него функцию оболочки:...
11.02.2019
4
ответа

распечатайте полный путь родительских каталогов вывода находки

то, что я хочу сделать, должно найти все файлы на основе некоторого поискового запроса и получить родительский родительский каталог (../..) полный путь. Например, найдите. - называют "__ openerp __. py" и затем для каждого файла выполняются...
29.01.2014
3
ответа

Как удалить повторяющиеся теги на основе определенного имени атрибута в XML-файле?

Как удалить повторяющуюся строку на основе "groupName" и оставить строку с directoryId="1"?
21.05.2021
3
ответа

Удалить повторяющиеся строки, содержащие определенный текст

У меня есть большой текстовый файл, содержащий миллион строк. Я хотел бы найти идентичные строки, которые соответствуют моему конкретному тексту, и оставить первое вхождение нетронутым. Любые идеи? Так что алгоритм примерно должен быть...
13.01.2021
3
ответа

Сортировка -u (или сортировка | uniq )для пары столбцов, но сохранить информацию в третьем столбце и добавить ее в сохраненную строку?

Пытаюсь взять вот такой стол :а б привет а б до свидания г г тест a c Я предлагаю свернуть таблицу до одной строки для каждой уникальной записи в столбцах 1 и 2, но без...
26.08.2020
3
ответа

Удалить строку, если другая строка начинается с текущей строки (по столбцам)

У меня есть файл input.txt в следующем формате с разделителями табуляции: aaaa bbbb аааа ббб с аааа bbbb c dd аааа bbbb cc аааа ббб х аааа ббб хх дддд эээ dddd ...
18.12.2019
3
ответа

поиск всех неуникальных строк в файле

Я пытаюсь использовать uniq для поиска всех неуникальных строк в файле. Под неуникальной я подразумеваю любую строку, которую я уже видел на предыдущей строке. Я думал, что опция "-D" сделает это: -D ...
08.11.2019
3
ответа

Как подсчитать количество вхождений всех строк в файле, получая среднее значение для каждой строки

Я пытаюсь подсчитать количество вхождений без указания конкретной строки, просто используя вывод команды cut для вывести номер каждой повторяющейся строки, используя grep. Затем я хочу получить...
11.10.2019
3
ответа

Удалить из файла повторяющиеся строки в другом порядке

Мой файл выглядит так: alice, bob боб, кот кот, Деннис кот, боб Деннис, Алиса, я хочу удалить строки, в которых одни и те же слова повторяются в обратном порядке. В этом примере bob, cat и cat, bob - это...
04.08.2019
3
ответа

Оптимизация сценария для поиска дубликатов файлов в огромном CSV

У меня есть несколько CSV-файлов от 1 МБ до 6 ГБ, сгенерированных скриптом inotify, со списком событий, отформатированным как есть: отметка времени; полный путь; событие; размер. Эти файлы отформатированы следующим образом: отметка времени; полный пут
18.03.2019
3
ответа

Как подавить проверку ключа хоста с помощью ssh-agent

У меня есть скрипт с этим фрагментом: ssh-agent bash -c «ssh-add $ SOME _ KEY ;\git submodule update --init foo» Сценарий висит, спрашивая пользователя: RSA ключ отпечаток...
16.09.2018
3
ответа

печатать повторяющиеся строки только в полях 1,2 из файла csv

с помощью следующей команды мы можем распечатать повторяющиеся строки из файла uniq -d string file.txt, но как мы можем сделать это в файле csv? нам нужно напечатать повторяющиеся строки только в полях 1,2 из файла csv -...
22.08.2017
3
ответа

Самый быстрый 'uniq' инструмент в Linux

У меня есть файл крупного текста (1,5 G), я хочу знать, каков самый быстрый и более надежный инструмент в Linux. Я обычно использую: awk'! x [0$] ++' file.txt, Но когда я использую htop, управляет, чтобы я видел, что мое использование памяти...
21.09.2016
3
ответа

Удалить почти повторяющиеся строки

У меня есть запутанная проблема, которую я не могу понять, как решить. У меня есть текстовый файл, содержащий несколько миллионов строк текста. По сути, я хочу запустить uniq, но с одной изюминкой: если две строки идентичны...
06.05.2016
3
ответа

Как я могу получить последний номер строки уникальных команд при захвате моего файла истории?

Я полагаюсь на свой файл истории для предыдущих команд, особенно, которые длинны со многими параметрами. После того как я нахожу команду и ее номер строки (nn), я использую! nn для выполнения его. Я предпочитаю видеть полное...
07.04.2014
3
ответа

получите список месяцев с помощью dseq от dateutils

как я получил бы список месяцев, в году (сокращенных) с помощью dseq от dateutils? ПРИМЕЧАНИЕ, просто работающее: 'январь' dseq 'декабрь'-i '%b'-f '%b' возвращает огромный список месяцев: передача по каналу вывода...
25.11.2013
2
ответа

Почему я не могу получить уникальный список оболочек?

Пытаюсь получить уникальный список оболочек в моей системе. Когда я запускаю эту команду :кот /etc/passwd | вырезать -d ' :' -f 7 | уникальный я получаю :/bin/bash /bin/sync /sbin/shutdown /sbin/halt /bin/bash Я не могу...
28.01.2021
2
ответа

Распечатать подсчет количества вхождений уникального шаблона после каждого вхождения

Предположим, у меня есть файл журнала, содержащий выброшенные исключения :Исключение А loggedFunctionCall ИсключениеB Исключение А loggedFunctionCall ИсключениеD ИсключениеB loggedFunctionCall ExceptionB Я хочу посчитать...
27.12.2020
2
ответа

В чем смысл uniq -u и что он делает?

uniq, кажется, делает что-то отличное от uniq -u, даже несмотря на то, что описание для обоих - "только уникальные строки". Какая тут разница, что они делают?
17.11.2020
2
ответа

Как удалить повторяющиеся абзацы

Дан файл с абзацами (группы строк, разделенных пустой строкой ). Гарантируется, что разрывы строк внутри эквивалентных абзацев сохраняются. Есть ли способ использовать uniq для удаления...
17.09.2020
2
ответа

Как найти наиболее часто встречающееся слово в файле .csv, игнорируя дубликаты в каждой строке?

Мне нужно найти 10 наиболее часто встречающихся слов в файле .csv. Файл структурирован таким образом, что каждая строка содержит слова, разделенные запятыми. Если одно и то же слово повторяется более одного раза в одной строке, это...
03.06.2020
2
ответа

uniq -i не игнорирует регистр символов, отличных от Ascii

У меня есть txt: a.txt A а Б б Ş ş Я пробую эту команду и получаю ложный вывод: $ uniq -ic a.txt 2 A 2 B 1 Ş 1 ş Как решить проблему с не-ascii-символами...
15.05.2020

Еще нет никакого руководства использования этим тегом …!

Руководство использования, также известное как тег выборка Wiki, является короткой аннотацией, которая описывает, когда и почему тег должен использоваться на этом сайте конкретно.

Еще нет никакого тега Wiki для этого тега …!

Справка wikis тега представляет вновь прибывших тегу. Они содержат обзор темы, определенной тегом, наряду с инструкциями по его использованию.

Все зарегистрированные пользователи могут предложить новый тег wikis.

(Обратите внимание, что, если у Вас есть меньше чем 20 000 репутаций, Ваш тег, Wiki будет одноранговым узлом, рассмотренным, прежде чем это будет опубликовано.)