Вопросы Теги

Как удалить дублирующиеся строки в большом текстовом файле мульти-ГБ?

Я переопределил все мой ls ярлыки в моем .zshrc.

Это - соответствующий раздел:

# enable color support of ls and also add handy aliases
if [ "$TERM" != "dumb" ]; then
    if [ -n ~/.dir_colors ]; then
        eval "`dircolors -b ~/.dir_colors`"
    else
        eval "`dircolors -b /etc/DIR_COLORS`"
    fi
    alias ls='ls --color=auto'
    #alias dir='ls --color=auto --format=vertical'
    #alias vdir='ls --color=auto --format=long'
fi

# some more ls aliases
alias l='ls -CF'
alias ll='ls -ClhF'
alias la='ls -CaF'
alias lla='ls -CalhF'
alias l.='ls -CAF --ignore=\*'
alias ll.='ls -CAlhF --ignore=\*'
alias t='tree -C'

Отметьте это ls переопределен самостоятельно:

% type ls
ls is an alias for ls --color=auto
16
13.04.2017, 15:36
1 ответ

Попытайтесь использовать вид с -o/--output=FILE опция вместо того, чтобы перенаправить вывод. Вы могли бы также попытаться установить buffer-size с -S/--buffer-size=SIZE. Кроме того, попробуйте -s/--stable. И прочитайте страницу справочника, она предлагает всю информацию, которую я дал.

Полная команда, которую можно использовать, который мог бы работать на то, что Вы делаете:

sort -us -o wordlist_unique.lst wordlist.lst

Вы могли бы также хотеть считать следующий URL:

http://www.gnu.org/s/coreutils/manual/html_node/sort-invocation.html

Это более тщательно объясняет вид, чем страница справочника.

18
27.01.2020, 19:48
  • 1
    спасибо за предложение, к сожалению, с помощью - вывод все еще не фиксирует из ошибки памяти. Выполнение, которое все еще дает мне sort: write failed: /root/tmp/sortVxscLn: No space left on device. Проблема является немного раздражающей в этом, она не перестала работать сразу же. Кажется, что необходимо ожидать памяти, которая будет исчерпана, прежде чем это будет ошибка. –  greatwolf 29.08.2011, 07:20
  • 2
    @Victor T.: Это не из ошибки памяти, а из ошибки дискового пространства. / является корнем в другой файловой системе к Вашим данным? Если так, используйте-T/-опция временного каталога к sort использовать файловую систему с большим свободным пространством. –  camh 29.08.2011, 08:04
  • 3
    @camh благодарит, который добился цели. Не понял, что Вы могли указать, какое промежуточное звено буферизуют для использования. –  greatwolf 29.08.2011, 08:28

Теги

Похожие вопросы