Как удалить дублирующиеся буквы с помощью sed?

Эта команда удаляет все двойные буквы:

sed 's/\([[:alpha:]]\)\1/\1/g'

\1 обозначает текст внутри \(…\), так это средство команды: везде, где существует алфавитный символ, сопровождаемый отдельно, замена одним только тем алфавитным символом.

Это преобразует, например. command в comand. Было бы лучше ограничить преобразование туда, где это необходимо: строки нес отступом.

sed '/^[[:alpha:]]/ s/\([[:alpha:]]\)\1/\1/g'

Этот текст является страницей справочника, представленной для терминалов, где полужирный представлен наложением: C\bC представляется как полужирный, где \b символ возврата (число символов 8, также известный как ^H). Если управляющие символы все еще там, забывают о дублирующихся буквах и вместо этого удаляют наложение.

sed -e 's/.\b//g'

Если у Вас есть способ отформатировать вывод, transofmr C\bC к полужирному и _\bC подчеркнуть.

sed -e 's/\(.\)\b\1/\e[1m\1\e[22m/g' -e 's/_\b\(.\)/\e[4m\1\e[24m/g' |
sed -e 's/\e[22m\e[1m//g' -e 's/\e[24m\e[4m//g'

Если Ваш sed не понимает Escape обратной косой черты, используйте буквенные символы (Ctrl+H для \b и Ctrl + [для \e).

Это ни в коем случае не тривиальная задача. Простая замена на букву удваивается, имело бы катастрофические последствия. Думайте о том, что это сделало бы к словам как "внимание" или "упущение" или (более относящийся к Вашему случаю) "команда". Сценарий ниже является наивной первой попыткой в решении. Это использует словарь для определения, какие слова действительно имеют дублирующиеся буквы.

#!/usr/bin/perl

use strict;
use warnings;

my $input_file = shift//die "No file name given\n";
my $dictionary = shift//'/usr/share/dict/words';
open my $if,'<',$input_file or die "$input_file: $!\n";
open my $dict,'<',$dictionary or die "$dictionary: $!\n";
my %dictionary;
for(<$dict>){
    chomp;
    $dictionary{$_}++;
}
close $dictionary;

LINE: while(<$if>){
    chomp;

    WORD: for my $word ( split /\s+/ ){
            print "$word " and next WORD if exists $dictionary{lc $word};

            SUBSTITUTION: while($word=~ s{([A-Z])\1}{$1}i){
                exists $dictionary{lc $word} and last SUBSTITUTION;
            } #END SUBSTITUTION
            print "$word ";

     } #END WORD

     print "\n";

} #END LINE

Назовите его как

[user@host]./myscript.pl input_file optional_dictionary_file >output_file

Если Вы не предоставляете второй аргумент, значения по умолчанию файла словаря к /usr/share/dict/words, который должен быть доступным на достойном GNU/Linux.

Отказ от ответственности: Это не тестируется.

Протесты:

• Это повредится, по крайней мере, с написанными через дефис словами (это использует пробелы для решения то, что "слово").
• Это только удалит дублированные прописные буквы, чтобы не смешивать с содержанием man страница самостоятельно.
• Это нанесет ущерб hexadecimals как 0xFFFF.
• Вероятно, намного больше то, что я не вижу.

Можно ограничить изменения в затронутых строках с чем-то вроде этого:

eval sed $(
for i in NAME SYNOPSIS DESCRIPTION "RETURN VALUE" ENVIRONMENT FILES EXAMPLES DIAGNOSTICS ERRORS "SEE ALSO" "CONFORMING TO" HISTORY AUTHORS BUGS; do
  dup=$(for j in $(seq 0 ${#i}); do printf "%s%s" "${i:j:1}" "${i:j:1}"; done)
  printf " -e \"s/%s/%s/\"" "$dup" "$i"
done)

В Python:

Метод 1# Используя собственную функцию:

#!/usr/bin/env python
from __future__ import print_function
import sys

def RemoveDupliChar(Word):
        NewWord = " "
        index = 0
        for char in Word:
               if char != NewWord[index]:
                       NewWord += char
                       index += 1
        print(NewWord.strip())

with open(sys.argv[1],'r') as InputFile:
        for line in InputFile:
                if line.isupper():
                        RemoveDupliChar(line)
                else:
                        print(line,end='')

Метод 2# Используя itertools.groupby:

Благодаря @falstretu

#!/usr/bin/env python
from __future__ import print_function
import itertools
import sys

with open(sys.argv[1],'r') as InputFile:
        for line in InputFile:
                if line.isupper():
                        print(''.join(ch for ch, _ in itertools.groupby(line)))
                else:
                        print(line,end='')

Выполнение:

root@ubuntu:~# python remove_duplicate_char.py Input.txt
NAME
       nice - run a program with modified scheduling priority

SYNOPSIS
       nice     [-n    adjustment]    [-adjustment]    [--adjustment=adjustment] [command [a$

Кажется, ваш пример взят из страниц руководства.

MAN изначально проектировался как телетайп. Для жирного шрифта последовательность будет XX. Вероятно, потерялись при выводе в редактор, отсюда и двойные символы.

vi может легко удалить их.

См .: https://stackoverflow.com/questions/26634497/redirecting-man-page-output-to-file-results-in-double-letters-in-words

Попробуйте:

sed -e 's/\([A-Za-z]\)\1/\1/g'  

Просто удалите \\\+, тогда только удвоенные буквы сократятся до одной. (Работает при условии, что все символы были продублированы)

Попробуйте этот небольшой тест:

echo "PPaayy Atttteenttiioonn ttoo aallll ccoommmmaanndds" > test.txt
sed -e 's/\([A-z]\)\1/\1/g' < test.txt > test2.txt
cat test2.txt