Сопоставление определенной строки, начинающейся с двойной косой черты, с помощью sed

И GNU, и BSD sedподдерживают многобайтность -в соответствующих локалях, а командаyаналогичнаtr:

$ echo hello | sed -e 'y/abcdefghijklmnopqrstuvwxyz/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/'
ｈｅｌｌｏ

Это должно работать в большинстве мест, где вы, вероятно, будете его запускать, если ваша локаль — UTF -8.

Проблема Perl не так проста, как обработка многобайтовых символов как байтов. Он прекрасно понимает ваш ввод и даже кодирует вывод, это исходный код , который он не понимает:

$ echo abc | perl -C -pe 'tr/abcdefghijklmnopqrstuvwxyz/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/'|hexdump -C
00000000  c3 af c2 bd c2 81 0a                              |.......|

Кодировка UTF -8 для «ａ» — это ef bd 81, поэтому вы можете видеть, что он обрабатывает «b» как второй байт, а затем искажает его, пытаясь закодировать на выходе, и то же самое для "с". Вам необходимо use utf8чтобы исходный код Perl (5 )был закодирован таким образом ; -Cуправляет вводом-выводом только во время работы программы.

Вы можете ввести use utf8;в строку -eили использовать -Mutf8в командной строке:

$ echo abc | perl -C -Mutf8 -pe 'tr/abcdefghijklmnopqrstuvwxyz/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/'
ａｂｃ

Perl 6 действительно решает эту проблему, как и многие другие, но...