Попробуйте:
$ sed -e 's/:[^:]*:/:123:/' file
sed:123:abc
sed:123:efg
sed:123:zyx
Думаю, вы неправильно настроили файл limit.conf. Нет такой опции, как открытые файлы.
- **nofile** - max number of open file descriptors
Вы должны использовать опцию "nofile" вместо открытых файлов. Это решит мою проблему.