Используйте тот факт, что имя файла, заканчивающееся косой чертой, всегда относится к каталогу, а не к обычному файлу.
Команда
rm -r --./*/
совершит то, что вы описываете.
Единственная сложная часть, которую я вижу, заключается в том, что ваши строки шаблона и замены содержат косую черту -, поэтому, чтобы избежать необходимости экранировать их, вам нужно установить другой разделитель, например %
для sed ex.
sed '
\%^ssl.dh-file = "/etc/lighttpd/dhparams.pem"%a\
ssl.ca-file = "/etc/lighttpd/ca-cert.pem"
' lighttpd.conf