Могу ли я установить один профиль для каждого сервера, к которому я подключаюсь по SSH?

Every time I connect a new remote server with ssh, I need to set some configs like completion-ignore-case on in my ~/.inputrc manually.

На локальном или удаленном компьютере?

Для локальной машины см. следующую опцию в .ssh/config:(, извлеченную изman 5 ssh_config):

     LocalCommand
             Specifies a command to execute on the local machine
             after successfully connecting to the server.  The
             command string extends to the end of the line, and is
             executed with the user's shell.  Arguments to
             LocalCommand accept the tokens described in the
             TOKENS section.

             The command is run synchronously and does not have
             access to the session of the ssh(1) that spawned it.
             It should not be used for interactive commands.

             This directive is ignored unless PermitLocalCommand
             has been enabled.

Для удаленного выполнения команды вы можете использовать опцию SendEnv, чтобы установить переменную INPUTRCв ваш специальный файл (pre -)crafter inputrc (см. man 1 bashи выполнить поиск INPUTRC )