Решено, поскольку ключ нужно было расшифровать по-другому, и плохое магическое число исчезло.
openssl aes-256-cbc -K $encrypted_<...>_key -iv $encrypted_<...>_iv -in deploy_rsa.enc -out /tmp/deploy_rsa -d
Где $encrypted_<...>_key
и $encrypted_<...>_iv
генерируются
travis encrypt-file deploy_rsa --add
.