Как этот процесс работает в фоновом режиме?

Не уверен, что это успешное шифрование, поскольку мне нужен результат шифрования в двоичном формате.

Ну, если вы действительно хотите проверить успешность шифрования, попробуйте сразу же расшифровать его и посмотреть, получите ли вы свой открытый текст обратно. Если вы получите свой открытый текст обратно, то все в порядке.

---

Я думаю, что вы запутались в том, что на самом деле означает "двоичный формат".

Это:

2c1400f69867571ab4e60d3b8f01e0b17c7be89e321f91f8a07cd39eeba202e2

на самом деле это текстовый hex формат - текстовое представление двоичного значения.

Любой файл или фрагмент данных в системе в конечном итоге представляет собой серию байтов, а байт - это (для простоты, пока не беспокойтесь о битах) просто число из диапазона от 0 до 255. Вы можете записать или отобразить байт в виде десятичного числа, шестнадцатеричного числа, двоичного числа или любого другого, требуемого приложением, обрабатывающим байты.

Существуют различные схемы представления текста в виде чисел, UTF-8, Unicode и т.д.

Для примера, строка текста "2c1400f69867571ab4e60d3b8f01e0b17c7be89e321f91f8a07cd39eeba202e2" при преобразовании в байты (показанные в десятичной системе) имеет следующий вид:

 50  99  49  52  48  48 102  54  57  56  54  55  53  55  49  97
 98  52 101  54  48 100  51  98  56 102  48  49 101  48  98  49
 55  99  55  98 101  56  57 101  51  50  49 102  57  49 102  56
 97  48  55  99 100  51  57 101 101  98  97  50  48  50 101  50

плюс новая строка. Всего 65 байт, 130, если в вашей локали используются 16-битные символы, например, Unicode. В Unicode будут те же значения, что и выше, только с 0 перед каждым значением. Это не эквивалентно значению, которое представляет текст, очевидно.

Итак, приведенная выше серия байтов - это то, что вы сказали openssl зашифровать, а не фактическое значение "2c1400f69867571ab4e60d3b8f01e0b17c7be89e321f91f8a07cd39eeba202e2" (которое было бы безумно длинным десятичным числом).

Итак, исходя из вышесказанного, ваш file.txt.enc, скорее всего, состоит из 65 или 130 случайных значений. Это то, что пытается отобразить Блокнот.

Теперь, если вам нужно текстовое шестнадцатеричное представление содержимого вашего file.txt. enc - Я думаю, это сработает (на основе этого):

xxd -p file | tr -d '\n'