почему моя первая операция pipe не удалила символ новой строки?

Попробуйте это, чтобы получить временные метки из первой и последней строк в файле журнала:

{ head -n 1 my_log_file; tail -n 1 my_log_file; } | awk '{print $4}' | tr -d '['

В стороне, это похоже на журнал Apache, и вы можете использовать Logstash для проанализируйте свои структурированные журналы.