`ssh-agent` запрашивает парольную фразу после ее добавления

Достаточно просто грепа, чтобы в каждой строке были совпадения 123.
Это не имеет смысла, если матч первый, средний или в конце.
Вы просите 123, вы получаете 123, если он находится в строке (если ваш вопрос не выражен неправильно и вам не нужно что-то другое)

$ grep -wo '123' file # -w: word match  -o : return only matched string instead of the whole line (default grep operation)

В случае, если вам нужно поймать с помощью regex первое число каждой строки (любое число - любая длина), то это сделает работу:

cat <<EOF >file1
asd 111 777 aaa wrqiqirw 123
333 123 itiewth 123 asno 123
4444 111 123 123 567
boagii what 666 asdnojaneoienton 123
EOF
grep -Po '^[0-9]+|^.*?\K[0-9]+' file1
#output
111
333
4444
666