Хранить последние N МБ потока?

С помощью awk вы можете запустить:

awk '/^ko[^:]/{fn=$1;next};/./{id=fn$1;if (!(seen[id]++)){print > fn}}' file[123]

В каждой строке заголовка он сохраняет идентификатор ko ***** как fn , в под- строки заголовка он сохраняет fn $ 1 ¹ как id , используя его как индекс массива , видимый , и если это первый раз, когда id ] видно, что он записывает строку в fn .

^{1: вы также можете использовать fn $ 0}