Оставлять самую длинную строку только при дублировании первого столбца

Я не понимаю, при чем тут SOMEMAGIC

попробуйте этот файл awk

{ if ( $1 in a ) {
     if ( length(a[$1]) < length($0)) a[$1]=$0 ;
            } # $1 in a
  else  a[$1]=$0 ; }

END { for ( b in a ) {print a[b] ;}  }

использовать его (предварительная сортировка не требуется)

... egrep -w "${SAT}|${SUN}" | awk -f u.awk | sort

Использование однострочника perl:

perl -a -e '$line{$F[0]} = $_ if (length($_) > length($line{$F[0]})) ; END { foreach (sort keys %line) { print $line{$_} } };'  STs.csv STt.csv

Или, в более простой для чтения форме автономного скрипта Perl:

#! /usr/bin/perl -a

$line{$F[0]} = $_ if (length($_) > length($line{$F[0]})) ;

END {
  foreach (sort keys %line) { print $line{$_} }
};

По сути, это тот же алгоритм, что и Ответ Archemar, но в perl , а не в awk . Проще говоря: используя первое поле ввода в качестве ключа к хешированному массиву, если текущая строка ввода длиннее, чем то, что мы сохранили для массива (по умолчанию это пустая строка в perl), сохраните текущую строку. После того, как мы прочитали весь ввод (т.е. закончили), распечатайте каждый элемент хеша.

рефакторинг вашего кода (непроверенный из-за отсутствия исходных входных данных)

awk -F '^' -v OFS='\t' \
           -v sat=$(date -d saturday +%F) \
           -v sun=$(date -d sunday +%F) \
'
    $6 !~ "^"sat && $6 !~ "^"sun {next}
    { line = $1 OFS $3 OFS $6 }
    length(line) > lines[$1] {lines[$1] = line}
    END { for (key in lines) print lines[key] }
' STs.csv STt.csv | sort

В GNU awk вы можете опустить завершающую сортировку , используя

    END { 
        PROCINFO["sorted_in"] = "@ind_str_asc"
        for (key in lines) print lines[key] 
    }