Способ удаления повторяющихся строк зависит от второго столбца

Это старое решение, а это значит, что его помнят только старики вроде меня.

Найдите индекс файла с помощью ls -i. Допустим, это 1611645009. Затем в указанном вами каталоге выполните командуfind $NAME_OF_DIRECTORY -inum 1611645009 -exec /bin/rm {} \;

Если это не поможет, то я тоже озадачен.