Как мне использовать ffmpeg или avconv для создания файла из необработанного источника

printf "">OutputFile
cat InputFile | 
while IFS= read -r line; do 
  if [ ! -z "$line" ]; then
    if ! grep -Fxqe "$line" OutputFile; then
      echo "$line">>OutputFile;
    fi
  fi
done

Пояснение

Создать новый OutputFile
printf "">OutputFile

Направить InputFile в цикл while
cat InputFile |

Прочитать каждую строку
while IFS= read -r line; do

Обрабатывать пустые строки
if [ ! -z "$ строка" ]; затем

Проверить, есть ли строка уже в OutputFile
Если результаты пусты, их еще нет в OutputFile (т. е. они уникальны)
if ! grep -Fxqe "$line" OutputFile; затем

Поместите строку в OutputFile
echo "$line">>OutputFile;