Вы вызвали скрипт без передачи переменных среды, пожалуйста, запустите от имени sudo с ключом -E

Вот рабочая версия с использованием вашего подхода:

#!/bin/bash
fileList="$1"
targetDir="$2"

## Read the list of files into an associative array
declare -A filesInFile
while IFS= read -r file; do
  filesInFile["$file"]=1
done < "$fileList"

## Collect the files in the target dir
filesInDir=("$targetDir"/*);

for file in "${filesInDir[@]}"; do
  file=${file##*/}; # get the name of the file; remove path
  ## If this file has no entry in the array, delete
  if [[ -z "${filesInFile[$file]}" ]]; then
      echo "rm $file"
  fi
done

Удалите echo, чтобы действительно удалить файлы. Обратите внимание, что я не проверяю, различается ли количество файлов, так как в этом не было особого смысла, учитывая, что количество файлов может быть одинаковым, но у вас все еще могут быть файлы, имя которых отсутствует в списке.