Как я могу сравнить два файла, используя только две колонки, и распечатать разницу (без сортировки)?

Способ сравнения файлов четко не объяснен/не определен.

Впрочем, это не помешало мне попытаться прочитать ваши мысли...

Насколько я понимаю, файл 2 является своего рода файлом базы данных или ссылкой. Файл 1 предположительно содержит новые данные.

"Сравнение" как я понял :если значение столбца 2 или 3 файла 1 уже найдено в файле 2 (т.е. ссылка ), то не печатать/включать его. В противном случае распечатайте/включите его.

Хорошей новостью является то, что он действительно не требует сортировки... как вы и просили....

Ниже приведен сценарий с двумя параметрами. :Первый — это новый файл данных (файл 1 в вашем примере ). Второй файл базы данных (файл 2 в вашем примере ).

#!/bin/bash

new_file=$1
db_file=$2

# Just checking the last parameter
if [ "x" = "x$db_file" ]; then
    echo >&2 "[ERROR] This scripts expect 2 file path as parameter."
    exit 1
fi

if [ ! -f $new_file ]; then
    echo >&2 "[ERROR] First parameter file doesn't exist."
    exit 2
fi

if [ ! -f $db_file ]; then
    echo >&2 "[ERROR] First parameter file doesn't exist."
    exit 3
fi


declare -A data_base

# Open both files and assign to file descriptor 10 and 11
exec 10< $new_file
exec 11< $db_file

# Step 1
# Building map of base data first (for the comparison to happen in next step)
first_line=1
while [ /bin/true ]; 
do
    read -u 11 db_file_col1 db_file_col2 db_file_col3 db_file_rest  || {
        break;
    }

    # Skipping the header so that it will appear in the diff as shown in the example
    if [  $first_line -ne 0 ]; then
        first_line=0
        continue
    fi


    # Creating map from Col 2 and Col 3 (keys) to the whole line (value)
    data_base[$db_file_col2]="$db_file_col1 $db_file_col2 $db_file_col3 $db_file_rest"
    data_base[$db_file_col3]="$db_file_col1 $db_file_col2 $db_file_col3 $db_file_rest"
done


# Step 2
# Actual comparison... 
while [ /bin/true ]; 
do
    read -u 10 new_file_col1 new_file_col2 new_file_col3 new_file_rest  || {
        break;
    }

    if [ -z "${data_base[$new_file_col2]}" ] && [ -z "${data_base[$new_file_col3]}" ]; then
        echo "$new_file_col1 $new_file_col2 $new_file_col3 $new_file_rest"
    fi

done

Если вы сохраните скрипт в файл с именем process.sh, например (, а затем выполните команду chmod 755 process.sh, чтобы сделать его исполняемым ), то выполнение:

./process.sh file1 file2 

в то время как привести к вашему точному ожидаемому выходу/результату.

ПРИМЕЧАНИЕ. :Этот сценарий удерживает в памяти как минимум вдвое больше содержимого файла 2. Убедитесь, что у вас достаточно памяти....