Обнаружение общих строк в двух файлах с помощью 4 полей с помощью awk и UNIX

Я знаю, что Вы сказали, что не хотели Perl или решение Python, но это могло бы быть полезно для кого-то еще (и действительно действительно необходимо выучить один из тех языков при выполнении биоинформатики).

perl -ane '$f=$F[0].$F[1]; print "$k{$f}$_" if $k{$f}; $k{$f}=$_;' file1 file2 

ОБЪЯСНЕНИЕ:

-a опция заставит Perl разделять вход на @F массив, -n средства читают входные файлы линию за линией и -e означает, "запускает скрипт, который я даю на командной строке".

Так, $f установлен на конкатенацию первого ($F[0]) и второй ($F[1]) поля. $k{$f}=$_ средства сохраняют текущую строку ($_) как значение в хеше (ассоциативные массивы в Perl) названный k с ключом $f. Поскольку мы прочитываем файлы, печатаем текущую строку и значение $k{$f} если то значение существует. Другими словами, если мы уже видели строку, которая имеет те же два первых поля, распечатайте ту строку и текущую.

Если можно гарантировать, что каждый файл, как предполагается, имеет уникальные записи. Отсортируйте файлы с sort -u свяжите файлы. Отсортируйте снова без -u и затем поиск дублирующихся записей.

Я записал бы небольшой сценарий, но я не могу сделать этого из головы. Но это не должно быть к твердому, учитывая мой подход.

У меня есть консоль передо мной теперь.Вот:

rm -rf all; sort -u file1 > all; sort -u file2 >> all
sort all | uniq --all-repeated=separate -w 32

Если file1 file2 уже отсортированы и не содержат дублирующиеся записи, можно использовать эту команду:

sort -m file1 file2 | uniq --all-repeated=separate -w 32

О, похож, это не совсем, что Вы спросили, так как я сравниваю целые строки. Возможно, кто-то еще найдет это полезным все же.

Вы хотите распечатать пересечение этих двух файлов, не переупорядочивая их (таким образом, это не пересечение набора)? Я искал бы строковые алгоритмы подобия и рассматривал бы каждую строку как букву. Необходимо будет изменить алгоритм для отслеживания, какие буквы (строки) являются тем же и которые отличаются. Большая проблема состоит в том, что порядок является значительным, но положение не. Кроме того, можно найти легче массажировать данные путем перезаписи его для отбрасывания полей, о которых Вы не заботитесь. (Или записать функцию сравнения, которая игнорирует эти поля.)

Вы рассмотрели Python или жемчуг? Я услышал, что они популярны в поле биоинформатики. И это действительно походит на задачу программирования.