Как получить уникальные совпадения слов из большого файла?

Флаг unzip -p перенаправляет несжатые данные на стандартный вывод. К сожалению, программа unzip по какой-то причине не имеет возможности читать из стандартного ввода. Адаптация одного лайнера python из , этот ответ на аналогичный вопрос помогает.

например:

unzip -p Zip1.zip Zip1/zip2.zip| python -c 'import zipfile,sys,StringIO;print "\n".join(zipfile.ZipFile(StringIO.StringIO(sys.stdin.read())).namelist())'

Добавлено: Java jar-инструмент может читать из stdin. украдено из этого ответа.

например:

unzip -p Zip1.zip  Zip1/zip2.zip| jar -t

вывод:

zip2/
zip2/Sample2
zip2/Sample1

исходный zip-файл:

$ unzip -l Zip1.zip 
Archive:  Zip1.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  2015-11-03 15:49   Zip1/
        5  2015-11-03 15:49   Zip1/text1
        5  2015-11-03 15:49   Zip1/text2
      474  2015-11-03 15:48   Zip1/zip2.zip
---------                     -------
      484                     4 files

Найдена соответствующая ветка Serverfault из вашего - комментария .

Это не сценарий оболочки, но он выполняет то, что было предложено в исходном вопросе:

#!/usr/bin/python
# Usage: python list-zips.py 

import zipfile
import io
import sys

def uz(f, parent=[]):

    result = []
    try:
        zf = zipfile.ZipFile(f)
        for e in zf.namelist():
            path=parent+[e]
            if e.lower().endswith(".zip"):
                result += uz(io.BytesIO(zf.open(e).read()), path)
            else:
                result.append("/".join(path))

    except Exception as ex:
        return result

    return result

print("\n".join(uz(open(sys.argv[1], "rb"), [sys.argv[1]])))

$ python list-zips.py Zip1.zip 
Zip1.zip/text1
Zip1.zip/text2
Zip1.zip/Zip2.zip/Sample1
Zip1.zip/Zip2.zip/Sample2