Можно ли клонировать только часть git-проекта?

Попробуйте так:

svn export https://github.com/PhantomX/slackbuilds/trunk/${directory}

Будет клонирована определенная папка и удалена вся история, не связанная с ней.

git clone --single-branch -b {branch} git@github.com:{user}/{repo}.git
git filter-branch --subdirectory-filter {path/to/folder} HEAD
git remote remove origin
git remote add origin git@github.com:{user}/{new-repo}.git
git push -u origin master

Благодаря вышеизложенному у меня наконец-то это заработало. Я редактировал файл напрямую, получая ошибки, случайно включая кавычки. Ваш файл проверки.git/info/sparse -должен содержать только каталог, без кавычек. Вот пример :Этот гигантский проект :https://github.com/SharePoint/sp-dev-fx-webparts, я хотел, чтобы только редактор react -script -находился в каталоге примеров.https://github.com/SharePoint/sp-dev-fx-webparts/tree/master/samples/react-script-editor

Я следовал приведенным выше инструкциям, и все заработало, когда в моем файле проверки.git/info/sparse -было только это

образцы/реакции -скрипт -редактор

git clone --filterиз git 2.19 теперь работает на GitHub (протестировано 2021 -01 -14, git 2.30.0)

Этот параметр был добавлен вместе с обновлением удаленного протокола и действительно предотвращает загрузку объектов с сервера.

Например, чтобы клонировать только объекты, необходимые для d1этого минимального тестового репозитория:https://github.com/cirosantilli/test-git-partial-cloneя могу:

git clone \
  --depth 1  \
  --filter=blob:none  \
  --sparse \
  https://github.com/cirosantilli/test-git-partial-clone \
;
cd test-git-partial-clone
git sparse-checkout init --cone
git sparse-checkout set d1

Вот менее минималистичная и более реалистичная версия наhttps://github.com/cirosantilli/test-git-partial-clone-big-small

git clone \
  --depth 1  \
  --filter=blob:none  \
  --sparse \
  https://github.com/cirosantilli/test-git-partial-clone-big-small \
;
cd test-git-partial-clone
git sparse-checkout init --cone
git sparse-checkout set small

Этот репозиторий содержит:

• большой каталог с 10 файлами по 10 МБ
• небольшой каталог с 1000 файлами размером в один байт

Все содержимое является псевдо-случайным и, следовательно, несжимаемым.

Время клонирования в моем Интернете со скоростью 36,4 Мбит/с:

• полный :24 с
• частичное :"мгновенное"

Часть sparse-checkoutтоже нужна, к сожалению. Вы также можете загружать только определенные файлы с гораздо более понятным:

git clone \
  --depth 1  \
  --filter=blob:none  \
  --no-checkout \
  https://github.com/cirosantilli/test-git-partial-clone \
;
cd test-git-partial-clone
git checkout master -- di

но этот метод по какой-то причине загружает файлы один за другим очень медленно , что делает его непригодным для использования, если в каталоге очень мало файлов.

Анализ объектов в минимальном хранилище

Команда клонирования получает только:

• одиночный объект фиксации с верхушкой ветки master
• все 4 объекта дерева репозитория :
  • каталог верхнего уровня коммита
  • три каталога d1, d2,master

Затем команда git sparse-checkout setизвлекает только отсутствующие большие двоичные объекты (файлы )с сервера:

• d1/a
• d1/b

Более того, позже GitHub, скорее всего, начнет поддерживать:

  --filter=blob:none \
  --filter=tree:0 \

где--filter=tree:0из Git 2.20 предотвратит ненужную cloneвыборку всех объектов дерева и позволит отложить ее до checkout. Но в моем тесте 2020 -09 -18, который не проходит с:

fatal: invalid filter-spec 'combine:blob:none+tree:0'

предположительно потому, что составной фильтр --filter=combine:(, добавленный в Git 2.24, подразумеваемый множественным --filter), еще не реализован.

Я наблюдал, какие объекты были извлечены с помощью:

git verify-pack -v.git/objects/pack/*.pack

как упоминалось в :https://stackoverflow.com/questions/7348698/git-how-to-list-all-objects-in-the-database/18793029#18793029. Это не дает мне сверхчеткого указания на то, что именно представляет собой каждый объект, но указывает тип каждого объекта (commit, tree, blob), и поскольку существуют так мало объектов в этом минимальном репо, что я могу однозначно определить, что представляет собой каждый объект.

git rev-list --objects --allдействительно выдавал более четкие выходные данные с путями для дерева/клякс, но, к сожалению, он извлекает некоторые объекты, когда я запускаю его, что затрудняет определение того, что было извлечено, когда, дайте мне знать, если у кого-нибудь есть лучшая команда.

TODO найти объявление GitHub, в котором говорится, когда они начали его поддерживать.https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/от 2020 -01 -17 уже упоминает --filter blob:none.

git sparse-checkout

Я думаю, что эта команда предназначена для управления файлом настроек, в котором говорится: «Меня интересуют только эти поддеревья», чтобы будущие команды влияли только на эти поддеревья. Но в этом сложно быть уверенным, потому что текущая документация немного... скудна;-)

Сам по себе он не предотвращает получение больших двоичных объектов.

Если это понимание правильное, то это будет хорошим дополнением к git clone --filter, описанному выше, поскольку это предотвратит непреднамеренное получение большего количества объектов, если вы собираетесь выполнять операции git в частично клонированном репозитории.

Когда я попробовал Git 2.25.1:

git clone \
  --depth 1 \
  --filter=blob:none \
  --no-checkout \
  https://github.com/cirosantilli/test-git-partial-clone \
;
cd test-git-partial-clone
git sparse-checkout init

это не сработало, потому что initфактически извлек все объекты.

Однако в Git 2.28 объекты не извлекались должным образом. Но если я это сделаю:

git sparse-checkout set d1

d1не извлекается и не проверяется, хотя это явно говорит, что должно:https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/#sparse-checkout-and-partial-clonesс отказом от ответственности:

Keep an eye out for the partial clone feature to become generally available[1].

[1]: GitHub is still evaluating this feature internally while it’s enabled on a select few repositories (including the example used in this post). As the feature stabilizes and matures, we’ll keep you updated with its progress.

Так что да, сейчас слишком сложно быть уверенным, отчасти благодаря тому, что GitHub имеет закрытый исходный код. Но давайте следить за этим.

Разбивка команды

Сервер должен быть настроен с:

git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

Разбивка команды:

• --filter=blob:noneпропускает все большие двоичные объекты, но по-прежнему извлекает все объекты дерева

• --filter=tree:0пропускает ненужные деревья:https://www.spinics.net/lists/git/msg342006.html

• --depth 1уже подразумевает --single-branch, см. также:https://stackoverflow.com/questions/1778088/how-to-clone-a-single-branch-in-git

• file://$(path)требуется для преодоления git cloneпротокольных махинаций:https://stackoverflow.com/questions/47307578/how-to-shallow-clone-a-local-git-repository-with-a-relative-path

• --filter=combine:FILTER1+FILTER2- это синтаксис для одновременного использования нескольких фильтров, попытка передать --filterпо какой-то причине не удалась с :"несколько спецификаций фильтра -не могут быть объединены". Это было добавлено в Git 2.24 в e987df5fe62b8b29be4cdcdeb3704681ada2b29e «список -объекты -фильтр :реализовать составные фильтры»

  Редактировать :в Git 2.28, экспериментально я вижу, что --filter=FILTER1 --filter FILTER2также имеет тот же эффект, поскольку GitHub еще не реализует combine:по состоянию на 2020 -09 -18 и жалуется fatal: invalid filter-spec 'combine:blob:none+tree:0'. В какой версии введен TODO?

Формат --filterзадокументирован в man git-rev-list.

Документы в дереве Git:

• https://github.com/git/git/blob/v2.19.0/Documentation/technical/partial-clone.txt
• https://github.com/git/git/blob/v2.19.0/Documentation/rev-list-options.txt#L720
• https://github.com/git/git/blob/v2.19.0/t/t5616-partial-clone.sh

Протестируйте локально

Следующий сценарий воспроизводимо создает локальное хранилище https://github.com/cirosantilli/test-git-partial-clone, выполняет локальное клонирование и наблюдает за тем, что было клонировано:

#!/usr/bin/env bash
set -eu

list-objects() (
  git rev-list --all --objects
  echo "master commit SHA: $(git log -1 --format="%H")"
  echo "mybranch commit SHA: $(git log -1 --format="%H")"
  git ls-tree master
  git ls-tree mybranch | grep mybranch
  git ls-tree master~ | grep root
)

# Reproducibility.
export GIT_COMMITTER_NAME='a'
export GIT_COMMITTER_EMAIL='a'
export GIT_AUTHOR_NAME='a'
export GIT_AUTHOR_EMAIL='a'
export GIT_COMMITTER_DATE='2000-01-01T00:00:00+0000'
export GIT_AUTHOR_DATE='2000-01-01T00:00:00+0000'

rm -rf server_repo local_repo
mkdir server_repo
cd server_repo

# Create repo.
git init --quiet
git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

# First commit.
# Directories present in all branches.
mkdir d1 d2
printf 'd1/a' >./d1/a
printf 'd1/b' >./d1/b
printf 'd2/a' >./d2/a
printf 'd2/b' >./d2/b
# Present only in root.
mkdir 'root'
printf 'root' >./root/root
git add.
git commit -m 'root' --quiet

# Second commit only on master.
git rm --quiet -r./root
mkdir 'master'
printf 'master' >./master/master
git add.
git commit -m 'master commit' --quiet

# Second commit only on mybranch.
git checkout -b mybranch --quiet master~
git rm --quiet -r./root
mkdir 'mybranch'
printf 'mybranch' >./mybranch/mybranch
git add.
git commit -m 'mybranch commit' --quiet

echo "# List and identify all objects"
list-objects
echo

# Restore master.
git checkout --quiet master
cd..

# Clone. Don't checkout for now, only.git/ dir.
git clone --depth 1 --quiet --no-checkout --filter=blob:none "file://$(pwd)/server_repo" local_repo
cd local_repo

# List missing objects from master.
echo "# Missing objects after --no-checkout"
git rev-list --all --quiet --objects --missing=print
echo

echo "# Git checkout fails without internet"
mv../server_repo../server_repo.off
! git checkout master
echo

echo "# Git checkout fetches the missing directory from internet"
mv../server_repo.off../server_repo
git checkout master -- d1/
echo

echo "# Missing objects after checking out d1"
git rev-list --all --quiet --objects --missing=print

Восходящий поток GitHub .

Вывод в Git v2.19.0:

# List and identify all objects
c6fcdfaf2b1462f809aecdad83a186eeec00f9c1
fc5e97944480982cfc180a6d6634699921ee63ec
7251a83be9a03161acde7b71a8fda9be19f47128
62d67bce3c672fe2b9065f372726a11e57bade7e
b64bf435a3e54c5208a1b70b7bcb0fc627463a75 d1
308150e8fddde043f3dbbb8573abb6af1df96e63 d1/a
f70a17f51b7b30fec48a32e4f19ac15e261fd1a4 d1/b
84de03c312dc741d0f2a66df7b2f168d823e122a d2
0975df9b39e23c15f63db194df7f45c76528bccb d2/a
41484c13520fcbb6e7243a26fdb1fc9405c08520 d2/b
7d5230379e4652f1b1da7ed1e78e0b8253e03ba3 master
8b25206ff90e9432f6f1a8600f87a7bd695a24af master/master
ef29f15c9a7c5417944cc09711b6a9ee51b01d89
19f7a4ca4a038aff89d803f017f76d2b66063043 mybranch
1b671b190e293aa091239b8b5e8c149411d00523 mybranch/mybranch
c3760bb1a0ece87cdbaf9a563c77a45e30a4e30e
a0234da53ec608b54813b4271fbf00ba5318b99f root
93ca1422a8da0a9effc465eccbcb17e23015542d root/root
master commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
mybranch commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
040000 tree b64bf435a3e54c5208a1b70b7bcb0fc627463a75    d1
040000 tree 84de03c312dc741d0f2a66df7b2f168d823e122a    d2
040000 tree 7d5230379e4652f1b1da7ed1e78e0b8253e03ba3    master
040000 tree 19f7a4ca4a038aff89d803f017f76d2b66063043    mybranch
040000 tree a0234da53ec608b54813b4271fbf00ba5318b99f    root

# Missing objects after --no-checkout
?f70a17f51b7b30fec48a32e4f19ac15e261fd1a4
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb
?308150e8fddde043f3dbbb8573abb6af1df96e63

# Git checkout fails without internet
fatal: '/home/ciro/bak/git/test-git-web-interface/other-test-repos/partial-clone.tmp/server_repo' does not appear to be a git repository
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

# Git checkout fetches the missing directory from internet
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.

# Missing objects after checking out d1
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb

Выводы :отсутствуют все большие двоичные объекты за пределами d1/. Например. 0975df9b39e23c15f63db194df7f45c76528bccb, то есть d2/bотсутствует после проверки d1/a.

Обратите внимание, что root/rootи mybranch/mybranchтакже отсутствуют, но --depth 1скрывает это из списка отсутствующих файлов. Если удалить --depth 1, то они появятся в списке отсутствующих файлов.

У меня есть мечта

Эта функция может произвести революцию в Git.

Представьте себе, что вся кодовая база вашего предприятия находится в одном репозитории без уродливых сторонних -инструментов, таких какrepo.

Представьте себе хранение огромных больших двоичных объектов непосредственно в репозитории без каких-либо уродливых сторонних расширений .

Представьте, если бы GitHub разрешил для каждого файла/каталога метаданные , такие как звездочки и разрешения, чтобы вы могли хранить все свои личные данные в одном репозитории.

Представьте, если бы подмодули обрабатывались точно так же, как обычные каталоги,:просто запросите дерево SHA, а DNS-подобный механизм -разрешает ваш запрос , сначала просматривая ваш локальный ~/.git, затем сначала на более близкие серверы (зеркало/кэш вашего предприятия )и заканчивая GitHub.

Для репозиториев GitHub вы можете клонировать любые вложенные -каталоги любого репозитория GitHub (по любой ссылке ), используяhttps://github.com/HR/github-clone

Отвечу конкретными ограничениями, с которыми столкнулся.

• В VSO SSH был отключен системой безопасности, поэтому нельзя было использовать git-архив. Поддерживался только PAT/CredentialProvider.
• В нашей ветке был огромный код, поэтому git clone сам по себе занял бы как минимум 15 минут.

Вот что я сделал:

1. Один -ручной процесс :в пользовательском интерфейсе VSO, создайте новую удаленную ветвь, скажем, «emptyBranch», в которой нет файлов (все удалены ).
2. git clone --depth=1 --single-branch --branch emptyBranch <remote>(довольно быстро)
3. git checkout <branchToSyncTo> <directoryToSyncTo>(проверяет -только определенную папку)

рабочий раствор:

нужно отключить сжатие:

git config --global core.compression 0

тогда вам нужно использовать мелкое клонирование

git clone --depth=1 <url>

тогда самый важный шаг — вставить cd в ваш клонированный проект

cd <shallow cloned project dir>

Теперь шаг за шагом откройте клон

git fetch --depth=N, with increasing N

напр.

git fetch --depth=4

затем,

git fetch --depth=100

затем,

git fetch --depth=500

вы можете выбрать, сколько шагов вы хотите, заменив это N,

и, наконец, загрузите все оставшиеся версии, используя

git fetch --unshallow 

проголосуйте за, если это поможет вам:)