Възстановете git подмодули от .gitmodules

Имам папка, която беше git repo. Той съдържа някои файлове и файл .gitmodules. Сега, когато направя git init и след това git submodule init, резултатът от последната команда е нищо. Как мога да помогна на git да види подмодули, дефинирани във файла .gitmodules, без отново да стартирам git submodule add на ръка?

Актуализация: това е моят .gitmodules файл:

[submodule "vim-pathogen"]
    path = vim-pathogen
    url = git://github.com/tpope/vim-pathogen.git
[submodule "bundle/python-mode"]
    path = bundle/python-mode
    url = git://github.com/klen/python-mode.git
[submodule "bundle/vim-fugitive"]
    path = bundle/vim-fugitive
    url = git://github.com/tpope/vim-fugitive.git
[submodule "bundle/ctrlp.vim"]
    path = bundle/ctrlp.vim
    url = git://github.com/kien/ctrlp.vim.git
[submodule "bundle/vim-tomorrow-theme"]
    path = bundle/vim-tomorrow-theme
    url = git://github.com/chriskempson/vim-tomorrow-theme.git

и ето списък на тази директория:

drwxr-xr-x  4 evgeniuz 100 4096 июня  29 12:06 .
drwx------ 60 evgeniuz 100 4096 июня  29 11:43 ..
drwxr-xr-x  2 evgeniuz 100 4096 июня  29 10:03 autoload
drwxr-xr-x  7 evgeniuz 100 4096 июня  29 12:13 .git
-rw-r--r--  1 evgeniuz 100  542 июня  29 11:45 .gitmodules
-rw-r--r--  1 evgeniuz 100  243 июня  29 11:18 .vimrc

така че определено е на най-високо ниво. git директорията не се променя, само git init се прави


person evgeniuz    schedule 29.06.2012    source източник
comment
Подмодулите присъстват ли вече, в смисъл, че ако преминете към която и да е директория на подмодул, има налични файлове и git rev-parse --show-toplevel ви дава подмодула, а не директорията на супермодула?   -  person Mark Longair    schedule 29.06.2012
comment
не, директории на подмодули не присъстват. представете си, че тази папка е напълно празна само с .gitmodules файл   -  person evgeniuz    schedule 29.06.2012
comment
А, виждам какъв е проблемът - актуализирах отговора си.   -  person Mark Longair    schedule 29.06.2012


Отговори (7)


git submodule init разглежда само подмодули, които вече са в индекса (т.е. „поетапни“) за инициализация. Бих написал кратък скрипт, който анализира .gitmodules и за всяка двойка url и path се изпълнява:

git submodule add <url> <path>

Например, можете да използвате следния скрипт:

#!/bin/sh

set -e

git config -f .gitmodules --get-regexp '^submodule\..*\.path$' |
    while read path_key path
    do
        url_key=$(echo $path_key | sed 's/\.path/.url/')
        url=$(git config -f .gitmodules --get "$url_key")
        git submodule add $url $path
    done

Това се основава на начина, по който самият git-submodule.sh скрипт анализира .gitmodules файл.

person Mark Longair    schedule 29.06.2012
comment
имаш предвид git submodule update --init? всички тези команди се провалят тихо. Изглежда, че git не вижда модули, дефинирани само в .gitmodules - person evgeniuz; 29.06.2012
comment
След git submodule init виждате ли изход от git config --list | grep submodule? (Както се казва в документацията, git submodule init трябва да инициализира подмодулите, т.е. да регистрира всяко име на подмодул и url, намерени в .gitmodules в .git/config.) - person Mark Longair; 29.06.2012
comment
не, нищо. git config --list дава само стандартни стойности, без споменаване на подмодули - person evgeniuz; 29.06.2012
comment
@Shark: това е странно - бихте ли актуализирали въпроса си със съдържанието на вашия .gitmodules файл? Също така, вашият .gitmodules файл определено ли е на най-високото ниво на вашето хранилище, а не поддиректория? - person Mark Longair; 29.06.2012
comment
Благодаря, все пак мислех, че има по-генеричен начин от скрипт :) - person evgeniuz; 29.06.2012
comment
@Shark: да, аз също - и може би пропускам нещо очевидно! Мисля обаче, че идеята за инициализиране от .gitmodules е, че той ще бъде ангажиран в същия комит (или близо до същия комит) като този, който е добавил подмодулите към дървото, така че да има само .gitmodules, но без подмодули в индекса , е необичайна ситуация. - person Mark Longair; 29.06.2012
comment
git submodule update --init -f - ще разклонява подмодули към its dirs моментално. - person iegik; 18.01.2013
comment
Благодаря ти за сценария, @MarkLongair! - person James Conroy-Finn; 02.11.2016
comment
Благодаря за решението! Използваемостта на git е най-лошата, която съм виждал! - person DenisKolodin; 02.11.2016
comment
Един от проблемите тук е, че тъй като оригиналният .git не е наличен, вие не знаете към кой commit-id е бил прикачен подмодулът, това затруднява придобиването на точната версия на подмодула, която сте имали в оригиналното хранилище. - person CMCDragonkai; 05.01.2017
comment
Някой има ли решение за анализиране на клона във файла .gitmodules и добавяне на подмодула, използвайки правилния клон? - person Fred Stark; 27.07.2017
comment
За съжаление, ако подмодулът съдържа интервали като след git submodule add URL 'path with spaces', това решение е неуспешно. Може би опитайте нещо като git config -f .gitmodules -z --get-regexp '^submodule\..*\.path$' | sed -z 's/\n.*$//' | tr '\0' '\n' | while read keys; .. - person Tino; 09.11.2017
comment
Ако някои подмодули вече са в индекса, скриптът ще излезе. За да избегнете това: git submodule add $url $path || вярно - person schwart; 19.11.2018
comment
Това беше много полезно. Благодаря!! - person pztrick; 16.04.2021

Разширявайки отговора на @Mark Longair, написах bash скрипт за автоматизиране на стъпки 2 и 3 от следния процес:

  1. Клонирайте репо „boilerplate“, за да започнете нов проект
  2. Премахнете папката .git и инициализирайте отново като ново репо
  3. Инициализирайте отново подмодулите, като подканяте за въвеждане, преди да изтриете папки

#!/bin/bash

set -e
rm -rf .git
git init

git config -f .gitmodules --get-regexp '^submodule\..*\.path$' > tempfile

while read -u 3 path_key path
do
    url_key=$(echo $path_key | sed 's/\.path/.url/')
    url=$(git config -f .gitmodules --get "$url_key")

    read -p "Are you sure you want to delete $path and re-initialize as a new submodule? " yn
    case $yn in
        [Yy]* ) rm -rf $path; git submodule add $url $path; echo "$path has been initialized";;
        [Nn]* ) exit;;
        * ) echo "Please answer yes or no.";;
    esac

done 3<tempfile

rm tempfile

Забележка: подмодулите ще бъдат извлечени в края на техния главен клон вместо в същия комит като шаблонното репо, така че ще трябва да направите това ръчно.

Прехвърлянето на изхода от git config в цикъла за четене причиняваше проблеми с подканата за въвеждане, така че вместо това го извежда във временен файл. Всякакви подобрения на първия ми bash скрипт биха били добре дошли :)


Големи благодарности на Марк, https://stackoverflow.com/a/226724/193494, bash: вложено интерактивно четене в рамките на цикъл, който също използва read, и tnettenba @ chat.freenode.net за това, че ми помогна да стигна до това решение!

person Kevin C.    schedule 08.03.2013

Разширяване на отличния отговор на @Mark Longair за добавяне на подмодул, съобразен с име на клон и репо.

#!/bin/sh

set -e

git config -f .gitmodules --get-regexp '^submodule\..*\.path$' |
    while read path_key path
    do
        name=$(echo $path_key | sed 's/\submodule\.\(.*\)\.path/\1/')
        url_key=$(echo $path_key | sed 's/\.path/.url/')
        branch_key=$(echo $path_key | sed 's/\.path/.branch/')
        url=$(git config -f .gitmodules --get "$url_key")
        branch=$(git config -f .gitmodules --get "$branch_key" || echo "master")
        git submodule add -b $branch --name $name $url $path || continue
    done
person mauron85    schedule 12.11.2018
comment
Това работи чудесно, но също така дублира всеки запис във файла .gitmodules, който се нуждае от ръчно почистване след факта. - person Marcus Ottosson; 18.08.2020

Имах подобен проблем. git submodule init се проваляше тихо.

Когато го направих:

git submodule add <url> <path>

Имам:

The following path is ignored by one of your .gitignore files: ...

Мисля, че пътеките .gitignore(d) може да са причината.

person Henry    schedule 27.06.2014

Актуализирана версия на скрипта от @mark-longair. Този също поддържа разклонения, обработва случая, когато някои от подмодулите вече съществуват в .git/config, и когато е необходимо архивира съществуващи директории със същото име като пътищата на подмодула.

git config -f .gitmodules --get-regexp '^submodule\..*\.path$' |
    while read path_key path
    do
        url_key=$(echo $path_key | sed 's/\.path/.url/');
        branch_key=$(echo $path_key | sed 's/\.path/.branch/');
        # If the url_key doesn't yet exist then backup up the existing
        # directory if necessary and add the submodule
        if [ ! $(git config --get "$url_key") ]; then
            if [ -d "$path" ] && [ ! $(git config --get "$url_key") ]; then
                mv "$path" "$path""_backup_""$(date +'%Y%m%d%H%M%S')";
            fi;
            url=$(git config -f .gitmodules --get "$url_key");
            # If a branch is specified then use that one, otherwise
            # default to master
            branch=$(git config -f .gitmodules --get "$branch_key");
            if [ ! "$branch" ]; then branch="master"; fi;
            git submodule add -f -b "$branch" "$url" "$path";
        fi;
    done;

# In case the submodule exists in .git/config but the url is out of date

git submodule sync;

# Now actually pull all the modules. I used to use this...
#
# git submodule update --init --remote --force --recursive
# ...but the submodules would check out in detached HEAD state and I 
# didn't like that, so now I do this...

git submodule foreach --recursive 'git checkout $(git config -f $toplevel/.gitmodules submodule.$name.branch || echo master)';
person bokov    schedule 07.01.2020

Знам, че мина известно време, но искам да споделя тази версия, която извиква git config само веднъж, не изисква скрипт и също така обработва разклонения:

git config -f .gitmodules --get-regexp '^submodule\.' | perl -lane'
$conf{$F[0]} = $F[1]}{
@mods = map {s,\.path$,,; $_} grep {/\.path$/} keys(%conf);
sub expand{$i = shift; map {$conf{$i . $_}} qw(.path .url .branch)}
for $i (@mods){
    ($path, $url, $branch) = expand($i);
    print(qq{rm -rf $path});
    print(qq{git submodule add -b $branch $url $path});
}
'

Единственият страничен ефект е резултатът от командите, нищо не се изпълнява, така че можете да одитирате, преди да се ангажирате с тях.

Това работи с просто копиране и поставяне в конзолата, но трябва да е тривиално за поставяне в скрипт на обвивка.

примерен изход:

rm -rf third-party/dht
git submodule add -b post-0.25-transmission https://github.com/transmission/dht third-party/dht
rm -rf third-party/libutp
git submodule add -b post-3.3-transmission https://github.com/transmission/libutp third-party/libutp
rm -rf third-party/libb64
git submodule add -b post-1.2.1-transmission https://github.com/transmission/libb64 third-party/libb64
rm -rf third-party/libnatpmp
git submodule add -b post-20151025-transmission https://github.com/transmission/libnatpmp third-party/libnatpmp
rm -rf third-party/miniupnpc
git submodule add -b post-2.0.20170509-transmission https://github.com/transmission/miniupnpc third-party/miniupnpc
rm -rf third-party/libevent
git submodule add -b post-2.0.22-transmission https://github.com/transmission/libevent third-party/libevent
person alexgirao    schedule 13.03.2018

За потребители на zsh, опитайте моята функция, която поддържа DRY_RUN=1, за да видите какви команди ще бъдат изпълнени и използва само git за анализиране на файла вместо sed.

gsub_file() {(
  set -eu

  cd "$(git rev-parse --show-toplevel)"

  submodule_paths=(
    "${(@f)$(git config --file ./.gitmodules --get-regexp "path" | awk '{ print $2 }')}"
  )
  submodule_urls=(
    "${(@f)$(git config --file ./.gitmodules --get-regexp "url" | awk '{ print $2 }')}"
  )
  submodule_branches=(
    "${(@f)$(git config --file ./.gitmodules --get-regexp "branch" | awk '{ print $2 }')}"
  )

  sh_c() {
    echo + "$*"
    if [ "${DRY_RUN-}" ]; then
      return
    fi
    eval "$@"
  }

  for (( i=1; i <= ${#submodule_paths[@]}; i++ )) do
    p="${submodule_paths[$i]}"
    if [ -d "$p" ]; then
      continue
    fi

    url="${submodule_urls[$i]}"
    unset b
    if [ "${submodule_branches[$i]-}" ]; then
      b="-b ${submodule_branches[$i]}" 
    fi
    sh_c git submodule add "${b-}" "$url" "$p"
  done
)}
person nhooyr    schedule 14.09.2020