Копиране на големи редки файлове от отдалечен Linux сървър към отдалечен Linux сървър - Как да?

Имам два близнака CentOS 5.4 сървъра с инсталиран VMware Server на всеки.

Кой е най-надеждният и бърз метод за копиране на файлове на виртуални машини от един сървър на друг, ако приемем, че винаги използвам разреден файл за моите vmware виртуални машини?

Копирането на файловете на vm е трудно, тъй като са много големи (50 GB), но тъй като са редки файлове, мисля, че може да се направи нещо, за да се подобри скоростта на копирането.


person Fabio Vitale    schedule 11.12.2009    source източник


Отговори (4)


Ако искате бързо да копирате големи данни, rsync през SSH не е за вас. Тъй като стартирането на rsync демон за бързо еднократно копиране също е пресилено, вашите стари tar и nc правят номера по следния начин.

Създайте процеса, който ще обслужва файловете по мрежата:

tar cSf - /path/to/files | nc -l 5000

Имайте предвид, че може да отнеме на tar много време, за да провери редки файлове, така че е нормално да не виждате напредък известно време.

И получете файловете със следното в другия край:

nc hostname_or_ip 5000 | tar xSf -

Като алтернатива, ако искате да станете изискани, използвайте pv за показване на напредъка:

tar cSf - /path/to/files \
   | pv -s `du -sb /path/to/files  | awk '{ print $1 }'` \
   | nc -l 5000

Изчакайте малко, докато видите, че pv съобщава, че някои байтове са преминали, след което стартирайте приемника от другия край:

nc hostname_or_ip 5000 | pv -btr | tar xSf -
person mrts    schedule 15.04.2010
comment
благодаря за кодовия фрагмент - много полезен, scp е глупаво бавен :) - person Joy; 30.04.2014
comment
@pahoughton, няма проблем, радвам се, че съм полезен :) - person mrts; 23.06.2014

Опитвали ли сте rsync с опцията --sparse(възможно през ssh)?

От man rsync:

    Try  to  handle  sparse  files  efficiently so they take up less
    space on the destination.  Conflicts with --inplace because it’s
    not possible to overwrite data in a sparse fashion.
person ChristopheD    schedule 11.12.2009
comment
Забележка: плакатът питаше за CentOS машини, така че битът Solaris-is-broken вероятно е ненужен. - person Conrad Meyer; 11.12.2009
comment
Моля, обърнете внимание, че rsync е ужасно бавен при копиране на редки файлове. - person Sylvain Leroux; 16.07.2013

Можете да погледнете http://www.barricane.com/virtsync

(Отказ от отговорност: аз съм авторът.)

person fadedbee    schedule 02.06.2011

Тъй като rsync е ужасно бавен при копиране на разреден файл, обикновено прибягвам до използването на tar над ssh:

tar Scjf - my-src-files | ssh [email protected] tar Sxjf - -C /the/target/directory
person Sylvain Leroux    schedule 16.07.2013