容量もファイル数が多い時にもっとも高速に別ディレクトリ（サーバー）にコピーする方法

TOC

TL;DR

脳死で xfsdump(dump) + nc(Netcat) 一択。

昔こんな記事で pigz + nc は速いって書いたけど xfsdump(dump) 使ったほうが速いんじゃないかと思ったので雑に比較してみた。
rarirure.rip

ファイルサイズ別で２パターン

この環境はストレージもネットワーク経由でマウントされている。
ストレージ自体は 200MB/s がベストエフォート

この環境のストレージは直接 SATA SSD（RAID00）が接続されている。
ストレージ自体は最大 1000MB/s がベストエフォート

個人的によく使われてるであろうよくある手法に xfsdump + nc を追加する。

使い方

(sender) # time xfsdump - /dev/vdb | nc receiver 9999
(receiver) # nc -l 9999 | xfsrestore - /mnt/test

使い方

(sender) # time tar cf - --use-compress-prog=pigz mysql | nc receiver 9999
(receiver) # nc -l 9999 | tar xvf - --use-compress-prog=pigz

使い方

(sender) # time rsync -avhz -e 'ssh -c arcfour' minio root@receiver:/mnt/test

単位は分 lower is better

コア数が多ければ pigz + nc も速いけど、xfsdump はそれ以上に速い。
コア数が少なくても十分速い。
rsync arcfour が無いのは遅いのを分かっていたため。

昔流行った arcfour も xfsdump よりも全然遅い。

xfsdump は xfs 専用だけど、ext4 は dump がある。同じようなことが可能。