S3とCloud Storageのファイル転送速度どのぐらいちがうのかなーと思って計測してみました。 2KBぐらいの5000枚の画像ファイルを作ってそれをインスタンス→S3、cloud StorageとS3(cloud Storage)→S3(cloud Storage)で計測してみました。 多分、ネットワークとか色々変動したりすると思うので、導入時に検証したほうがよいかと思うけど、参考までに。
#!/bin/sh set -eu mkdir $HOME/image for j in `seq 1 100` do cd $HOME/image mkdir $j && cd $j for i in `seq 1 50` do convert -size 1024x640 xc:yellow -pointsize 20 -draw "text 0,20 test_$i" test_$i.png done done
AWS
使ったコマンド
# ローカルからバケット date; aws s3 sync . s3://<foo>/`date +"%Y%m%d%H%S"` --exclude '*' --include 'image/*' --quiet; date # バケットからバケット date; aws s3 sync s3://<foo>/201506070403 s3://<foo>/`date +"%Y%m%d%H%S"` --exclude '*' --include 'image/*' --quiet; date
- インスタンス→S3 36秒
- S3→S3 44秒
# インスタンス→S3にかかった時間 2015年 6月 7日 日曜日 12:20:31 UTC 2015年 6月 7日 日曜日 12:21:07 UTC # S3→S3にかかった時間 2015年 6月 7日 日曜日 12:21:36 UTC 2015年 6月 7日 日曜日 12:22:21 UTC
GCP
使ったコマンド
date; gsutil -m rsync -d -R image gs://<foo>/`date +"%Y%m%d%H%M"`/image ; date date; gsutil -m rsync -d -R gs://<foo>/201506070403/image gs://<foo>/`date +"%Y%m%d%H%M"`/image ; date
- インスタンス→Cloud Storage 約3分
- Cloud Storage→Cloud Storage 約8分
# インスタンス→Cloud Storageにかかった時間 2015年 6月 7日 日曜日 12:02:09 UTC 2015年 6月 7日 日曜日 12:05:05 UTC # Cloud Storage→Cloud Storageにかかった時間 2015年 6月 7日 日曜日 12:13:37 UTC 2015年 6月 7日 日曜日 12:21:18 UTC
