rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
rsyncを高速に
1TBのデータをrsyncでインターネット経由でAzureに同期したいわけですが、普通に $ rsync source_directory/ rsync://myrsyncserver.japaneast.cloudapp.azure.com/target_directory/なんてやってたら、超絶時間がかかるわけで、何とかしたい。 拙宅ではauひかりホーム10Gを導入しているので、Azure東日本リージョンまでそこそこのスピードが出るはず。 Standard_D16s_v3のVMにUbuntu 18.04-LTS、OS DiskはIOPSをある程度確保するために512GBのPremium_SSD、Data DiskはPremium SSDではIOPSの限界である7,500を出せる2TB(P40)を2本付けてRAID0に。Read/Writeキャッシュ共に設定しておくこと。Azure Ma
rsyncの–link-destでの差分バックアップ | なうびるどいんぐ
自分の管理運営する各種サーバのバックアップスクリプトを見直していた時、rsyncに「--link-dest」なるオプションがあるのに気付いた このオプションを使えば指定したディレクトリを基準に差分バックアップを取る事ができ、高速化/省スペース化が望めそうだったので試してみました 流石にrsyncを知らない人は居ないだろ、ということでこれの説明は省略 rsyncは、例えば、「hoge」ディレクトリがあるとして、その中身を「fuga」ディレクトリにコピー 数日経ってから再び「hoge」ディレクトリの中身を「fuga」ディレクトリにコピー みたいにした場合に、変更のあったファイルだけを探し出してコピーしてくれます。(--deleteオプションを付ければ削除されたファイルを消すことも可能=同期) 世代管理なら--link-dest 先程ご紹介したrsyncの差分バックアップ機能には少し弱点がありま
scpとrsyncでパスのケツスラッシュのありなしの挙動を毎回迷うのでメモ - 俺たちのブログ
scpとrsync、ケツにスラッシュがあるかないか毎回確認するのでメモしておく。 個人的にはscp使わないで rsync option from/ dest/で 両方共ケツスラッシュ付けてやってる。 例 from/files_dirをdest/files_dirに持って行きたい % tree . . ├── dest └── from └── files_dir └── file 3 directories, 1 file % まとめ PATH scp rsync from/files_dir/ dest/ NG NG from/files_dir dest/ NG OK from/files_dir/ dest/files_dir/ OK OK from/files_dir dest/files_dir OK NG from/files_dir/ dest/files_dir OK OK
[メモ] root権限でrsyncする方法
サーバの移転作業時など、rootしかアクセスできない設定ファイルやアクセス権を保ったままrsyncしたいことってありませんか？ そういった際には、sudo の -A オプションと rsync の --rsync-path オプションを使うと良いようです。 まず、リモートサーバに、パスワードを標準出力に出力するスクリプトファイルを配置します（ファイルのパーミッションを厳しくするのを忘れずに）。 % cat > bin/askpass #! /bin/sh echo "{{my_password}}" % chmod 700 bin/askpass % そして、rsync を実行する際には --rsync-path オプションを使い、リモートサーバの rsync を sudo -A 経由で起動するようにすれば良いのです。 % sudo rsync -avz -e ssh \ --rsync-p
websync - rsyncのWeb管理インタフェース
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 今でこそバックアップを取る方法は色々と出ていますが、やはり昔ながらのrsyncが一番使いやすくて安心というサーバ管理者は多いのではないでしょうか。しかしそのUIがいつまでもコンソールベースというのはちょっと残念です。 そこで使ってみたいのがwebsyncです。rsyncにWeb管理インタフェースを追加するソフトウェアです。 websyncの使い方 rsyncでは様々なフラグが存在します。設定画面ではそれらを選択するだけで指定が出来るので、色々と使えるフラグを洩れなく設定できるのではないでしょうか。またスケジューリングも指定できるのでwebsyncがあればバックアップ、同期設定が簡単にできるようになるでしょう。 websyncはnode/JavaScript製のオープンソース・ソフト
rsync の複雑怪奇な exclude と include の適用手順を理解しよう
rsync は便利なんだけど、オプションが多くて難しい。特にややこしいのがファイルを選別するための --exclude と --include オプションだ。 man を読んでもイメージがつかみにくかったので、ググったり、-vvv の結果を見たり、ソースを読んだりしつつ調べてみたところ、3 つのルールを理解すれば何とかなりそうなことが分かった。 この記事では、その 3 つのルールをなるべく分かりやすく説明する。 ルール1: 指定順に意味がある コマンドライン引数は、通常、どの順番に指定しても同じ挙動になることが多い。しかし、rsync の include と exclude に関しては、指定順が意味を持つ。 man にも出てくる例で説明しよう。MP3 だけをコピーするには次のようにする。 -av はコピーするときのお決まりのオプション。ネットワーク越しにコピーするときは、-avz として圧
rsyncで多段ssh使いたいときの簡単な書き方 - As a Futurist...
多段 ssh した先のサーバに rsync したくなったのでman rsyncしたら、 -e 'ssh -o "ProxyCommand nohup ssh firewall nc -w1 %h %p"' という例が書いてあったんですが、これ段数が増えると -e ’ssh -o "ProxyCommand nohup ssh -o \"ProxyCommand nohup ssh firewall1 nc -w1 %h %p\" firewall2 nc -w1 %h %p"’ みたいにクオートのエスケープが増えてくのがすごいだるいなーと思いました。 んで、多段 ssh といえばssh hoge -t ssh fugaみたいなやり方もあって、これでいんじゃね？と思ったら案の定できました。ただ、-t付けてると警告でるので削除してあげるといいです。こんな感じ。 $ rsync -av -e '
scpとrsyncの所作の違い。気をつけるところ - さよならインターネット
scpでダサい作業していたら、riywoさんのポストを見つけて質問してみた。 そしてscpをパラレルにしてしまったのが判断ミスだったなー。けど検証する為には時間なかったから仕方ないな 2012-07-27 18:36:17 via YoruFukurou scp使わない派 2012-07-27 18:36:40 via YoruFukurou @riywo お、何使う派ですか？ 2012-07-27 18:38:13 via YoruFukurou to @riywo @kenjiskywalker rsyncですね。scpはアトミックに更新できないので。 2012-07-27 18:38:31 via YoruFukurou to @kenjiskywalker 複数のファイルとかはrsync使うけど ギガバイトくらすの大きいファイルはscpで使い分けてた。 あれ、何で使い分けてるんだっ
rsync力が足りなくて失敗した話 - 西尾泰和のはてなダイアリー
正しくは rsync -r -v public_html/foo/ server:/home/nishio/public_html/fooとやるべきところ、SRCに/をつけ忘れてfoo/fooが作られてしまう罠にはまらないように注意してたら注意力が枯渇してDSTを間違えてしまった。 rsync -r -v public_html/foo/ server:/home/nishio/public_htmlぎゃー、public_htmlの中にfooの中身が撒き散らかされたぞ！ あと --exclude=.git もつけるべきでした。 追記 @knok 最近のrsyncは-C/--cvs-exclude で .svn, .git, .bzr あたりも排除してくれる 情報ありがとうございます！
バックアップにrsync --link-destを使うと良い場合もあるよ | rutoの日記 | スラド
バックアップのためにtarやafioなどを使う場面や、単に古いファイルを取っておきたいという理由でバージョン管理システムを使う場面の何割かはrsyncを--link-destオプション付きで使った方が良い。 rsync --link-destは次のようにして使う。 これは次のような動作になる sourceをdestにコピーする。ただしoldにあるファイルと同じ内容のファイルはそのファイルへのハードリンクにする。 これを次のようにcronと組み合わせることで、毎日のバックアップが取れる。 日付を名前にしたディレクトリを作る前の日のディレクトリを--link-destのパラメータに渡して、バックアップ対象のディレクトリを新しいディレクトリにコピーする。つまりpdumpfsやrsnapshotやglastreeと同じことがrsync単体でできる。 #ちなみに--link-destはpdumpfs
rsync で pdumpfs みたいなことをする - daily dayflower
いままで履歴つきのバックアップは pdumpfs*1 でとっていたのですが，rsync のオプション（--link-dest）を使うと同等のことをできるらしいと知りました。 バックアップにrsync --link-destを使うと良い場合もあるよ | rutoの日記 | スラド rsyncで差分バックアップを行うための「--link-dest」オプション - ITmedia エンタープライズ サンプル バックアップ元のファイル群をサンプルとして作成します。 $ mkdir -p work/src/foo $ echo "baz" > work/src/foo/barこれで， - work/ - work/src/ - work/src/foo/ - work/src/foo/barのような構造ができました。これのバックアップをとっていきます。 まずは普通に rsync 履歴つき（差分）バッ
rsyncで差分バックアップを行うための「--link-dest」オプション
rsyncはオプションを駆使すれば、差分バックアップも簡単に行えます。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介します。 前回は、rsyncにかんする基本的な事項について説明しました。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介したいと思います。なお、本稿でサンプルとして示しているディレクトリ名やアカウント名は前回と同様以下のようにしています。 ローカルのバックアップ対象：~/dir1もしくは~/dir2 バックアップ先のリモートホスト：xxx.backup.com リモートホスト接続時のアカウント名：backupuser 基本形のおさらいと一部例外 まずはrsyncコマンドの基本形をおさらいしておきましょう。次のような形
rssh と rsync 3 の相性 - daily dayflower
リモートのアカウントを rssh で保護している状態で、たとえば $ rsync -a -e "ssh hogehoge" /local/path remote:/remote/pathのように実行した時に、 insecure -e option not allowed. This account is restricted by rssh. Allowed commands: scp sftp rsync If you believe this is in error, please contact your system administrator.のように表示される（そして転送されない）ようになってしまった。 原因は rssh (2.3.2) は、rsync にわたされたコマンドライン*1に -e が含まれている場合に、危険なので実行しないようになっている rsync 3.0.0 以
明日から現場で役立つ極選 rsync filter レシピ大全集からマニア向けのを2つ - （ひ）メモ
#!/bin/bash # Time-stamp: <2010-01-26 21:32:06 JST, hirose31> beginning_of_the_world() { files=" hrpc/oreno/katsu/chikin/recipe.txt hrpc/oreno/katsu/pork/recipe.txt hrpc/oreno/soup/recipe.txt hrpc/oreno/dry/recipe.txt hrpc/oreno/hayashi/recipe.txt " rm -fr hrpc mnpc for fp in $files; do fpd=${fp%/*} mkdir -p $fpd touch $fp done } end_of_the_world() { tree -F mnpc rm -fr hrpc mnpc } ### oreno/katsu
rsyncを用いたコンテンツの分散 （1/3）－ ＠IT
第2回 rsyncを用いたコンテンツの分散 内間 圭介 株式会社Cuon 2008/10/16 Rubyを使った大規模エンタープライズ開発が始まっている。Ruby on Railsでの開発において、インフラやアプリケーションアーキテクチャをどのように構成すべきかを考える（編集部） 第1回「CGMサイト構築で悩む負荷対策と拡張性の確保」では、CGMサイト構築における負荷対策と拡張性の実例をいくつか紹介した。今回は予定を変更して、rsyncを用いたコンテンツの分散について述べる。 ここではユーザー投稿画像などのデータを保存するのに、高価なストレージを導入するのではなく、安価なコンテンツ専用サーバをスケールアウトさせていく方法について説明する。 ここに挙げる方法では、コンテンツサーバをWebアプリケーションサーバにマウントしない方針を採用している。これはRuby on Rails（RoR）が本来
Open Tech Press | rsyncを使った熟練者レベルのバックアップ
この2か月で私はあちこちに出かけた。その間、メインで使っているデスクトップコンピュータは眠ったままだった。もしrsyncを使いこなせていなかったら、きっと厄介なことになっていただろう。しかし、このユーティリティを定期的に使っていたおかげで、すでに私のデータ（とにかくその大部分）は別の場所にコピーされていつでも使える状態になっていた。rsyncの習得には少し時間がかかるが、いったん覚えてしまえば、ごく短いスクリプトを使ってバックアップのニーズのほとんどに対応できるようになるはずだ。 rsyncのすばらしさはどこにあるのか。1つは、毎回ファイルを丸ごとコピーするのではなく、新旧ファイル間の差分をコピーすることでファイル転送を高速化している点だ。たとえば、この記事を書いているときも、rsyncで今すぐコピーを行い、後でまたコピーすることができる。2回目（あるいはそれ以降）にrsyncでこのファイ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yoshiaki Kawazu🐸ずん on Twitter: "rsyncする時にリモート(受け)側rsyncをrootで実行したい（ただしrootログイン不可）とか、たまに悩んで面倒になってリモート側からrsyncを実行したりしてたんだが、rsync --rsync-path 'sudo rsync' でリモート側をsudo出来たのか！"
https://github.com/hiboma/hiboma/blob/master/rsync%E3%81%A6%E3%82%99NULL%E3%83%8F%E3%82%9A%E3%83%86%E3%82%99%E3%82%A3%E3%83%B3%E3%82%AF%E3%82%99%E3%81%8B%E3%82%99%E3%81%A6%E3%82%99%E3%81%8D%E3%82%8B%E5%A5%B4.md
http://buzz.dendrocacalia.com/2009/04/sudorsync.html