サーバーダウンから復旧まで(1) / サーバーダウンから復旧まで(2) / サーバーダウンから復旧まで(3) / C++はなぜ難しいのか

サーバーダウンから復旧まで(1)

先週、先々週とこのメモのサーバ(www.mylab.jp)が止まっていた。その経過のメモ。

• 8月25日(木) 朝 サーバダウン。
• 8月25日(木) 夕方 サーバダウンに気づく。
• 8月25日(木) 夜 復旧に取り掛かる
  • 入力を受け付けくなっていいるため電源断。(毎度これやってるのが一番の原因と思われ)
  • 再起動してみるもファイルシステム(ext3)が破損している旨のメッセージが出て起動に失敗。
  • fsck -y してfsの復旧を試みる。かなりのファイルが破損してることが確認される。
  • fsck後なんとかシステムが起動。
  • Apacheが起動しない。確認したところドキュメントルート以下が消えている。ちょっと焦る。
  • 次の日も仕事なので寝る

よりにもよってドキュメントルート(もちろんtDiaryの日記も含む)が消えていたのには焦った。

サーバーダウンから復旧まで(2)

• 8月27日(金) 夜
  • サーバを再度起動させてみる。
  • 昨日fsckしたにも関わらずまたも起動しない。もう一度fsckすると起動した。
  • 再起動のたびにfsckを求められるようになっているらしい。
  • 起動しなおしてもドキュメントルートは復活せず。

間抜けなことにここ半年以上バックアップを取っていなかった。毎度のことながらこれが一番の失敗。もしデータが復元できなければ半年分以上のメモが消えることになる。

ちなみにこのサーバはハードウェアのRAID1(ミラーリング)構成になっているが、ファイルシステムの破損に対しては何の意味もない。

これ以上あれこれやってディスクアクセスが発生するとデータ復元の可能性を低くするだけだと判断(すでに数回再起動＋fsckしているのでいまさらな気もするが・・・)。後日KNOPPIXやらを用意してデータの救出を行うことにする。この日はここまで。

サーバーダウンから復旧まで(3)

TODOを挙げる

• データの救出
• 代替サーバの用意
• 今後のバックアップ体制の検討

ネットワークにサーバを公開している以上、まずは代替サーバを立てるべきところ。しかし、すぐには用意できなさそうだったのでまずはデータの救出を先に行うことにする。

データを救出した後で現在のマシンを再セットアップして使うことにする。

今後のバックアップ体制については外部記憶装置等の周辺機器の購入も含めて検討するが、今のところpdumpfsを使ってどうにかしていく予定。

pdumpfs: Plan9もどきのバックアップシステム

C++はなぜ難しいのか

Bjarne Stroustrup Interview about C++

いやなブログ: C++ のキャストと一時オブジェクトから。