MongoDBの監視
•Download as PPTX, PDF•
25 likes•11,904 views
・MongoDBで何を監視すべきか ・MongoDBのコマンド・メソッドによる監視 ・運用監視ツールとの連携して監視 ・MMS(MongoDB Monitoring Service)で監視
Report
Share
MongoDBの監視
- 2. 自己紹介 名前：渡部 徹太郎 @fetaro ブログ 所属：野村総合研究所 OpenStandiaチーム 学生：東工大で情報検索の研究(@日本データベース学会) 仕事：昔:大手証券会社のオントレシステムのWeb基盤 今:オープンソース全般のサポート/コンサル 特技：サーバ基盤、Linux、KVM、ruby、MongoDB(?) エディタ：emacs派 趣味：自宅サーバ MongoDB関連： • 2年前に、友人の結婚式用のアプリを作った時に利用 • この勉強会（丸の内MongoDB勉強会）の主催者の一人 • 技評で記事連載中「MongoDBでゆるふわDB体験」
- 3. はじめに • 私はMongoDBをしっかり監視したことはあ りません！ • ただ、これから運用するお仕事が舞い込んで きます！ • とりあえず、本やWebからいろいろ知識をか き集めて考えてみました • 間違ってたらツッコんでください！
- 4. アジェンダ • 何を監視するのか？ • どうやって監視するか？ • 監視コマンド・メソッドで監視 • 運用監視ツールで監視 • MMS ( MongoDB Monitoring Service )で監視
- 5. アジェンダ • 何を監視するのか？ • どうやって監視するか？ • 監視コマンド・メソッドで監視 • 運用監視ツールで監視 • MMS ( MongoDB Monitoring Service )で監視
- 8. アジェンダ • 何を監視するのか？ • どうやって監視するか？ • 監視コマンド・メソッドで監視 • 運用監視ツールで監視 • MMS ( MongoDB Monitoring Service )で監視
- 9. どうやって監視するか？ 監視コマンド・メソッドで監視 $ mongostat MongoDB全体の状態をリアルタイムに表示 一番便利。とりあえず何か起きたらこれを打つ。 $ mongotop コレクションの処理時間順にリアルタイムに表示 負荷が集中している箇所を探すのによい。 > db. serverStatus() MongoDB全体の統計情報をjsonで表示。 圧倒的な情報量。監視スクリプトに食わせるとよい。 > db.stats() あるデータベースに対する統計情報jsonで表示。 > db.(コレクション 名).stats() あるコレクションに対する統計情報jsonで表示。 PaddingFactorを見たい場合に。 > cursor.explain() 例) db.col.find.explain() Findした際の実行計画を表示。Indexが効いているか見た い場合に。 > db.currentOp() 現在稼働中のオペレーションが見れる。クエリが長い場合 に。 $ mongosniff オペレーションが全部見える。最終手段。
- 10. 何をどうやって監視するか？ 想定する障害 Pri 監視方法 監視内容 インデックスがうまく使わ れていない 高 mongostatのidx miss% corsor.explain() インデックスはメモリに乗っているか インデックスは使われているか ロック解放待ちが多い 高 mongostatのLocked% ロック時間が稼働時間に対して大きく なっていないか メモリにデータが載ってい ない 高 mongostatのresや faults データ量が物理メモリを超えてページ フォルトが発生していないか ディスクが遅い 高 OSコマンド(iostatな ど) ディスクの処理時間は遅くないか Syncが多発 中 mongostatのflushes Syncが多発していないか コレクションが��大して再 配置が多発 中 コレクション stats.paddingFactor Padding_factorは1より大きい値になって いないか ディスク容量枯渇 中 OSコマンド(df など) ディスク容量があふれないか ネットワークリソースの枯 渇 低 mongostatのconn OSコマンド(netstatな ど) コネクション数は、TCPのソケット数の 最大に達していないか ネットワークIO待ちが多い 低 mongostatの netIN,netOut ネットワーク流量が回線の通信容量に 迫っていないか？ 設定ミス、バグによるハン 低 MongoDBのログ、 ログにエラーは出ていないか
- 11. 簡単に負荷をかけて観察してみる • 環境 • メモリ１G • テスト１ o 500Mデータを挿入した後、ランダムで読み込み o →メモリに乗るため、ディスクへのアクセスは起き ない • テスト２ o 2Gのデータを挿入した後、ランダムで読み込み o →メモリに乗らないため、page faultが起きディスク アクセスが頻発→スループット低下
- 12. アジェンダ • 何を監視するのか？ • どうやって監視するか？ • 監視コマンド・メソッドで監視 • 運用監視ツールで監視 • MMS ( MongoDB Monitoring Service )で監視
- 13. どうやって監視するか？ 運用監視ツールで監視 運用監視ツールとMongoDBの連携以下のようにいくつか ある。 • MongoDB – Zabbix 連携 • MongoDB - Nagios 連携 • MongoDB - Munin 連携 今回はMongoDB – Zabbix 連携を紹介。 他も同じ仕組み（なはず）
- 14. Zabbix-MongoDB連携の仕組み server Zabbix server your server mongod your client Web browser Web Consoleview data MongoDB pligin PHP Script MongoDB Driver serverStatus() Command
- 16. アジェンダ • 何を監視するのか？ • どうやって監視するか？ • 監視コマンド・メソッドで監視 • 運用監視ツールで監視 • MMS ( MongoDB Monitoring Service )で監視
- 17. どうやって監視するか？ MMS (MongoDB Monitoring Service)で監視 一味違うMMS! • 開発元である10genが提供 • アカウントの登録さえしてしまえば、無料で使える • クラウド上(AWS上)にあり、手元のMongoDBをMMS- Agent経由でクラウドにつなぐ • クラウド上のMSSコンソールにはブラウザでアクセス 。ここでいろいろ見れる • 一つのMMS-Agentを設置すれば、手元の環境の MongoDBを何台でもつなげる（今まで紹介した運用監 視ツールとは大きく違う！）。 • 独自のダッシュボートが作れる • バックアップもできるらしい
- 18. MMS の仕組み MMS (on AWS) your server #1 MMS Agent your server #2 pymongo Internet mongod mongod push data (over HTTP/SSL) gather data view data your client Web browser your server #3 mongod gather data app key
- 19. MMSのインストール 1. MMSのアカウントを作る o http://www.10gen.com/products/mongodb-monitoring-service 2. MMSにログイン o https://mms.10gen.com/user/login 3. MMS Agentのダウンロード o settingsからアプリキー込みのバイナリをダウンロード 4. Pythonとpymongoのインストール 5. MMS Agentの解凍＆起動 $ yum install python python-setuptools $ easy_install pymongo simple_json $ unzip 10gen-mms-agent-mlfie.zip $ cd mms-agent $ python agent.py
- 21. MMSの画面 host一覧画面
- 23. MMSの画面 ログビュー