Upload
MongoDBの可能性の話
•
6 likes
•
2,893 views
Akihiro Kuwano
Follow
道玄坂LTで発表した資料です!!!
Read less
Read more
Report
Share
Related slideshows
がっつりMongoDB事例紹介
がっつりMongoDB事例紹介
Rubyで作るクローラー Ruby crawler
Rubyで作るクローラー Ruby crawler
Rubyで始めるWebスクレイピング
Rubyで始めるWebスクレイピング
Report
Share
1 of 51
More Related Content
MongoDBの可能性の話
1.
ビッグデータの話 桑野 章弘
2.
雑か
3.
MongoDBの可能性の話 桑野 章弘
4.
自己紹介 • 桑野 章弘 •
目黒のSA • Twitter: @kuwa_tw • 属性 • MongoDB 芸人 • 息子がかわいい芸人
5.
ElastiCacheセミナー • やります!!!! • おらにえさん •
私 • サイバーエージェントの小貫様 • の3名!!!
6.
ElastiCacheセミナー • やります!!!! • @oranie
さん • 私(@kuwa_tw) • サイバーエージェントの小貫様 • の3名!!!
7.
CAの社内イベントで はありません!!!
8.
MongoDB
9.
解散!!!
10.
MongoDB • ご存知MongoDB • ドキュメントストアのNoSQL •
JavaScriptでクエリがかける • 冗長化もシャーディングもある • Version3.2が最新
11.
自己紹介
12.
ログを貯めるなと言っただ
13.
だからログを貯めるな と言っただろう!
14.
と、いいたい所なんで すが
15.
本当に今のMongoDB でもログを貯めちゃ ダメなのか?
16.
ちゅーことで
17.
今日の話 MongoDB にログを貯めてみる
18.
ビッグデータ! (勢い)
19.
ストレージエンジン • MMAPv1とWiredTiger • MMAPv1は全ての元凶 •
WiredTigerは救世主になるのか
20.
ためしてみること • キャッシュ以上のアクセスが頻発した 場合にどのくらい耐えられるのか • データBulkInsert •
大きいデータのRead
21.
実行環境 • MongoDBサーバ • c3.large •
負荷実行サーバ • c3.8xlarge
22.
BulkInsert環境 • 160000000(一億六千万)オブジェク ト • 1スレッド並列
23.
データインサート • MMAPv1 • WiredTiger
24.
MMAPv1 • 完了まで8時間半程度 • 徐々にキャッシュの改廃が追いつかな くなりスローダウン •
80000->2000tpsへ…
25.
WiredTiger • 完了まで2時間半 • 最初より遅くなってはくるが、コンス タントに速度は出ている •
70000->12000tps
26.
MMAPは スローダウン
27.
設定した2GBのキャッシュ+ Dirtyなメモリの容量
28.
MMAPへのデータ改廃が増 えるにしたがってReadが支 配的になる
29.
Read環境 • 160000000(一億六千万)オブジェク トへのアクセス • 10000オブジェクトのレンジ取得 •
100スレッド並列 • 多めのオブジェクト数を少なめの並 列度想定
30.
Read • MMAPv1 • WiredTiger
31.
MMAPv1 • 10tps程度を安定して実行 • io
waitが80%と支配的
32.
WiredTiger • 10tps程度を安定して実行 • io
waitが60%で持ちこたえている • たまーに30secくらいのすごい遅いクエ リがあるが、平均的には早い
33.
約2倍の スループット
34.
io waitが80%
35.
キャッシュ特性の違 い
36.
処理はどちらも できてる
37.
いい話で終わると思った?
38.
検証時に食らった事 • CacheGBを間違えて実メモリより CacheGB増やしたらOOM • CacheGBを実メモリギリギリにしたら OOM •
Aggregate Frameworkを複数同時にか けた結果OOM
39.
んだけOOMすんねん!!
40.
から油断するなと言っただろ
41.
そして
42.
この画像つかいすぎ
43.
結論
44.
S3にexportして RedShiftかEMR(r y
45.
も、いいんですが
46.
WiredTigerであればロ グ貯めてもある程度 耐えられる
47.
(こともある)
48.
今までログに使えなく て困ってた方はバー ジョンアップどうぞ !
49.
(根性があれば)
50.
れっつらもんご!
51.
ElastiCacheセミナー • やります!!!! • おらにえさん •
私 • サイバーエージェントの小貫様 • の3名!!!