会員数180万人のマッチングサービスpairsの急成長を支える技術基盤ディレクターズカット版

Copyright © 2009-2015 eureka, inc. All rights reserved.
会員数180万人のマッチングサービスpairsの
急成長を支える技術基盤
Takuma Morikawa / Eureka, Inc.

訂正

訂正
↓ + 1 0 0 , 0 0 0

1. エウレカについて
2. サービスのスケール∼pairs編∼
3. そして伝説へ…
もくじ

エウレカについて
About eureka

会員数180万人のマッチングサービスpairsの急成長を支える技術基盤ディレクターズカット版

で、あんた誰？
・pairsのサーバーサイド全般を担当
・エウレカは2014年2月から
・お雑煮が好きです

F a c e b o o k のソーシャルグラフを活用した
O n l i n e D a t i n g サービス

【pairsのシステム特性】
現在、月間10億PV・スクリーンビュー超
・多対多のSNSなので、ユーザーの登録数に対して、指数関数的に
負荷が上がる
⇒  今日は余裕でも、明日はそうじゃないかも…
・ゲーム並のキャンペーン展開
=> キャンペーンの種類によって負荷のアップダウンが激しい
・接点0からはじまるコミュニケーションを提供するサービスなの
で、デリケートな配慮が必要
=> 不具合はもちろんちょっとした仕様やUXの配慮の足りなさが、
クリティカルになる

サービスのスケール
Scale of service

私が入ってちょうど一年くらい経ちました。
（2014年2月∼）

入った頃について、少し昔話をします。

あのころのわたし

あのころのわたし
（半年間の FPS 出来事は長いので省略）

あのころのわたし年表
8月（PHPがイヤで）前の会社を退職
9月無職を謳歌する
11月現金資産が目減りを始める
12月現金資産がそこをついてくる...
1月 give me chocolate

あのころのわたし年表
8月（PHPがイヤで）前の会社を退職
11月現金資産が目減りを始める
12月現金資産がそこをついてくる...
1月 give me chocolate
2月わけあって、エウレカへJOIN！ ←New!

pairsの事例を用いて、サービスの拡大と
ともに、どのようにシステムをスケールし
ていったか、ざっくりとお話します。
サービスのスケール

4つのプチストーリー
1) はじめてのリリース編
2) リニューアル編
3) RDB使えますか編
4) FIFO or LIFO編

∼ はじめてのリリース ∼
第壱話

はじめてのリリース
ʕº̫͡ºʔ（私=森川）（ボス）ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

はじめてのリリース：入社日(2月)
ʕº̫͡ºʔ< 「よろしくお願いいたします。」

はじめてのリリース：入社日(2月)
ʕº̫͡ºʔ< 「よろしくお願いいたします。」
「緊張しないでくださいね」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「席はここです」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

はじめてのリリース：入社日
ʕº̫͡ºʔ< o00(FPS以外のことをするのは久しぶりだな...)

ʕº̫͡ºʔ< o00(FPS以外のことをするのは久しぶりだな...)
ʕº̫͡ºʔ< o00(キーボード無しで人と会話できるだろうか...)

「...というわけでこんな感じで修正お願いします」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「...というわけでこんな感じで修正お願いします」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< 「かしこまりました。」

ʕº̫͡ºʔ< o00(...)

ʕº̫͡ºʔ< o00(...)
ʕº̫͡ºʔ< o00(またPHPか...)

はじめてのリリース：一週間くらいして
ʕº̫͡ºʔ< （カタカタカタ..）

ʕº̫͡ºʔ< （git push [enter] ターン！！） ←打音

ʕº̫͡ºʔ< （git push [enter] ターン！！）
ʕº̫͡ºʔ< （しばしドヤ顔。）
←打音

ʕº̫͡ºʔ< 「修正終わりました」

ʕº̫͡ºʔ< 「修正終わりました」
「お、ありがとう」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「では...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「では...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「今からリリースしちゃいます」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「では...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「今からリリースしちゃいます」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< o00(ええ！さすがC向けサービス。サイクルが早い..)

「80万人が使っているサービスですからね」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「一日の売上もX万円ありますから」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「軽微なバグも影響が大きいんですよ」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「新規の滞在時間低下は売上に影響ありますし」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「既存のDAUが下がると...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「既存のDAUが下がると...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< o00(なんか、わからんけどすごい...)

「森川さんにはリリースも担当してもらいたいので」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ちゃんと手順見てて下さい」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ちゃんと手順見てて下さい」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< o00(おお...緊張してきた...)

はじめてのリリース：コードデプロイ
「まあ、簡単なんで！」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「まあ、簡単なんで！」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「まずWebサーバーに入ります...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「まあ、簡単なんで！」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「$ ssh srv-01」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「まあ、簡単なんで！」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「$ ssh srv-01」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< o00(メモメモ...✍)

「そして公開ディレクトリに移動します」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「$ cd /path/to っと...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「$ cd /path/to っと...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ<「ふむふむ…」

「そこでおもむろに」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「$ git pull」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「$ git pull」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「ターン！（エンターキーを叩きつける）」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「$ git pull」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「ターン！（エンターキーを叩きつける）」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< o00(えっ)

「remote counting objects...」> bash
「create mode 100644 controller/user.php (100%)」> bash

「remote counting objects...」> bash
「create mode 100644 controller/user.php (100%)」> bash
ʕº̫͡ºʔ< o00（あ...）

「さて...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「さて...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「これで、リリースは終わりです」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「さて...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「これで、リリースは終わりです」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
( ิ ω ิ ) o00（ぽかーん）

「あっ！あとはapp.confを編集して...と」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「$ vi app.conf」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「$ vi app.conf」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
( ิ ω ิ )<「e?」

「ここと...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ここと...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「この部分を書き換えて下さい。」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ここと...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「ま、1,2行だけなんで」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ここと...」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「ま、1,2行だけなんで」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
( ิ ω ิ )<「」

「2台目も同様に行います」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「2台目も同様に行います」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「git pull [enter]（ターン）」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「書き換えを忘れないようにしないとですね」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「書き換えを忘れないようにしないとですね」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
( ิ ω ิ )<「あ、あの」

「なんですか？」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「なんですか？」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
( ิ ω ิ )<「ロールバックはどうするんですか...？」

「？」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「？」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
（ちっ…git初心者かよ…）> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「？」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
（ちっ…git初心者かよ…）> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
（gitさんのスゴサ、教えてやるか…）> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「git checkout」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「あるじゃないですかぁ」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「あるじゃないですかぁ」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「git reset --hard HEAD^ でもいいですよ」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ただし」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ただし」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「設定ファイルの書き換えは忘れないで下さい」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「ただし」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「設定ファイルの書き換えは忘れないで下さい」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
( ิ ω ิ )<「お、おう...」

正直

しんどい

はじめてのリリース： pairs@2014-02
この時のpairsは…

はじめてのリリース： pairs@2014-02
■ pairsの登録者数
・80万人
■ pairsの売上
・１週間の売上＝年収のx倍くらい

2014年2月頃の開発体制

2014年2月頃の開発体制
一般的…？

・AWSを使用したPHP x MySQL
-  非VPCの全てフラットな構成
・デプロイ
-  $ git pull
・ロールバック
-  $ git checkout
2014年2月頃のpairs

・AWSを使用したPHP x MySQL
-  非VPCの全てフラットな構成
・デプロイ
-  $ git pull
・ロールバック
-  $ git checkout
2014年2月頃のpairs
やっぱしんどい…

ʕº̫͡ºʔ<「…」
はじめてのリリースを終えて…

ʕº̫͡ºʔ<「また…」

ʕº̫͡ºʔ<「また…」
ʕº̫͡ºʔ<「PHPか…」

∼ はじめてのリリース ∼
完
第壱話

∼ リニューアル ∼
第弐話

リニューアル：入社一ヶ月くらいのある日
「突然ですが」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「突然ですが」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「諸事情により、UIを全部変えます」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「突然ですが」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「なのでPHP、JS、インフラ全てお願いします」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「突然ですが」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「なのでPHP、JS、インフラ全てお願いします」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< o00(クレイジー...)

説明しよう！
リニューアル

pairsのインフラとは
リニューアル

AWSのコンポーネントを
フル活用した
リニューアル

こんな感じである！
リニューアル

■ Web（App）
・EC2 2台
■ データベース
・RDS（MySQL）2台
■ キャッシュ
・ElastiCache（Memcache）2台
当時のpairsメインシステム（簡易版）

じゃん！
リニューアル

あれ…
リニューアル

なんだこれ...
全開放...?
MPやん
どこにログ保存してるんだ
ユーザー管理したいんだけど
スケーラビリティが...

なんだこれ...
全開放...?
MPやん
どこにログ保存してるんだ
ユーザー管理したいんだけど
スケーラビリティが...
しんどい

でも
リニューアル

リニューアルでは
ダウンタイムが取れるので
リニューアル

１から作りなおしました
リニューアル

システム構成図

リニューアル前
（簡略版）

リニューアル後
（簡略版）

（簡略版）
堅牢なセキュリティ！

（簡略版）
堅牢なセキュリティ！
詳細な権限設定！

VPC（AWS仮想プライベートクラウド）
EC2-Classic
VPC内
サブネット
共有
専用
アプリ間接続
インターネット経由
プライベート
N/W設計
全開放
オンプレなみ
セキュリティ
SGのみ
SG+Subnetごとの
ACL&private NW

VPC化@pairs
・EC2-Classicな構成で稼働していた
・VPCに既存のサーバーは追加できない
=> VPCの中にECを新規で作成
※ 最近は移行ツールができている模様…

VPC化@あたし
・はじめてのVPC（VPC歴 1日）
・AWS歴 20日くらい
・もちろん、かなりはまる
- NetworkACLのレスポンスとか…

IAM（権限管理）
・アプリケーションに詳細なAWS権限を付与できる
- VPCじゃなくても元々できるやつ
・サーバーに詳細なAWS権限を付与できる
- ステージングから本番へのアクセス不可とか
- 擬似本番はR e a d だけ許可とか

リニューアル��
（簡略版）

（簡略版）
柔軟なログ収集！

（簡略版）
柔軟なログ収集！
そしてデータ可視化！

導入の経緯
a) アプリケーションの高速化を行いたい
- 担当者が応答速度を集計するのが手間
- 集計結果もチェックしなければならない
b) ログのロストを防ぎたい
- 気軽に Web の作成・追加・削除を実行したい
- 証跡を残す（事件や犯罪のログになり得る）

fluentdによるログ収集
・いい感じにログ収集してくれます
- 再送機能
- パフォーマンス
- 豊富なプラグイン
-> S3への保存も簡単
-> ElasticSearchへの送信も簡単

ElasticSearch
・全文検索エンジン
・luceneクエリ使える
・REST APIとJSONでいい感じに操作できる

kibana
・いい感じにグラフ化できるダッシュボード
・ElasticSearchを裏側で利用

連携図

導入の結果
a) アプリケーションの高速化を行いたい
=> 応答速度の可視化
=> 正社員以外にも集計が可能になった
=> トータルで1 秒以上の改善を実行できた
ʕº̫͡ºʔo00（アプリのテキストログの集計もしたい…）

ブログ記事
http://eure.jp/blog/fluentd_elasticsearch_kibana/
kibanaとElasticSearchによる可視化

（簡略版）
内部から死活監視！

（簡略版）
外部からパフォーマンス監視！
内部から死活監視！

監視システム Zabbix
・様々なデータを監視できる
-  分間アクセス数・ロック数・登録者数
・しきい値を超えたらアラート
-  メール・チャット・電話 etc...
・しきい値を超えたらアクション実行
-  Apache再起動・DBクエリ抽出

監視システム NewRelic
・手軽
・一般的なサーバーの監視
・アプリケーションの監視
-  様々な言語に対応
-  応答速度の内訳を可視化できる
・DB/キャッシュ/アプリ/レンダリング
-  アプリエラー率も補足可能

・サーバー監視サービスのインストール
=> 4行
1.  rpm -Uvh http://yum.newrelic.com/pub/newrelic/el5/x86_64/newrelic-repo-5-3.noarch.rpm
2.  yum install newrelic-sysmond
3.  nrsysmond-config --set license_key=<ライセンスキー>
4.  /etc/init.d/newrelic-sysmond start

・アプリ監視サービスのインストール
=> 4行
※ PHPの実行を解析するため、性能が劣化します。
1.  yum install newrelic-php5
2.  newrelic-install install
3.  echo “newrelic.license=<ライセンスキー>” >> /etc/php.d/newrelic.ini
4.  /etc/init.d/httpd restart

（簡略版）
そして一貫したデプロイ！

（簡略版）
そして一貫したデプロイ！
Forever Git Pull！

Capistranoによるデプロイ
・デプロイ＆ロールバック！
・全て/特定のサーバーに対して同一作業
・意外に色々できます
-  緊急メンテ対応
-  リアルタイムログ監視
-  メールレポーティング

デプロイと監視 ∼新機能リリース∼
1) Capistranoでデプロイする

2) ʕº̫͡ºʔo00（バグ混入）

3) PHPのNoticeエラー上昇！

4) NewRelicからSlackへ通知

5) （通知でiPhoneが振動する）

6) 起きる（むくり ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

デプロ��と監視 ∼新キャンペーン∼

デプロイと監視 ∼新キャンペーン∼
2) ʕº̫͡ºʔo00（負荷のかかるキャンペーン開始）

3) DBコネクション・ロック待ち上昇

6) 起きる（むくり ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

Slack
・チャットツール
・美しさ × IRCの使いやすさ
・API操作

Slack 監視用チャンネル

総評
ʕº̫͡ºʔ<「VPC化は早めにやってよかった」
ʕº̫͡ºʔ<「ログシステムは少し持て余し気味」
ʕº̫͡ºʔ<「NewRelic抜きでデプロイはもはや怖い」
ʕº̫͡ºʔ<「Capistranoはたまに失敗してかわいい」
ʕº̫͡ºʔ<「Slack便利」

∼ リニューアル ∼
完
第弐話

∼ RDB使えますか∼
第参話

RDB使えますか
「UIリニューアルも終わり、一段落したね」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

RDB使えますか
「あとは私がバイオレンスな気分にならぬよう」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

RDB使えますか
「DBマスターの負荷を下げるだけですね」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

RDB使えますか
「DBマスターの負荷を下げるだけですね」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ<「そ、そうですね...」

RDB使えますか
「私の見立てでは”足あと機能”が怪しいです」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

RDB使えますか
「台風が過ぎ去る前に"カタ"をつけてください」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

RDB使えますか
「さもなくば私が"台風の目"となります」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

RDB使えますか
ʕº̫͡ºʔ<「そ、そうですか...」

RDB使えますか
ʕº̫͡ºʔ<「そ、そうですか...」
ʕº̫͡ºʔo00（ …）

説明しよう！
RDB使えますか

この時pairsは
RDB使えますか

DBマスターの
負荷が問題で
RDB使えますか

非常に困っていた
RDB使えますか

・単一サーバ/テーブルに負荷がかかる設計
- 初期のDB設計のまま
- シャーディングできず
・スレーブに検索クエリを移し終えていた
・マスターは限界までスケールアップ済み
・／(^o^)＼
RDB使えますか

よろしい、ならば…
非RDBだ！
RDB使えますか

新たなデータストアを探して
・ファイルに保存
・R e d i s
・MongoDB
・C a s s a n d r a (+ xxx万円給料上げて欲しい )
=> p e r l製の掲示板の時代に逆戻り！
=> かわいい。でも今回は様々な要因で除外
=> かわいい。でも運用面倒
=> こわい。

そこで…
RDB使えますか

DynamoDB
RDB使えますか

・簡単にスケールする書き込み負荷
・運用の手間なし
・見た目はこわいけど根は優しい
（・社内のカップルアプリCouplesでも利用事例あり）
DynamoDB

・ちょっとわかりづらい
・JOINするようなデータ集計は難しい
・厳密なトランザクションは難しい
・AWSから離れられなくなるリスク…
DynamoDBのダークサイド

DynamoDBにした結果…
RDB使えますか

DynamoDBにした結果…
RDB使えますか
負荷85-95%
負荷75%以下に

・足あと機能
・行動ログ
・通知フラグ関連
DynamoDB化の例

メール・プッシュ管理 / お知らせ /
つぶやき / ベストマッチ / 投稿フィルタ
/ キャンペーン管理 / 写真リクエスト
DynamoDB化の予定

・単一ユーザーで完結するデータ取得は向いている
・RDBのような集計クエリが使えない
- リアルタイム集計はちょっとN Gプレイ
- バッチ処理での解析はできる
- ただしプログラムを書く必要あり
DynamoDBをつかってみて

「やはり”足あと機能”でしたね。」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

ʕº̫͡ºʔ<「はい。そう思ってました。」

ʕº̫͡ºʔ<「はい。そう思ってました。」
ʕº̫͡ºʔo00（本当にそうだったとは…）

∼ RDB使えますか∼
完
第参話

∼ FIFO or LIFO ∼
第四話

「Dynamoのついでに」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
FIFO

「キュー化もしときましょう」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
FIFO

ʕº̫͡ºʔ< o00（ついで…？）
FIFO

ʕº̫͡ºʔ< o00（ついで…？）
ʕº̫͡ºʔ< 「わかりました。何使ってもいいですか？」
FIFO

「SQS使って下さい」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
FIFO

「SQS使って下さい」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ< 「直接SQSで大丈夫ですかね…？」
FIFO

「SQSを」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
FIFO

「SQSを」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「信じましょう」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
FIFO

・AWSのメッセージキューサービス
・MQサーバーの運用をしなくてよい
・要件によっては多少注意が必要
・厳密なFIFOにはならない
・指定件数取りたい場合は要工夫
SQS

・パフォーマンス / 耐障害性
- ローカルでキューイングした方が良いのでは？
- TCP接続のコストって大丈夫？
- SQSが落ちたらどうしよう
SQSを考える

わたしは、
ボスSQSを信じました。
SQS

その結果…
SQS

余裕で捌きました
6万リクエスト / 1h
SQS

・半年以上落ちることもなく安定して動いています
・パフォーマンスも安定しており、スループット課
金ではないので、コストを気にしないでもOK
・最悪ロストしてよいデータだけ入れる
SQS後

∼ FIFO or LIFO ∼
完
第四話

「このコードは愛せない」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
10月頃のある日

「このスキーマは愛せない」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「このスキーマは愛せない」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「愛が欲しい」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「時に、森川さん」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「時に、森川さん」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ<「はい、なんでしょうか」

「時に、森川さん」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
ʕº̫͡ºʔ<「はい、なんでしょうか」
ʕº̫͡ºʔ< o00（やべーな、この人...）

「問題です。」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「問題です。」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「次のうち、もっとも愛くるしいのは」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「問題です。」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「次のうち、もっとも愛くるしいのは」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「どいつ？」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「Ruby」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「Ruby」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「scala」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「Ruby」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「scala」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「golang」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「Ruby」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「scala」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「golang」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「erlang」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

ʕº̫͡ºʔ<「それはもちろん」

ʕº̫͡ºʔ<「日本人だったらやっぱり」

ʕº̫͡ºʔ<「日本人だったらやっぱり」
ʕº̫͡ºʔ<「JavaScriptですよね。」

「（俺嫌いなんだよな...）」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「（俺嫌いなんだよな...）」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「森川さん」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「（俺嫌いなんだよな...）」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「森川さん」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「未来を見ましょう」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

「（俺嫌いなんだよな...）」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「森川さん」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「未来を見ましょう」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢
「今はその時期じゃないでしょう...！」> ʕ̡̢̡ʘ̅͟͜͡ʘ̲̅ʔ̢̡̢

ʕº̫͡ºʔ<「確かに...」

ʕº̫͡ºʔ<「分かりました...」

ʕº̫͡ºʔ<「分かりました...」
ʕº̫͡ºʔ<「じゃあ⃝⃝で。」

会員数180万人のマッチングサービスpairsの急成長を支える技術基盤ディレクターズカット版

Related slideshows

More Related Content