Cloud Foundryで学ぶ、PaaSのしくみ講座
•
115 likes•26,887 views
APC勉強会 #18で発表した資料です。 http://8a1-apc.connpass.com/event/13592/ ブラックボックス化されていて、普段見ることができないPaaSの中身を、OSSのPaaSであるCloud Foundryを題材に解説します。
Report
Share
Cloud Foundryで学ぶ、PaaSのしくみ講座
- 4. PaaS
- 5. 1. コードを書く 2. PaaSにデプロイ 3. 動作！ すごく簡単 PaaS
- 6. 1. コードを書く 2. PaaSにデプロイ 3. 動作！ PaaS わかる わかる え、どうやったの？
- 7. 1. コードを書く 2. PaaSにデプロイ 3. 動作！ PaaS わかる わかる え、どうやったの？ 4. スケールアウト ？？？
- 9. 今回の目的 • ブラックボックスに思われがちな、PaaSの中身を理解して貰う ことで、不安を解いてもらいたい • Cloud Foundryだけでなく、どのPaaSにも共通して利用できる 知識を身につける
- 11. 教材: Cloud Foundry • オープンソースのPaaSなので、 誰でも仕組みを追える • 多くのベンダーが採用 (IBM, HP, NTT Comなど) • ユーザーが機能を拡張できる、Heroku 互換のBuildpackを採用している
- 13. 例えば、PHPアプリを構築するとき • Apache/Nginxをインストール • PHP(mod_php/php-fpm)をインストール • 必要に応じてpeclやpearをインストール
- 14. 例えば、Rubyアプリを構築するとき • Rubyをインストール • bundle install • (Railsなら) rake assets:precompile • (Railsなら) rake db:migrate
- 15. DEMO
- 20. では、PaaSの場合は？
- 21. DEMO
- 28. Server OS Apache PHP /usr/sbin/apache2 /etc/apache2/ … /usr/bin/php5 /etc/php5/ … apt-get yum source… 手動で構築する時 • aptやyumなどの パッケージマネージャ • ソースからコンパイル • どちらの場合も、 サーバーの特定の場所 にランタイムが配置さ れる
- 30. DEMO
- 36. ✓ PaaSの実行環境では、アプリごとにコンテナが作られ、 マルチテナントで動いている ✓ コンテナの中には、実行に必要なバイナリが全て含まれている ✓ その他実行に必要な作業も全て実施済(Rubyのbundle installなど) Photo by Enokson https://www.flickr.com/photos/vblibrary/4385390248/
- 37. Server OS Apache Ruby 2.1.4 Ruby 1.9.3-p551 Java7 php-fpm Tomcat app A app B app C app D それぞれがコンテナ Application Application Application Application
- 38. コンテナ技術 • Cloud Foundryの場合、Wardenという 独自のコンテナ機構を使っている • HerokuはLXCを利用 • 最近はDockerが流行り いずれもLinuxのcgroupsやnamespaceと いう機能を活用しており、得られる メリットは似通っている Photo by Dirk Dallas https://www.flickr.com/photos/dirkdallas/
- 39. コンテナによるメリット • 異なる環境をアプリに提供出来る • JavaならJava、RubyならRuby • アプリ同士を隔離出来る • セキュリティの担保、リソースの制限 • 素早く立ち上げることがきる • VMを使うと数分、コンテナなら数秒 Photo by Dirk Dallas https://www.flickr.com/photos/dirkdallas/
- 40. Application Application Application Application Server OS Apache Ruby 2.1.4 Ruby 1.9.3-p551 Java7 php-fpm Tomcat このコンテナイメージは、 誰が、いつ用意したのか？
- 41. Buildpack
- 42. Buildpack • Herokuによって作られた、任意の言語 やフレームワークを扱えるようにする 仕組み • Cloud FoundryもBuildpackを利用可能 Photo by cgc76 https://www.flickr.com/photos/cgc76/10620451574
- 43. Buildpack • Ruby • PHP • Java • Python • Go • Node • etc…
- 44. Buildpackの3フェーズ 1. Detect 2. Compile 3. Release Buildpackには、必ずこの3スクリプトが 含まれている
- 45. 1. Detect 2. Compile 3. Release Buildpackの実行条件に合致するかを チェックするスクリプト。 合致したら0を、合致しなければ1を返 す。
- 46. 1. Detect 2. Compile 3. Release composer.jsonがあるか (無ければ次へ) .phpのファイルがあるか (無ければ次へ) $WEBDIRがあるか PHP Buildpackの場合
- 47. 1. Detect 2. Compile 3. Release 実行環境を構築するスクリプト
- 48. 1. Detect 2. Compile 3. Release Ruby Buildpackの場合 1. Gemfileから指定Rubyバージョンを 確認して、バイナリをダウンロード 2. フレームワークを確認(Rails?Sinatra?) 3. bundle install 4. rake assets:precompile(Railsの場合)
- 49. 1. Detect 2. Compile 3. Release 実行に必要な環境変数などの情報を出力 (今回は説明は割愛)
- 50. つまりBuildpackとは • コードがどういう言語で書かれている か検出する • その言語向けの環境を構築する Photo by cgc76 https://www.flickr.com/photos/cgc76/10620451574
- 52. 1. ユーザーがアプリをプッシュ
- 53. 2. Cloud Foundryがアプリを受け取る Insi Ruby buildpack Java buildpack PHP buildpack PH
- 54. 3. アプリに対し、内蔵のBuildpackのdetect スクリプトを順次実行 Ruby buildpack Java buildpack PHP buildpack PHP buildpack
- 55. 4. detectでマッチしたBuildpackの compileスクリプトを実行 Inside PaaS Java buildpack PHP buildpack PHP buildpack
- 56. 5. ランタイムもアプリも含まれた 実行環境一式が出来上がる Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack
- 58. Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack
- 59. Buildpackの適用を中心とした、 アプリの準備作業を「ステージング」と呼ぶ Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack
- 60. PaaSへの「デプロイ」は「アップロード」 「ステージング」「実行」の3フェーズで構成される Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack
- 61. これまで手動で行ってきたインストール作業を コードから自動判別して行っているに過ぎない Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack
- 62. スケールアウトの仕組み
- 63. DEMO
- 66. Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack ・ ・ ・ buildpackをたくさん実行？ 時間がかかるし、負荷も高そう
- 67. Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack Dropletと言う形で、保存しています Droplet
- 68. Cloud Controller DEA (Droplet Execution Agent)
- 69. Ruby buildpack Java buildpack PHP buildpack PH アップロードを受け取るのは、CCの仕事
- 70. Ruby buildpack Java buildpack PHP buildpack PHP buildpack CCからDEAに、ステージングの依頼
- 76. リクエストルーティング
- 77. Router
- 80. appA appA appAappBappB これで、Routerは どこのIPのどのPortに、 どのアプリが動いているか 知ることが出来る appA.example.com 192.168.10.4:64341 192.168.10.5:23591 192.168.10.2:52341 appB.example.com 192.168.10.3:32563 192.168.10.2:52313
- 82. ✓ Cloud FoundryのRouterは、アプリへのリクエストを解釈して正 しい場所に転送する、L7のリクエストルーター ✓ Routerが利用する情報は、各DEAからもたらされる ✓ 一般的に使われる、L3の「ルーター」とは異なるので注意 Photo by Enokson https://www.flickr.com/photos/vblibrary/4385390248/
- 83. メッセージングバス
- 85. appA appA appAappBappB ところで、先ほど「DEAはRouterに通知する」と表現した。 つまり、Routerの数が増えると、通知数も増えてしまう？ Router数 x DEA数=通知数・・・
- 87. Publish-Subscribeモデル • メッセージの送信側(Publisher) と受信 側(Subscriber)が存在 • Publisherはトピックを付けてメッセー ジを送信する。どれだけのSubscriber が居るかは関知しない。 • Subscriberは、指定しているトピック のメッセージを自動的に受信する Publisher Subscriber
- 88. Publish-Subscribeモデル Subscribe ENL ENL RES Subscribe ENL and RES Subscribe RES NATS Publish Publish
- 91. NATS • NATSを通じて疎結合に構成されている • どこに何が存在するか、各コンポーネ ントが把握しておく必要が無い(NATS のアドレスさえ分かっていればいい) • そのため、柔軟にコンポーネントの追 加・削除が行える
- 92. 死活監視
- 94. Health Manager
- 100. appA appB ホストのクラッシュ時 NATS appB DEAは普段から、heartbeatを定期的にpublishしている Publish dea.heartbeat Running appA, appB Publish dea.heartbeat Running appB Subscribe dea.heartbeat
- 104. まとめ
- 105. ユーザーが書いたコードは
- 106. PaaS上でよしなに実行される PaaS
- 108. その裏には、多くの人に便利なサービスを 提供できるよう、考え抜かれた仕掛けが存在する Inside PaaS Ruby buildpack Java buildpack PHP buildpack PHP buildpack
- 115. これがPaaSの仕組み
- 116. もちろん、PaaSに必要なものは他にもある • ユーザーの管理・認証・認可 • ログの管理 • メトリクスの管理 • 課金 • Web GUI • データベース等のサービス これらの話は、またの機会に。
- 117. おまけ: これからのPaaS
- 118. 最近のトレンド
- 122. 今後もPaaSは変わりつづけるけれど • Buildpack <=> Dockerfile • Droplet <=> Docker image • NATS <=> etcd と置き換えて考えることも出来る(同一ではないけど) 新しい仕組みを取り入れたからといって、 これまでの知識が無駄になるわけではない
- 125. 参考情報 • はじめてのCF Buildpack http://www.slideshare.net/jacopen/cf-buildpack • Cloud Foundryは何故動くのか http://www.slideshare.net/jacopen/cloud-foundry-33851040 • Cloud Foundry V2を、もうちょっと深掘りしよう http://www.slideshare.net/jacopen/c-fv2 • 日本Cloud Foundryグループ http://cloudfoundry.gr.jp/ • PaaS勉強会 http://paas.connpass.com/