Upload
アプリの「無事故リリース」を目指して~品質管理部によるSmartBeat活用事例~
•
0 likes
•
305 views
CYBIRD Co.,Ltd.
Follow
2019年1月29日「LEVEL Apps vol.2 ~先行企業に学ぶゲームアプリのグロースハック!~」にて登壇した際の資料です。
Read less
Read more
Report
Share
Report
Share
1 of 32
Download now
Download to read offline
More Related Content
アプリの「無事故リリース」を目指して~品質管理部によるSmartBeat活用事例~
1.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 2019年1月29日 LEVEL Apps vol.2 ~先行企業に学ぶゲームアプリのグロースハック!~ アプリの「無事故リリース」を目指して ~品質管理部によるSmartBeat活用事例~ 技術統括部 品質管理部 副部長 鏡谷 陽一
2.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 1 鏡谷 陽一(かがみたに よういち) 自己紹介 第008064号 株式会社サイバード 技術統括部 品質管理部 副部長 株式会社ボトルキューブ所属。 家庭用ゲームソフトやスマホアプリの開発を長く経験。 2016年にサイバードで品質管理部を立ち上げ、2年弱で 社内QA体制を確立。 エンジニア目線で品質にまつわる様々な課題に取り組ん でいる。 情報処理安全確保支援士(登録番号第008064号) 子育て奮闘中。
3.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 2 ボトルキューブはゲーム運営ビジネスを提案できるデベロッパーです 私達はお客様とゲーム事業を共に戦うパートナーでありたいと考えています 会社紹介:BottleCube 箱坊 →
4.
Copyright 2015 CYBIRD
Co., Ltd. All Rights Reserved. 4
5.
Copyright 2015 CYBIRD
Co., Ltd. All Rights Reserved. 5 会社概要 ■設立 1998年 ■会社名 株式会社サイバード CYBIRD Co., Ltd. ■所在地 東京都渋谷区猿楽町10-1 マンサード代官山 ■設立 1998年 ■事業内容 1998年、日本のモバイルインターネット黎明期に創業。以来、市場環境 の変化、テクノロジーの進化を常に見据えて様々なサービスを提供し、成 長を続けてきました。 現在では、シリーズ累計2,000万人以上の会員数 を誇る女性向けゲームの提供や、豊かなライフスタイルをサポートするエ ンタテインメントサービスの提供、また、新たにVoice UI事業にも取り組 むなど、多領域なサービスを展開しています。
6.
Copyright 2015 CYBIRD
Co., Ltd. All Rights Reserved. 6 ゲーム事業 ◆女性向け恋愛ゲーム シリーズ累計会員数2,000万人突破!!アバター機能も充実! ◆サッカー育成ゲーム 3DCGを用いたリッチなゲーム性! 登録者数350万人突破!!タイアップも! ◆名探偵コナンゲーム 3マッチのパズルゲーム!オリジナルボイス やストーリー等コナンの世界を満喫できる! ©青山剛昌/小学館・読売テレビ・TMS 1996
7.
Copyright 2015 CYBIRD
Co., Ltd. All Rights Reserved. 7 コンテンツ事業/新規事業 コダワリ女子のための異次元空間マガジン マンガやアニメ、ゲーム、ノベルといった2次元、 またそれを原作とする2.5次元舞台・ドラマ等を こよなく愛するコダワリ女子なら知っておきたい 情報を随時発信しています。 創業時から運営する総合サーフメディア 多くのサーファーに支持される 自社サーフメディアです。 2017年3月には、Apple Watch にも対応し、Apple社の公式ページ でも紹介頂きました。 Voice UIによるコミュニケーションサービス Voice UIのリーディングカンパニーとして B2C事業における“顧客体験メソッド”を Voice UIサービスに投入し、 価値ある顧客体験を創造します。 20年に渡り、魅力的なライセンスを生かした 様々なサービスを提供しています。 様々なエンタテインメントサービス ©2001-2018 薫白流株式会社 / © Autorace Mobile / © OHTA PRODUCTION/ ©Ryuji Kagami
8.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 9 品質管理部の役割 CYBIRDの品管 QA(テスト・デバッグ) 技術サポート プラットフォームリレーション セキュリティ監査
9.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 11 導入のきっかけになったスライド
10.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 13 ◆配信アプリのクラッシュの多さが気になっていた ◼ クラッシュ率が10%近い!? 作品もあった ◼ ストアレビューに「落ちる」が散見される ◆誰も詳細を追えていなかった ◼ 『手元の端末では』再現性が低い ◼ クラッシュログを深追いできる時間・スキルがない ◆重要性(ヤバさ)が伝わっていなかった ◼ 可視化できていない ◼ 不具合よりも施策が優先タスクになりがち SmartBeat導入の背景
11.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 15 ◆本当に10分で導入できます(慣れれば) ◼ 導入マニュアルがわかりやすい ◼ SDKが環境別にちゃんと用意されている ◆iOS/Android/Cocos2d-x/Unity/Unreal Engine/etc... ◼ たった数行のコードを書く(コピペする)だけ SmartBeat入れてみた
12.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 16 可視化できた (いきなり半分ぐらい解決) SmartBeat入れたら
13.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 17 ◆ 絞り込み・ソートカテゴリが充実 ◼ 特定の端末/OSで発生しているクラッシュに 注目できる ◼ 発生頻度や影響が大きい順に確認できる 可視化
14.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 18 ◆ クラッシュ詳細が見やすい ◼ 発生箇所&事由が同じクラッシュが集約さ れ、発生順に追える ◼ スタックトレース、端末情報、ログがひと目で 確認できる 可視化
15.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 19 ◆ 豊富な端末情報 ◼ クラッシュ発生時のネットワーク状態、メモリ空き容量なども分かる ◼ ユーザIDも送信しておけば特定が容易 可視化
16.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 20 ◆可視化されてヤバさが伝わった ◼ チームメンバーの誰でも視覚的に把握できる ◼ クラッシュが多いとレビューに影響するという認識が広がる ◆クラッシュの解析が進んだ ◼ ログがまとまっているのでパターンを見つけやすい ◼ クラッシュしやすい端末・OSで重点的に検証 ◆数値目標を立てられるようになった ◼ まず5%を切る →達成 ◼ 多くても2~3%に抑えたい SmartBeatによる改善
17.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 21 新作の開発が始まる・・・! しかもチャレンジ多め案件
18.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 22 ◆昨今のアプリ開発事情 ◼ レッドオーシャン (言わずもがなですが…) ◆多様化、リッチ化 ◆開発規模&予算増大 ◆絶対に負けられない ◼ 開発期間も人員も不足気味 ◆開発の高度化→人材確保がより難しい状況に ◆マーケティングのことを考えるとリリース延期も困難 ◼ バグを残してリリース → 短期でサービス終了 ◆リリース直後からまともに動かない ◆原因がわからないまま長時間メンテ突入 ◆大量の詫び石配布 新作の開発が始まる
19.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 23 新作の開発が始まる 品質は上げる 納期は守る
20.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 24 テスト 品質管理部が動き始めるタイミング 企画概要 方針決定 プロジェクト 計画精緻化 開発前期 (~α) 配信 瑕疵対応 運営 チューニング (マスター) 開発後期 (~β) 企画 プリプロ 本開発 (α・β・マスター) 運営 テスト(運営)テスト(受入)テスト(β) テスト 計画 コンセプト レビュー ◆ 開発早期から品質管理部の活動も始める ◼ テスト計画を立てたら、少しずつ探索的テストを進める ◆ SmartBeatもなるべく早く導入する ◼ β~リリース直前に入れても修正が間に合わない ◼ クラッシュするとその先が確認できない(テスターの手が止まる)
21.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 25 ◆クラッシュすると、その先のテストができない ◼ クラッシュを乗り越えた先で、またクラッシュするかも・・・ ◼ 再現率の低いクラッシュは、作り込むほど見つけにくくなる クラッシュバグを早く潰すことでテスト効率が上がる テスターの手を止めない
22.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 26 ◆CIへの組み込み(自動化) ◼ Jenkinsで毎日ビルド ◆DeployGateにバイナリアップロード ◆SmartBeatにシンボルファイルアップロード 工夫
23.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 28 無事故リリース達成 ◼ リリースまでのスケジュール遅延は最小限 ◼ ゲーム進行に影響する致命的な不具合なし ◼ リリース直後の長時間メンテもなし ◼ 驚異のクラッシュ率0.05% (iOS) 成果
24.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 29 成果 クラッシュ率 0.08% クラッシュ率 0.38%
25.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 30 https://www.cybird.co.jp/recruit/engineer/blog/20170829/ 無事故リリースの詳細
26.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 31 全く同じ手法で 無事故リリース連続達成 ※Appleレギュレーションに引っかかり、リリース日は1ヶ月遅れましたorz
27.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 32 成果 クラッシュ率 0.07% クラッシュ率 0.36%
28.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 34 ◆ 急激な変化に注目 ◼ アプリ更新直後にクラッシュが多発していないか監視 ◼ アプリ更新を伴わない施策でもクラッシュが増えることがある 運用時に気をつけていること
29.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 36 ◆まずは可視化しよう ◼ SmartBeatなら10分 ◆開発初期から品質管理を始めよう ◼ 開発チームからも早めに声をかけてくれると嬉しいです ◆SmartBeatも早めにCIに組み込もう ◼ クラッシュバグはすぐ修正、テスターの手を止めない ◆無事故リリースを実現しよう! まとめ:伝えたかったこと
30.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 37 あつまれー! 仲間募集中! QAエンジニア(SWET) テストマネージャ
31.
Copyright 2015 CYBIRD
Co., Ltd. All Rights Reserved. 38 採用情報 【お問合わせ先】 株式会社サイバード 人事部 採用担当 <chuto@cybird.co.jp> 採用についての詳細な情報はこちらから! 皆様からのエントリーを、心よりお待ちしております! https://www.cybird.co.jp/recruit/career/
32.
Copyright CYBIRD Co.,
Ltd. All Rights Reserved. 39 ご清聴ありがとうございました
Download now