SlideShare a Scribd company logo
バグなんて見逃しちゃえ
りふ
22/6/17 NINNO Tech Fest #7
J
S
T
Q
B
テ ス ト の 7 原 則
V 字 モ デ ル
バ
グ
フ
ィ
ル
タ
監 視
可 観 測 性
D
e
v
O
p
s
observability
皆 さ ん 、 シ ス テ ム 開 発 に
詳 し い 前 提 で お 話 し し ま す
N I N N O ( テ ク ノ ロ ジ ー の プ ロ で イ ノ ベ ー シ
ョ ン を 起 こ す 場 ) で す か ら ね
こ の 絵 を 見 た こ と あ る 方
い ま す か ?
K a t r i n a C l o k i e / B u g F i l t e r
4
🎬後日に翻訳したものを
Y o u T u be を公開!
💡網目が大きくなる 💡バグが成長している
で は 、
こ ち ら は い か が で し ょ う ?
V 字 モ デ ル
6
バ グ は 内 容 に よ っ て 見 つ け る べ き タ イ ミ ン グ が 違 う
 “ バ グ フ ィ ル タ ー ” と ” V 字 モ デ ル ” は 似 て い る
 バ グ フ ィ ル タ ー に は 、 3 つ が 追 加 さ れ て い る ( 後 半 で お 話 し )
 バ グ フ ィ ル タ ー は 、 上 か ら バ グ を ふ る い に か け て い く
7
メソッドやクラス
画 面 間 の パ ラ メ ー タ 引 き渡 し
ユーザーの導線に着目
後半でお話し
バ グ を 見 逃 す と ど れ く ら い コ ス ト か か る
の ?
試 算 し た
 I P A が 出 し た シ ス テ ム 開 発 に お け る 1 件 の バ グ の コ ス ト
 工 程 よ っ て バ グ 対 応 の コ ス ト が 違 い 、 基 本 設 計 を 1 と し た ら 何 倍 に な る か
 稼 働 後 の バ グ は 1 件 あ た り 「 2 4 0 万 円 」
「 コ ス ト モ デ ル 」 を 使 っ た 開 発 品 質 ・ 生 産 性 向 上 の 取 組 み
1 0
た っ か い ( ワ イ の 年 収 分 や … )
も っ と 怖 い バ グ の コ ス ト が
あ る
社 会 的 信 用 の 失 墜
 コ ス ト 試 算 は 難 し い が 、 大 き い 企 業 だ と 「 億 」 は 超 え る
 シ ス テ ム を 使 お う か な ? と 思 っ て い た ユ ー ザ ー が 使 用 ぜ す 、 売 り 上 げ を 失 う
 潜 在 顧 客 を 失 う
1 3
社会的信用の失墜
���
億
ど う す れ ば い い の ?
J S T Q B
✓テ ス ト の 7 原 則
早 期 テ ス ト で 時 間 と コ ス ト を 節 約
✓ テ ス ト の 7 原 則 早 期 テ ス ト で 時 間 と コ ス ト を 節 約
 早 期 は 、 設 計 工 程 を 含 む
 シ ス テ ム が 動 か せ な い と テ ス ト で き な い は 思 い 込 み
 テ ス ト 手 段 は J S T Q B の シ ラ バ ス へ
1 6
社会的信用の失墜
∞
億
な る べ く 早 く テ ス ト を す る
ここでもテストできる
こ わ い な … ち ゃ ん と 全 部 テ ス ト し よ
J S T Q B
✓テ ス ト の 7 原 則
全 数 テ ス ト は 不 可 能
✓ テ ス ト の 7 原 則 全 数 テ ス ト は 不 可 能
 す べ て の テ ス ト は す る こ と は 不 可 能 で あ る
 下 の 例 だ と 、 す べ て を 組 み 合 わ せ る と 、 1 2 5 0 通 り
 機 能 は 、 も っ と あ る
1 9
機 能
×
ブ ラ ウザ
×
O S 種類
×
O S v e r
×
画 面 サイズ
ログイン C h r o m e i O S 1 4 4
ログアウト S a f a r i A n d r o id 1 5 4 . 7
作成 F i r e f ox 1 6 5 . 5
更新 O p e r a 8 5 . 8
削除 L I N E 9 6 . 1
1250通り
無 理 や …
し か し 、
巧 妙 な バ グ は 必 ず い る
完 璧 な 人 間 な ん て い な い
 あ る 組 み 合 わ せ だ け で 、 発 生 す る 忍 者 の よ う な 巧 妙 な バ グ は い る
 こ れ を 見 逃 す と 、 社 会 的 信 用 の 失 墜 に 繋 が る
2 2
機 能
×
ブ ラ ウザ
×
O S 種類
×
O S v e r
×
画 面 サイズ
ログイン C h r o m e i O S 1 4 4
ログアウト S a f a r i A n d r o id 1 5 4 . 7
作成 F i r e f ox 1 6 5 . 5
更新 O p e r a 8 5 . 8
削除 L I N E 9 6 . 1
ど う す る の ?
そ ん な の 見 逃 し て く だ さ い
す ま ん な
リ リ ー ス し た い v s リ リ ー ス で き な い
 “ 早 く ” リ リ ー ス が で き な い と 、 社 会 的 信 用 の 失 墜 と 同 じ コ ス ト が 発 生 す る
 リ リ ー ス し て い な い 期 間 は 、 そ の 期 間 で 手 に 入 る 売 り 上 げ を 逃 す
 お 互 い に 、 デ ッ ド ロ ッ ク が か か っ て い る
2 5
早くリリースしないと
売り上げを逃がす
ど っ ち が 重 い の ?
いっぱいテストしないと
社会的信用を失墜する
ど っ ち が コ ス ト 大 き い の ?
分 か ら な い よ
け ど 、 社 会 的 信 用 の 失 墜 を 小 さ く で き る
ど う や っ て ?
バ グ は 、 す ぐ 見 つ け て
す ぐ 直 す
( リ リ ー ス 後 で も )
早 く 見 つ け て 、 早 く 直 す
 社 会 的 信 用 の 失 墜 に も 段 階 が あ る
 バ グ が 影 響 す る ユ ー ザ ー 数 が 小 さ け れ ば 、 コ ス ト は 小 さ く で き る
 ユ ー ザ ー 数 は 、 バ グ が 発 生 し て い る 時 間 に 比 例 す る
3 1
ど う や っ て す ぐ 見 つ け る の ?
A L E R T I N G
こ こ か ら は 後 半 戦
 最 初 に 出 て き た バ グ フ ィ ル タ ー に 話 を �� す
 話 す : A L E R T I N G ( ア ラ ー テ ィ ン グ ) 、 M O N I T O R I N G ( モ ニ タ リ ン グ )
 話 さ な い : L O G G I N G ( ロ ギ ン グ )
3 4
A L E R T I N G
 A L E R T I N G は 、 想 定 外 の エ ラ ー を 検 知 す る
 テ ス ト 工 程 で 見 逃 し て し ま っ た バ グ を 見 つ け る フ ィ ル タ ー の 役 割
 エ ラ ー 処 理 は 適 切 に
3 5
想定外のエラーを検知
T r y で
C a t c h して
E x c e p tio n を
t h r o w しなよ
な ん か 危 な い よ !
ど う や っ て す ぐ 直 す の ?
C I / C D
自 動 化 で き る と こ ろ は 自 動 化
 C I / C D は 定 常 作 業 を 自 動 化 す る こ と が 目 的
 特 に 、 デ プ ロ イ ( リ リ ー ス ) は ヒ ト の 手 だ と ミ ス す る の で 自 動 化 最 優 先
 す ぐ 見 つ け て す ぐ 直 し て も 、 リ リ ー ス す る 時 間 が 長 い と 意 味 が な い
3 8
一 安 心
J S T Q B
✓テ ス ト の 7 原 則
バ グ ゼ ロ の 落 と し 穴
バ グ に も 色 々 あ る
 バ グ を 発 生 さ せ な い た め に 、 ユ ー ザ ー の 期 待 値 を 下 げ て い な い か
4 1
ど う す れ ば 期 待 を 満 た せ る の ?
ア ン ケ ー ト
ユ ー ザ ー ヒ ア リ ン グ
な る ほ ど 、
ユ ー ザ ー に 直 接 聞 け ば 良 い よ ね
が 、 そ れ は ダ メ
ユ ー ザ ー は 、 困 っ た ち ゃ ん
 ユ ー ザ ー ( 人 ) は 、 自 分 の 期 待 を 正 確 に は 伝 え ら れ な い
 し か も 、 設 計 書 の 行 間 を 読 ん で ほ し い 、 察 し て チ ャ ン
4 6
言 わ な く て も
分 か る で し ょ
ほ ん と は 、 こ っ ち だ っ た け ど
伝 わ ら な か っ た …
ど う や っ て 期 待 を 吸 い 上 げ る の さ ?
( 察 す る の さ )
M O N I T O R I N G
デ ー タ は 嘘 を つ か な い
 M O N I T O R I N G は 、 ロ グ か ら ユ ー ザ ー の 行 動 デ ー タ を 蓄 積 す る
 デ ー タ か ら は 、 ” ユ ー ザ ー が シ ス テ ム を ど の よ う に 使 用 し て い る か ” を 定 量 で 分 か る
 デ ー タ か ら は 、 ユ ー ザ ー の 察 し て … ? が 分 か る
4 9
ユーザーの行動を蓄積
M e t r i cs
E v e n t s
L o g s
T r a c e s
A / B テスト
可観測性・observability
の 1 つ
ま と め
と い う な の 宣 伝
J a S S T ’ 2 2 N i i g a t a を 2 0 2 2 年 7 月 8 日 ( 金 ) に N I N N O で 開 催
 テ ー マ は 、 ” 可 観 測 性 ・ o b s e r v a b i l i t y ”
 �� 調 講 演 は ” A u t i f y C T O 松 浦 様 ”
 G i t h u b で エ ン ジ ニ ア を 経 験 さ れ て 、 オ ラ イ リ ー の “ 入 門 監 視 ” の 翻 訳 も 手 が け た
 f r e e e の ク ラ ウ ド 障 害 訓 練 の 舞 台 裏 を ” 人 間 性 ” を 交 え て 発 表
 S R E と Q A の 交 わ り 方
5 2
新 人 の 方 へ
( J a S S T に 参 加 し て ) ち ょ っ ぴ り
テ ス ト の 世 界 を 広 げ み ま せ ん か ?
会 社 の 方 へ
後 押 し し て く れ ま せ ん か ?
a p p e n d i x
 h t t p s : / / c h o j u g i g a . c o m /
 h t t p s : / / w w w . i r a s u t o y a . c o m /
 h t t p s : / / l e a n p u b . c o m / t e s t i n g i n d e v o p s
 h t t p s : / / s y s t e m - k a n j i . c o m / p o s t s / v - m o d e l
 h t t p s : / / w w w . i p a . g o . j p /
 h t t p s : / / w w w . i p a . g o . j p / f i l e s / 0 0 0 0 4 9 4 0 4 . p d f
 h t t p s : / / j s t q b . j p
 h t t p s : / / j s t q b . j p / d l / J S T Q B - S y l l a b u s F o u n d a t i o n _ V e r s i o n 2 0 1 8 V 3 1 . J 0 3 . p d f
 h t t p s : / / t o g e t t e r . c o m / l i / 1 7 7 1 4 3 6
 h t t p s : / / n e w r e l i c . c o m / j p / b l o g / h o w - t o - r e l i c / m e t r i c s - e v e n t s - l o g s - a n d - t r a c e s
 h t t p s : / / w w w . j a s s t . j p / s y m p o s i u m / j a s s t 2 2 n i i g a t a . h t m l
 h t t p s : / / w w w . o r e i l l y . c o . j p / b o o k s / 9 7 8 4 8 7 3 1 1 8 6 4 2 /
 h t t p s : / / w w w . i t m e d i a . c o . j p / n e w s / a r t i c l e s / 2 2 0 3 / 1 7 / n e w s 0 3 8 . h t m l
5 4

More Related Content

バグなんて見逃しちゃえ

  • 1. バグなんて見逃しちゃえ りふ 22/6/17 NINNO Tech Fest #7 J S T Q B テ ス ト の 7 原 則 V 字 モ デ ル バ グ フ ィ ル タ 監 視 可 観 測 性 D e v O p s observability
  • 2. 皆 さ ん 、 シ ス テ ム 開 発 に 詳 し い 前 提 で お 話 �� し ま す N I N N O ( テ ク ノ ロ ジ ー の プ ロ で イ ノ ベ ー シ ョ ン を 起 こ す 場 ) で す か ら ね
  • 3. こ の 絵 を 見 た こ と あ る 方 い ま す か ?
  • 4. K a t r i n a C l o k i e / B u g F i l t e r 4 🎬後日に翻訳したものを Y o u T u be を公開! 💡網目が大きくなる 💡バグが成長している
  • 5. で は 、 こ ち ら は い か が で し ょ う ?
  • 6. V 字 モ デ ル 6
  • 7. バ グ は 内 容 に よ っ て 見 つ け る べ き タ イ ミ ン グ が 違 う  “ バ グ フ ィ ル タ ー ” と ” V 字 モ デ ル ” は 似 て い る  バ グ フ ィ ル タ ー に は 、 3 つ が 追 加 さ れ て い る ( 後 半 で お 話 し )  バ グ フ ィ ル タ ー は 、 上 か ら バ グ を ふ る い に か け て い く 7 メソッドやクラス 画 面 間 の パ ラ メ ー タ 引 き渡 し ユーザーの導線に着目 後半でお話し
  • 8. バ グ を 見 逃 す と ど れ く ら い コ ス ト か か る の ?
  • 10.  I P A が 出 し た シ ス テ ム 開 発 に お け る 1 件 の バ グ の コ ス ト  工 程 よ っ て バ グ 対 応 の コ ス ト が 違 い 、 基 本 設 計 を 1 と し た ら 何 倍 に な る か  稼 働 後 の バ グ は 1 件 あ た り 「 2 4 0 万 円 」 「 コ ス ト モ デ ル 」 を 使 っ た 開 発 品 質 ・ 生 産 性 向 上 の 取 組 み 1 0
  • 11. た っ か い ( ワ イ の 年 収 分 や … )
  • 12. も っ と 怖 い バ グ の コ ス ト が あ る
  • 13. 社 会 的 信 用 の 失 墜  コ ス ト 試 算 は 難 し い が 、 大 き い 企 業 だ と 「 億 」 は 超 え る  シ ス テ ム を 使 お う か な ? と 思 っ て い た ユ ー ザ ー が 使 用 ぜ す 、 売 り 上 げ を 失 う  潜 在 顧 客 を 失 う 1 3 社会的信用の失墜 ∞ 億
  • 14. ど う す れ ば い い の ?
  • 15. J S T Q B ✓テ ス ト の 7 原 則 早 期 テ ス ト で 時 間 と コ ス ト を 節 約
  • 16. ✓ テ ス ト の 7 原 則 早 期 テ ス ト で 時 間 と コ ス ト を 節 約  早 期 は 、 設 計 工 程 �� 含 む  シ ス テ ム が 動 か せ な い と テ ス ト で き な い は 思 い 込 み  テ ス ト 手 段 は J S T Q B の シ ラ バ ス へ 1 6 社会的信用の失墜 ∞ 億 な る べ く 早 く テ ス ト を す る ここでもテストできる
  • 17. こ わ い な … ち ゃ ん と 全 部 テ ス ト し よ
  • 18. J S T Q B ✓テ ス ト の 7 原 則 全 数 テ ス ト は 不 可 能
  • 19. ✓ テ ス ト の 7 原 則 全 数 テ ス ト は 不 可 能  す べ て の テ ス ト は す る こ と は 不 可 能 で あ る  下 の 例 だ と 、 す べ て を 組 み 合 わ せ る と 、 1 2 5 0 通 り  機 能 は 、 も っ と あ る 1 9 機 能 × ブ ラ ウザ × O S 種類 × O S v e r × 画 面 サイズ ログイン C h r o m e i O S 1 4 4 ログアウト S a f a r i A n d r o id 1 5 4 . 7 作成 F i r e f ox 1 6 5 . 5 更新 O p e r a 8 5 . 8 削除 L I N E 9 6 . 1 1250通り
  • 20. 無 理 や
  • 21. し か し 、 巧 妙 な バ グ は 必 ず い る
  • 22. 完 璧 な 人 間 な ん て い な い  あ る 組 み 合 わ せ だ け で 、 発 生 す る 忍 者 の よ う な 巧 妙 な バ グ は い る  こ れ を 見 逃 す と 、 社 会 的 信 用 の 失 墜 に 繋 が る 2 2 機 能 × ブ ラ ウザ × O S 種類 × O S v e r × 画 面 サイズ ログイン C h r o m e i O S 1 4 4 ログアウト S a f a r i A n d r o id 1 5 4 . 7 作成 F i r e f ox 1 6 5 . 5 更新 O p e r a 8 5 . 8 削除 L I N E 9 6 . 1
  • 23. ど う す る の ?
  • 24. そ ん な の 見 逃 し て く だ さ い す ま ん な
  • 25. リ リ ー ス し た い v s リ リ ー ス で き な い  “ 早 く ” リ リ ー ス が で き な い と 、 社 会 的 信 用 の 失 墜 と 同 じ コ ス ト が 発 生 す る  リ リ ー ス し て い な い 期 間 は 、 そ の 期 間 で 手 に 入 る 売 り 上 げ を 逃 す  お 互 い に 、 デ ッ ド ロ ッ ク が か か っ て い る 2 5 早くリリースしないと 売り上げを逃がす ど っ ち が 重 い の ? いっぱいテストしないと 社会的信用を失墜する
  • 26. ど っ ち が コ ス ト 大 き い の ?
  • 27. 分 か ら な い よ
  • 28. け ��� 、 社 会 的 信 用 の 失 墜 を 小 さ く で き る
  • 29. ど う や っ て ?
  • 30. バ グ は 、 す ぐ 見 つ け て す ぐ 直 す ( リ リ ー ス 後 で も )
  • 31. 早 く 見 つ け て 、 早 く 直 す  社 会 的 信 用 の 失 墜 に も 段 階 が あ る  バ グ が 影 響 す る ユ ー ザ ー 数 が 小 さ け れ ば 、 コ ス ト は 小 さ く で き る  ユ ー ザ ー 数 は 、 バ グ が 発 生 し て い る 時 間 に 比 例 す る 3 1
  • 32. ど う や っ て す ぐ 見 つ け る の ?
  • 33. A L E R T I N G
  • 34. こ こ か ら は 後 半 戦  最 初 に 出 て き た バ グ フ ィ ル タ ー に 話 を 移 す  話 す : A L E R T I N G ( ア ラ ー テ ィ ン グ ) 、 M O N I T O R I N G ( モ ニ タ リ ン グ )  話 さ な い : L O G G I N G ( ロ ギ ン グ ) 3 4
  • 35. A L E R T I N G  A L E R T I N G は 、 想 定 外 の エ ラ ー を 検 知 す る  テ ス ト 工 程 で 見 逃 し て し ま っ た バ グ を 見 つ け る フ ィ ル タ ー の 役 割  エ ラ ー 処 理 は 適 切 に 3 5 想定外のエラーを検知 T r y で C a t c h して E x c e p tio n を t h r o w しなよ な ん か 危 な い よ !
  • 36. ど う や っ て す ぐ 直 す の ?
  • 37. C I / C D
  • 38. 自 動 化 で き る と こ ろ は 自 動 化  C I / C D は 定 常 作 業 を 自 動 化 す る こ と が 目 的  特 に 、 デ プ ロ イ ( リ リ ー ス ) は ヒ ト の 手 だ と ミ ス す る の で 自 動 化 最 優 先  す ぐ 見 つ け て す ぐ 直 し て も 、 リ リ ー ス す る 時 間 が 長 い と 意 味 が な い 3 8
  • 40. J S T Q B ✓テ ス ト の 7 原 則 バ グ ゼ ロ の 落 と し 穴
  • 41. バ グ に も 色 々 あ る  バ グ を 発 生 さ せ な い た め に 、 ユ ー ザ ー の 期 待 値 を 下 げ て い な い か 4 1
  • 42. ど う す れ ば 期 待 を 満 た せ る の ?
  • 43. ア ン ケ ー ト ユ ー ザ ー ヒ ア リ ン グ
  • 44. な る ほ ど 、 ユ ー ザ ー に 直 接 聞 け ば 良 い よ ね
  • 45. が 、 そ れ は ダ メ
  • 46. ユ ー ザ ー は 、 困 っ た ち ゃ ん  ユ ー ザ ー ( 人 ) は 、 自 分 の 期 待 を 正 確 に は 伝 え ら れ な い  し か も 、 設 計 書 の 行 間 を 読 ん で ほ し い 、 察 し て チ ャ ン 4 6 言 わ な く て も 分 か る で し ょ ほ ん と は 、 こ っ ち だ っ た け ど 伝 わ ら な か っ た …
  • 47. ど う や っ て 期 待 を 吸 い 上 げ る の さ ? ( 察 す る の さ )
  • 48. M O N I T O R I N G
  • 49. デ ー タ は 嘘 を つ か な い  M O N I T O R I N G は 、 ロ グ か ら ユ ー ザ ー の 行 動 デ ー タ を 蓄 積 す る  デ ー タ か ら は 、 ” ユ ー ザ ー が シ ス テ ム を ど の よ う に 使 用 し て い る か ” を 定 量 で 分 か る  デ ー タ か ら は 、 ユ ー ザ ー の 察 し て … ? が 分 か る 4 9 ユーザーの行動を蓄積 M e t r i cs E v e n t s L o g s T r a c e s A / B テスト
  • 51. ま と め と い う な の 宣 伝
  • 52. J a S S T ’ 2 2 N i i g a t a を 2 0 2 2 年 7 月 8 日 ( 金 ) に N I N N O で 開 催  テ ー マ は 、 ” 可 観 測 性 ・ o b s e r v a b i l i t y ”  基 調 講 演 は ” A u t i f y C T O 松 浦 様 ”  G i t h u b で エ ン ジ ニ ア を 経 験 さ れ て 、 オ ラ イ リ ー の “ 入 門 監 視 ” の 翻 訳 も 手 が け た  f r e e e の ク ラ ウ ド 障 害 訓 練 の 舞 台 裏 を ” 人 間 性 ” を 交 え て 発 表  S R E と Q A の 交 わ り 方 5 2
  • 53. 新 人 の 方 へ ( J a S S T に 参 加 し て ) ち ょ っ ぴ り テ ス ト の 世 界 を 広 げ み ま せ ん か ? 会 社 の 方 へ 後 押 し し て く れ ま せ ん か ?
  • 54. a p p e n d i x  h t t p s : / / c h o j u g i g a . c o m /  h t t p s : / / w w w . i r a s u t o y a . c o m /  h t t p s : / / l e a n p u b . c o m / t e s t i n g i n d e v o p s  h t t p s : / / s y s t e m - k a n j i . c o m / p o s t s / v - m o d e l  h t t p s : / / w w w . i p a . g o . j p /  h t t p s : / / w w w . i p a . g o . j p / f i l e s / 0 0 0 0 4 9 4 0 4 . p d f  h t t p s : / / j s t q b . j p  h t t p s : / / j s t q b . j p / d l / J S T Q B - S y l l a b u s F o u n d a t i o n _ V e r s i o n 2 0 1 8 V 3 1 . J 0 3 . p d f  h t t p s : / / t o g e t t e r . c o m / l i / 1 7 7 1 4 3 6  h t t p s : / / n e w r e l i c . c o m / j p / b l o g / h o w - t o - r e l i c / m e t r i c s - e v e n t s - l o g s - a n d - t r a c e s  h t t p s : / / w w w . j a s s t . j p / s y m p o s i u m / j a s s t 2 2 n i i g a t a . h t m l  h t t p s : / / w w w . o r e i l l y . c o . j p / b o o k s / 9 7 8 4 8 7 3 1 1 8 6 4 2 /  h t t p s : / / w w w . i t m e d i a . c o . j p / n e w s / a r t i c l e s / 2 2 0 3 / 1 7 / n e w s 0 3 8 . h t m l 5 4