まだプログラム手で書いて消耗してるの？～入出力例からプログラムを自動生成する技術～（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05）

© 2019 NTT DATA Corporation 1 © 2019 NTT DATA Corporation
NTTデータテクノロジーカンファレンス 2019
まだプログラム手で書いて消耗してるの？
～入出力例からプログラムを自動生成する技術～
2019年9月5日
株式会社NTTデータ技術革新統括本部システム技術本部生産技術部
インテグレーション技術センタ岡田譲二

© 2019 NTT DATA Corporation 2
岡田譲二の自己紹介
R&Dスペシャリスト（専門：プログラム解析）
特許や論文執筆から実際の現場への導入まで
炎上案件の火消しも
関数型プログラミング大好き！
■ 主な外部発表
• “プログラミング言語基礎” ��手ITエンジニア最強の指南書 (2017).
• “Haskellにまつわるウワサを検証する” 日経ソフトウェア 2014年 11月号 (2014).
• “COBOL meets Haskell” 函数プログラミングの集い (2013).

2020年度から
プログラミング
教育必修に

まだプログラム
手で書いて
消耗してるの？

システム開発は
もう終わっている

ほぼプログラムのような
詳細設計書を手で書く

詳細設計書どおりに
プログラムを手で書く
画像引用元：Christopher KuszajewskiによるPixabayからの画像

意味があるのか
分からない
テストを打鍵する

テスト証跡として
画面キャプチャを
Excel に貼り付ける

システム開発は
もう終わっている

要件を書くだけで
プログラムが
できてくれれば…

銀の弾丸はない
画像引用元：Brooks Jr, Frederick P., et al. "人月の神話." ピアソンエデュケーション (2002).
銀の弾丸はない

だが希望はあるだが希望はある
画像引用元：フリー素材ぱくたそ（www.pakutaso.com）

入出力例だけで
プログラムが
できる技術

プログラム
合成

プログラム合成：
高レベルの仕様から
実行可能なプログラムを
自動生成する技術
（≠コンパイル）

代表的なアプローチ：
1. 自然言語理解
2. 形式手法
3. 入出力の例示

自然言語で書かれた
プログラムの仕様を理解し、
プログラムを合成する。

仕様書
何や分からんけど
ええ感じに
計算して
売上めっちゃ
増やしてくれる
機能
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
if(TMP) {
write(OUT-FILE);
}
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}

2. 形式手法
合成したいプログラムの
性質を論理式で表し、
それを自動的に証明する過程で
プログラムが合成される。

2. 形式手法
仕様書
1 : class ベルト監視制御
2 :
3 : instance variables
4 : private iベルト状態 : ベルト状態;
5 : private i光センサー : 光センサー;
6 :
7 : operations
8 : public ベルト状態を判定する : () ==> ベルト状態
9 : ベルト状態を判定する() ==
10 : is not yet specified
11 : pre
12 : i光センサー.黒線レベル値を読み取る() <> nil
13 : post
14 : cases mk_(i光センサー.黒線レベル値を読み取る(),
RESULT):
15 : mk_(<黒閾値以下>, <黒>) -> true,
16 : mk_(<白閾値以上>, <白>) -> true,
17 : mk_(-, <不明>) -> true,
18 : others -> false
19 : end;
20 : end ベルト監視制御
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
if(TMP) {
write(OUT-FILE);
}
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
画像引用元：http://dudka.cz/fss

2. 形式手法
仕様書
1 : class ライン監視制御
2 :
3 : instance variables
4 : private iライン状態 : ライン状態;
5 : private i光センサー : 光センサー;
6 :
7 : operations
8 : public ライン状態を判定する : () ==> ライン状態
9 : ライン状態を判定する() ==
10 : is not yet specified
11 : pre
12 : i光センサー.黒線レベル値を読み取る() <> nil
13 : post
14 : cases mk_(i光センサー.黒線レベル値を読み取る(),
RESULT):
15 : mk_(<黒閾値以下>, <黒>) -> true,
16 : mk_(<白閾値以上>, <白>) -> true,
17 : mk_(-, <不明>) -> true,
18 : others -> false
19 : end;
20 : end ライン監視制御
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
if(TMP) {
write(OUT-FILE);
}
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
画像引用元：http://dudka.cz/fss

プログラムへの入出力の例を
いくつか示すことで、
そのような入出力を生み出す
プログラムを合成する。

while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
if(TMP) {
write(OUT-FILE);
}
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
while(EOF) {
TMP.set(IN-FILE.X);
if(TMP) {
write(OUT-FILE);
}
read(IN-FILE);
}
# 入力出力
1 100 108
2 0 0
3 1200 1296
4 -100 error
入出力例
？

Flash Fill

Flash Fill の
凄さが分かるデモ

Flash Fill の仕組み
既知の関数群の
組み合わせを
入出力例と同じ結果が
出るまで試す

無限の猿定理
“猿がタイプライターの鍵盤を
いつまでもランダムに叩き続ければ
シェイクスピアの作品を打ち出す”

無限の猿定理
“猿が既知の関数を
いつまでもランダムに組み合わせ続ければ
プログラムを打ち出す”

プログラム合成のポイント
無限の時間かかるのは困るので
なんやかんや工夫する

Devlin, Jacob, et al. "Robustfill: Neural program learning under noisy I/O." arXiv preprint arXiv:1703.07469 (2017).
■合成したプログラム
Concat(
ToCase(
GetToken(
input,
Type=Word,
Index=-1),
Type=Proper),
Const(", "),
ToCase(
SubString(
GetToken(
input,
Type=Word,
Index=1),
Start=0,
End=1),
Type=Proper),
Const("."))
①
人が与える
出力例
④
Flash Fillに
よる自動出力
②
出力例を満たすまで
既知の関数合成を試行
■既知の関数群
Concat(), ConstStr(),
SubStr(), GetSpan(),
GetToken(), ToCase(),
Replace(), Trim(),
GetUpto(), GetFrom(),
GetFirst(), GetAll()
③
合成したプログラムを
使って出力を計算
Flash Fill の仕組み
既知の関数を
12 ��に絞っている

プログラム合成
すごくね？
（Flash Fill の知名度ないけど）

じゃあ
最近のプログラム合成
何してるの？

テーブル変換の合成が
“熱い” らしい

Component-Based Synthesis of Table Consolidation and Transformation Tasks from Examples, PLDI2017
month student A B
1 Amy 9 6
2 Amy 7 7
3 Amy 6 8
1 Bob 8 5
2 Bob 6 6
3 Bob 9 7
month Amy_A Amy_B Bob_A Bob_B
1 9 6 8 5
2 7 7 6 6
3 8 8 9 7
■人間が与える入力例 ■人間が与える出力例
TBL_1 = gather(input1,MORPH102,MORPH101,`A`,`B`)
TBL_2 = unite(TBL_1, MORPH110,`student`,`MORPH102`)
morpheus = spread(TBL_2,`MORPH110`,`MORPH101`)
■ 合成したプログラム（R言語）
入出力に与えるのは文字列ではなくテーブル
0.2 秒で
合成できる

大枠を作ってから、細かい条件を埋める
month student A B month Amy_A Amy_B Bob_A Bob_B
TBL_1 = gather(input1, ■, ■, ■, ■)
TBL_2 = unite(TBL_1, ■, ■, ■)
morpheus = spread(TBL_2, ■, ■)
6 行 4 列
3 行 5 列
行を減らして
列を増やすことが
できる関数の
組み合わせか？

month student A B
1 Amy 9 6
2 Amy 7 7
3 Amy 6 8
1 Bob 8 5
2 Bob 6 6
3 Bob 9 7
1 9 6 8 5
2 7 7 6 6
3 8 8 9 7
TBL_1 = gather(input1,MORPH102,MORPH101,`A`,`B`)
TBL_2 = unite(TBL_1, MORPH110,`student`,`MORPH102`)
大枠を作ってから、細かい条件を埋める
値の内容を正しく
設定できる引数の
組み合わせか？

テーブル変換って、
基幹システムの
バッチ処理に似てね？

？
バッチ処理
ID 年齢住所
102 34 Tokyo
103 19 Osaka
104 25 Nagoya
ID 氏名
102 Amy
103 Bob
104 Carol
氏名年齢住所
Amy 34 Tokyo
Bob 19 Osaka
Carol 25 Nagoya
month student A B
1 Amy 9 6
2 Amy 7 7
3 Amy 6 8
1 Bob 8 5
2 Bob 6 6
3 Bob 9 7
1 9 6 8 5
2 7 7 6 6
3 8 8 9 7
テーブル変換
？

バッチ処理の
プログラム合成
出来るんじゃね？

入出力例って
結局「試験データ」だから、
試験データさえ用意できれば
実装が合成できる！！！！

「プログラム合成」とは
いわゆる God
（実現したら）

NTT データ：
「乗るしかない
このビッグウェーブに」

目論見
プログラム合成を
バッチ処理に適用することで
バッチ処理の自動生成を実現し、
圧倒的な工数削減を目指す

開発プロセスを変える
■ 従来のシステム開発プロセス ■ プログラム合成を活用した開発プロセス
外部
設計書
内部
設計書
試験項目
ソース
コード
試験
データ
試験
証跡
①内部設��
②製造
③試験項目作成
④試験データ作成
⑤試験実施
外部
設計書
内部
設計書
試験項目
ソース
コード
試験
データ
試験
証跡
①試験項目作成
②試験データ作成
③プログラム合成
④設計書リバース④設計書リバース
③プログラム合成

外部
設計
内部
設計
製造・
単体試験
結合試験
外部
設計
結合試験
実現前
実現後
外部設計から
結合試験までの
工数 50% 減を
目指す

プログラム合成に
未来がありそうな気がしたので
作ってみる！

とは言え、いきなり
バッチ全部の合成は無理
（素人だし…）

伝統的なバッチ処理のアーキテクチャー
繰り返し
Item Processor
Item Reader
Item Writer
item’
item
item item item
item’ item’ item’
DB
DB
ID 価格
001 100
002 50
003 1200
ID 価格税込
001 100 108
002 50 54
003 1200 1296
001 100 002 50 003 1200
001 100
001 108
001 108 002 54 003 1296
税込 = 価格 * 1.08

まずはバッチ処理の一部分である SQL 合成を試す
繰り返し
Item Processor
Item Reader
Item Writer
item’
item
item item item
item’ item’ item’
DB
DB
ID 価格
001 100
002 50
003 1200
ID 価格税込
001 100 108
002 50 54
003 1200 1296
001 100 002 50 003 1200
001 100
001 108
001 108 002 54 003 1296
税込 = 価格 * 1.08

巨人の肩の上
に立つ

先ほどのテーブル変換の論文を再現実装してみる

できた

実案件の SQL と
試験データあるし、
合成できるか試してみよ

■ 実案件の SQL
SELECT b1, b2, b3, b4, b5, b6, b7, b8, b9, b10
FROM tableA, tableB
WHERE a3 = b1 AND a1 = ? AND a2 = ?
ORDER BY a2 DESC
a3 と b1 カラムをキーに
tableA と tableB を内部結合し，
a1 と a2 カラムを使った条件で絞り込み，
tableB のカラムだけを選択して，
a2 カラムでソートして出力する

■入力例：tableA
a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13
0008 2017/4/1 01 2017/4/1 0 Null 2017/4/1 12:00:00 XX XXXUSER 2017/4/1 12:00:00 XXX XXXUSER 20170401120000000
b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12 b13 b14 b15 b16 b17
01 22222 1 2 3 4 5 6 7 35 2010/1/11 12:00:00 XXX XXXUSER 2010/1/11 12:00:00 XXX XXXUSER 20100111120000000
入力パラメータ出力
a1 a2 b1 b2 b3 b4 b5 b6 b7 b8 b9 b10
0008 2017/04/01 01 22222 0 0 0 0 0 0 3 35
0009 2017/04/01 01 22222 0 0 0 0 0 0 3 35
0010 2011/01/01 06 11112 0 1 1 0 0 0 3 35
※実際は108行
※実際は7行
※実際は108行
■入力例：tableB
■出力例

合成を試みた結果…

２時間回したけど返ってこない

month student A B
1 Amy 9 6
2 Amy 7 7
3 Amy 6 8
1 Bob 8 5
2 Bob 6 6
3 Bob 9 7
1 9 6 8 5
2 7 7 6 6
3 8 8 9 7
TBL_3 = gather(p2_input1,MORPH102,MORPH101,`A`,`B`)
TBL_1 = unite(TBL_3,MORPH110,`student`,`MORPH102`)
論文では 0.2 秒で合成できるって言ったじゃん
0.2 秒で
合成できる

遅くなる理由を
調べてみた

遅い理由
カラムが 5 個を超えると
計算が終わらない

month student A B
1 Amy 9 6
2 Amy 7 7
3 Amy 6 8
1 Bob 8 5
2 Bob 6 6
3 Bob 9 7
1 9 6 8 5
2 7 7 6 6
3 8 8 9 7
TBL_3 = gather(p2_input1,MORPH102,MORPH101,`A`,`B`)
TBL_1 = unite(TBL_3,MORPH110,`student`,`MORPH102`)
確かに論文でもカラムは 5 個くらい
0.2 秒で
合成できる

a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13
実案件だと
平気で 20 カラムとか
あるんですけど…

再現実装の
弱点は分かった

カラムが多くても
合成できるように
改良したのがこちらです

■合成したいSQL
SELECT b1, b2, b3, b4, b5, b6, b7, b8, b9, b10
FROM tableA, tableB
WHERE a3 = b1 AND a1 = ? AND a2 = ?
ORDER BY a2 DESC
a3 と b1 カラムをキーに
tableA と tableB を内部結合し，
a1 と a2 カラムを使った条件で絞り込み，
tableB のカラムだけを選択して，
a2 カラムでソートして出力する

a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13
入力パラメータ出力
a1 a2 b1 b2 b3 b4 b5 b6 b7 b8 b9 b10
0008 2017/04/01 01 22222 0 0 0 0 0 0 3 35
0009 2017/04/01 01 22222 0 0 0 0 0 0 3 35
0010 2011/01/01 06 11112 0 1 1 0 0 0 3 35
※実際は108行
※実際は7行
※実際は108行
■出力例

SELECT a1, b2, a3, a4
FROM A, B
WHERE A.a4 = B.b1
AND a2 = ‘01’
AND b2 <= 5
ORDER BY a1 DESC
SELECT a1, MAX(a2), MIN(a2)
FROM A
WHERE a5 = ‘XX’
AND a3 > ?
GROUP BY a1
非対応 (頻出でないと判断したもの)
サブクエリ，LEFT JOIN, HAVING, DISTINCT, CASE文 ...
プレースホルダに対応
比較演算子
=, >=, >, <=, <, IN
集約関数
MAX, MIN, COUNT
細かい条件に使える演算子や関数を絞った
対応した構文
SELECT, JOIN, WHERE, GROUP BY, ORDER BY

SELECT ■
FROM Table1
WHERE ■
SELECT X, Y, Z
FROM Table1
WHERE ■
⋮
SELECT X, Z, Y
FROM Table1
WHERE ■
SELECT X, Y, Z
FROM Table1
WHERE X <= 18
SELECT X, Y, Z
FROM Table1
WHERE Y = ‘01’
既存手法
提案手法
SELECT ■
FROM Table1
WHERE ■
SELECT X, Y, Z
FROM Table1
WHERE X <= 18
⋮
SELECT X, Z, Y
FROM Table1
WHERE X <= 18
SELECT ■
FROM Table1
WHERE X <= 18
SELECT ■
FROM Table1
WHERE Y = ‘01’
⋮
⋮


WHERE SELECT
SELECT WHERE
大枠作るときの選択順を替えた

詳しくは
で検索、検索ぅ♪
カラム数の大きなテーブルに対する
入出力例からの SQL クエリの合成
竹之内啓太, 岡田譲二, 坂田祐司, “カラム数の大きなテーブルに対する入出力例からの SQL クエリの合成” SES 2019 (2019).

せっかくなので
実案件で試してみた

実現性検証：
実案件の SQL を合成できるか

実現性：実案件の SQL を合成できるか
→ 63% の SQL を時間内に合成できた
選択した
SQL
選択した
SQL
受領した
SQL
選択した
SQL
選択した
SQL
ランダムに
選択した
SQL
選択した
SQL
選択した
SQL
時間内に
合成できた
SQL
選択した
SQL
選択した
SQL
時間内に
合成できな
かった
SQL
100本
63本
37 本
1,172本
※TimeOut は300秒
※全ての SQL の入出力例を
作成する工数が無かったため

時間内に合成できなかったのは
未対応の文法があったため
LEFT JOIN, OR, CASE, LIKE …

対応文法を増やすと
計算量も増えるため
その見極めやバランスが肝要

課題はあるものの
ド素人の実装でも
63% の SQL を合成できた

プログラム合成があれば
プログラムを手で書いて
消耗しなくても良い
（未来が見えてきた）

まだ道半ば
画像引用元：ピクト缶

より多くのSQLを合成できるように計算量を抑えつつ対応
文法を増やしたいけどバランスはどうとれば良いのか。そ
もそもやりたいのはバッチの合成だからそれやりたいけど
バッチに拡張しようとすると値の変更を許すことになるの
で新しいアルゴリズムを考える必要がある。複雑な仕様の
場合は入出力例作るよりも最初からプログラム書いた方が
早い気がするけどそういった場合も生産性を上げるにはど
うすればよいのか。与えられた入出力例を満たすけど意図
とは異なるプログラムが合成された時どうするべきか。プ
ログラム合成を使うと既存の開発プロセスとは全く異なる
開発プロセスになるが現場に受け入れてもらうためにはど
うすればよいのか。給料を上げるにはどうすれば良いのか

まとめ
入出力の例示によるプログラム合成はホット
試験データさえ用意できれば実装が合成できるかも
プログラム合成はバッチ処理に適用できるかも
SQL 合成は現実的にできそう

【宣伝】
プログラム合成を
一緒に研究する
仲間を探しています
（共同研究、PoC、転職…）
Joji.Okada@nttdata.com まで

まだプログラム手で書いて消耗してるの？～入出力例からプログラムを自動生成する技術～（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05）

More Related Content