More Related Content
What's hot
What's hot (20)
Similar to 文献紹介:Semantic-based information retrieval in support of concept design.
Similar to 文献紹介:Semantic-based information retrieval in support of concept design. (20)
Recently uploaded
Recently uploaded (20)
文献紹介:Semantic-based information retrieval in support of concept design.
- 1. 文献紹介 6.3.2020 総合研究大学院大学 複合科学研究科 情報学専攻D3 佐野慎
- 2. 武蔵野美術大学, BA トヨタ自動車 デザイナー（レクサスの外形・CMF） 米国デザイン子会社出向 コンジョイント分析によるデザイン要素 の寄与度研究など イリノイ工科大学院 人間中心デザイン, MDM 同大学院 特任研究助教、医療介護分野のロボット技術応用研究(特許５件) Institute for Creative Integration (ICI) 設立 ユーザ調査、デザインコンセプトの企画、広義のUXデザイン（エージェン ト・インタラクションのユースケース開発など） 自己紹介 1992 1992-2002 2002-2007 2008 2009-2011 2010 2
- 3. デザインコンセプトを発想、コミュニケートするために作成するムードボード とその説明キーワードを人間とAIの対話的な協調により生成すること。 目的 3 研究テーマ デザインプロセス初期段階における、デザイナーの創造的発想の支援に 最適化した機械学習アルゴリズムによる、人間とAIの協調の研究 キーワード： Human AI interaction, relevance feedback, constrained clustering, semantic image retrieval
- 4. 4 「デザイン」の目的 機能のデザイン ● ユーザの要求に解を与え、品質を確保 ● ユーザに製品やサービスの使いかたを示唆（アフォーダンス） ● より多くのユーザの使いやすさを担保（ユーザビリティ） 意味のデザイン ...「デザインとはものの意味を与えること」（Krippendorff, 2005) ● ユーザの感性に響き、感情的な満足感を満たす ● 審美性、時代性、ストーリー性といった新しい意味を付与 ● ブランド、世界観、ユーザのライフスタイルといった、抽象的な概念を表象 →視覚言語（Visual Language)による意味の表象とコミュニケーションが必要
- 5. Setchi Rossitza, Qiao Tang, and Ivan Stankov. (Cardiff University, School of Engineering) "Semantic-based information retrieval in support of concept design." Advanced Engineering Informatics 25, no. 2 (2011): 131-146. コンセプト・デザイナーがデザインを発想する際に使う言葉と視覚イメージを検索する 各種方法を検討し、セマンティック検索を可能にするデザイナー向けオントロジーを含むシ ステムを提案、効果を評価。EU産学連携コンソーシアム 文献紹介 概要 • A new methods of image retrieval using semantic technology to best support concept designers to obtain design inspirations. Keywords: Concept design, Creativity, Inspiration, Image retrieval, Semantic technology, Semantics 5 http://www.trendsproject.org/
- 6. 6 フィアットとベルトーネの “concept designers” が参加 Mission: to convey a visual representation of an idea, mood, style or new technology before it is incorporated in an industrial design ● vocabularies of semantic expressions ● pallets of colours ● mood boards with images, which express their emotions, inspire their creativity and help them communicate ideas to colleagues and clients 1. Introduction 新しいアイデア、時代のムード、スタイル、新技術を先行的に魅せるデザイン デザインの意味を表現する語彙、配色を考える。製品の持つ情感を表現し、デザイナーの創 造性を触発し、それらを関係者とコミュニケーションするための「ムードボード」を創る
- 7. 7 2. Information requirements of concept designers Concept designers’ process; 1. Design Brief 2. Mood board, to explore visual identity and originality 3. Sketch 抽象的なデザイン・ブリーフ（課題設定）に対して、どうい った方向性で視覚的なアイデンティティや独創性を出すかを 探索し、ユーザのライフスタイルを表現するムードボードを 作り、そこに示された言葉や雰囲気を醸し出すスタイリング を発想しスケッチをする “Imagine a car for the megalopolis tomorrow, and consider: environmental friendliness, social harmony, interactive mobility and economic efficiency”
- 8. Characteristics of “creative thinking” • Abstract, high-level and big-picture thinking • Metaphor and analogy; transfering ideas in different domain to a new concept • Take advantage of incidentally presented cues • Combine and integrate two dissimilar concepts into one • Associate ideas and concepts previously seen as unrelated • Inspired by high-level semantics rather than low-level visual similarity 創造的発想力の特徴 2. Information requirements of concept designers 8 ●抽象的思考、メタファー思考、情報収集中に偶然出会ったきっかけから着想 (セレンディピティ） ●違った性質のものを融合、無関係と思われがちな分野からの連想 ●下位概念の視覚的類似性ではなく、上位の抽象的な意味・概念で関連情報を提示
- 9. 3-1. Content-based image retrieval (CBIR) 画像をクエリとした類似画像検索 • Semantic gap between the low-level image features and the high-level concepts employed in queries (Tsai et al. 2008, Datta et al. 2008) ‘‘ • E.g.) “an adventurous trip abroad” unlikely to be automatically obtained from images (Wang et al. 2006, Liu et al. 2007, Ferecatu et al 2008) 9 3. State-of-the-art review ● デザイナーは抽象的で豊かな意味・インスピレーションを含むイメージを探すが、 CBIRは低次元特徴しか見れず、クエリに込められた高位の概念とのギャップがある
- 10. 3-2. Text-based image retrieval (TBIR) • Forms queries using metadata, annotations or free text • Use of semantic technologies and metadata languages provides means for defining class terminologies with well defined semantics and a flexible data model for representing metadata descriptions [22]. (Hyvönen et al. [22]). 10 3. State-of-the-art review ● TBIR は画像に振られたメタデータ、アノテーションや画像の周辺にあるフリーテキストから クエリを生成して画像検索する。 ● セマンティック技術とメタデータ言語を使うと、画像の意味の階層構造（オントロジー）を 定義したり、メタデータの記述を表現するデータモデルが定義できる。
- 11. 3-2. Text-based image retrieval (TBIR) Limitation of semantic concepts ■ WordNet do not capture the semantic relationships between concepts (Conesa et al. [8],[59]). ■ OpenCyc captures and represents common sense, does not contain linguistic relationships ■ Gene Ontology - only represents certain aspects of a domain, not the complete domain. 11 3. State-of-the-art review ● ただし、以下のようなオントロジーには限界がある ○ WordNet...コンセプト間の意味的関係を捉えられない ○ OpenCyc...単語間の距離の情報がない。 ○ 用途に特化したオントロジー...カバー範囲が狭い
- 12. 3-2. Text-based image retrieval (TBIR) • Semantic technologies enable information retrieval using high-level concepts, which are closer to the way creative designers. [Cox et al. (2000)] • Semantic expansion provides a degree of diversity and serendipity, both very important in the domain of creative design. • Usefulness of the information depends on its indexing [Vijaykumar et al.(2008)] 12 3. State-of-the-art review ● セマンティック技術は高次元のコンセプトを使って画像検索を可能にし、デザイナーの思考・ 探索方法に近い ● セマンティック拡張によって概念の多様性やセレンディピティを提供できる ● データのインデックス（タグづけ）が鍵
- 13. 4.1. Algorithm • OntoTag links content to concepts ... no machine learning due to the lack of a domain- specific ontologically tagged corpus. • Assumes that there is a semantic link between the images in a web page and the text around them. • Uses the idea that the more frequently a term occurs in a document and the fewer documents it occurs in, the more representative this term is of that document. 13 4. Semantic-based Image Retrieval ● OntoTagというアルゴリズムで画像をコンセプトにリンクする ● 画像とその周辺にあるテキストに意味的なリンクがある前提で、そこから単語を拾う ● 特定の文書に出現頻度が高いが出現する文書数が少ない単語がその画像の特徴をもっとも代表す る単語だと推定する（tf-idf法）の考え方を採用
- 14. tf-idf法でドキュメントの特徴 を最も代表する単語 t を抽出 4.1. Algorithm 14 4. Semantic-based Image Retrieval それら t をオントロジー を使ってツリー状に関係 づけされたコンセプトCに リンクする ‘Semantic expansion’ ドキュメント上の全単語を拾う
- 15. W tf-idf (ti ,dj ) = #(ti ,dj )・log 4.1. Algorithm 手順 15 (i) Retrieving web pages by crawling and creating Collection D (ii) Identifying and ranking the most frequently used keywords and phrases using the tf-idf function (i) 指定した12のセクタからクローラで画像と周辺文書を収集 (ii) tf-idf で文書dj 中のキーワードti に重み付け (1) #D #(ti ,D) 文書djに含まれる 単語ti の重み 集合D 中の文書数 djに現れる単語ti の出現頻度 単語ti が集合D 中に 出現する頻度 4. Semantic-based Image Retrieval (1) (ii) (i)
- 16. (iii) Associating the most frequently used keywords and phrases with ontological concepts, and computing the weight WCk(dj ) of each concept Ck W Ck (dj ) = Σ (W tf-idf (ti ,dj )・ ) 4.1. Algorithm 手順 16 1 Ck (ti )i=1 n 文書djに含まれる 単語ti の重み 用語ti にリンクされる コンセプトCk の数 文書 dj 中にあるコンセプト Ck に リンクされる単語の数n 次に最重要キーワードをオントロジー的に近いコンセプトに関連付 けてそのリンクしたコンセプトCk の重み Wck(dj ) を 算出 4. Semantic-based Image Retrieval (2) リンクされたコン セプトCk の重み
- 17. (iv) Ranking the concepts according to their significance Wck(dj ) and tagging the images with those concepts, which have the highest weight. 4.1. Algorithm 手順 17 (iv) 文書dj に関係するコンセプトCk の重み Wck(dj ) に応じて ランクづけし、イメージに最も重みの大きいコンセプトでタグ づけする 4. Semantic-based Image Retrieval
- 18. 1.CTA (Conjoint Trend Analysis) ontology… domain-specific ontology for designers, using value-function-attribute chain. [Bouchard et al. (2007)] • ‘‘comfortable life” (value) – ‘‘ergonomic” (function) – ‘‘soft” (attribute) 1.OntoRo (a general-purpose lexical ontology) [Setchi et al. (2007)] … based on Roget’s Thesaurus [Davidson (2003)] • ‘‘Perfection” example in WordNet, OpenCyc and OntoRo [Fig. 3] 4.2. Ontologies 18 TRENDSシステムで使われているオントロジー 1. CTA(Conjoint Trend Analysis) ベースのデザインドメインに特化したオントロジー （10 classes and 503 instances） 1. OntRo（汎用類語辞書）←この研究ではこちらを使用 • WordNetやOpenCycでは用が足りないことをFig. 3で例示 4. Semantic-based Image Retrieval
- 19. 4.2. Ontologies 19 Concept prototype superiority completeness summit symmetry perfection preparation knowledge completion beauty desire virtue innocence good person purity divineness 4. Semantic-based Image Retrieval Section relation quantity quantity dimensions form prospective volition prospective volition voluntary action results of action personal emotion personal emotion morality morality morality morality religion Class Abstract relations Abstract relations Abstract relations Space Space Volition:the exercise of will Volition:the exercise of will Volition:the exercise of will Volition:the exercise of will Emotion, religion and morality Emotion, religion and morality Emotion, religion and morality Emotion, religion and morality Emotion, religion and morality Emotion, religion and morality Emotion, religion and morality 287 words/phrases 46 words /phrases
- 20. This small Tibetan bronze figure may be identified as a Bodhisattva because of its jewelry, crown, aureole (which surrounds the body), and nimbus. It sits on a lotus in a posture of meditation, with two of its four hands in the namaskaramudra gesture, which indicates prayer or greeting. In another hand is a strand of prayer beads. The last hand is empty, and may originally have held a lotus. 4.3. Illustrative Example 20 Allentown美術館のページをOntoTagアルゴリズムが処理した例。まず一緒に収集された 説明文内の、単語毎の出現頻度#(ti ,dj ) を見る。‘‘lotus” ‘‘prayer”が２回ずつで最頻出。 4. Semantic-based Image Retrieval Fig. 5 The operation of the algorithm using a page retrieved from the collection of the Allentown Art Museum. Term frequency #(ti ,dj ) : two words are used twice in this piece of text: ‘‘lotus” and ‘‘prayer”
- 21. 4.3. Illustrative Example 21 • 文書内の各単語が文書集合のなかに出現する頻度 #(ti ,D) を算出（#D=3M） • 文書集合の中で重要単語 ti が含まれる文書の割合 の逆数(idf ) を 式（３）で求める 4. Semantic-based Image Retrieval ● Document frequency #(ti ,D) for each word in the text is obtained from three million content pages of the English Wikipedia. ● The inverted document frequency (idf ) value of each significant term in the text is computed using (3). (3) W idf = log #D #(ti ,D) #(ti ,D) #D 集合D 中の文書数 単語ti が集合D 中に出現する頻度
- 22. 22 4. Semantic-based Image Retrieval Table. 1 idf 値高い＝多くの文書 に現れない希少語彙 idf 値低い＝多くの文書 に頻出する語彙 “Bodhisattva” “Aureole” ‘‘Posture” (4.055517328) (5.0816700460 (3.52349961) ‘‘last” ‘‘another” (1.451626378 (1.464459952)
- 23. 4.3. Illustrative Example 23 • リンクされた各コンセプトCkの重みW ck (dj )を計算 4. Semantic-based Image Retrieval ● The tf-idf value on each word is calculated (4) W tf-idf (ti ,dj )= #(ti ,D)・W tf-idf ● Term with an tf-idf 1.45 is linked to a OntoRo concept ● Computing the weight W ck (dj ) of each linked concept Ck (2) W ck (dj ) = Σ (W tf-idf (ti ,dj )・ ) 1 Ck (ti )i=1 n • 文書中の各語 ti の tf-idf 値 を計算 > = • 閾値 ε=1.45 を超える語彙をOntoRoコンセプトにリンク
- 24. 24 （重みの大きいコンセプトはtf-idf値の大きい 単語にリンク (tf-idf=2.336756893) (“Figure” tf-idf=2.150545486) (“Hand” tf-tdf=2.186123673) Table. 2 ...重み(ε=1.45 ) でFig.5にタグづけされたコンセプト (“Bodhisattva” tf-idf=4.055517328) 重みの小さいコンセプトはリンクする語彙がtf-idf値の低い １語しかないものが多い
- 25. 4.3. Illustrative Example 25 提案する方法でクエリをセマンティック拡張すれば perfection, purity, spirituality には virtue, piety, innocence, purity, divineness がタグづけされる。perfectionだけだったら #965divineness が重み最大だ った。‘‘purity” , “spirituality”と組み合わせて重み計算を行ったから #933:virtueが重み最大になった 4. Semantic-based Image Retrieval ● Semantic-based search with ‘‘perfection, purity, spirituality”would hit Fig. 5 w/ semantic expansion. (2) W#933 = 2.2781211・ + 2.215722・ + 2.260002・ = 1.08877) 1 3 1 17 1 11 #979:piety (W#979 = 0.954763), #935:innocence (W#935 = 0.335436), #950:purity (W#950 = 0.335436), #965:divineness (W#965= 0.268014) ‘‘perfection”のtf-idf ‘‘spirituality” のtf-idf ● If the query was ‘‘perfection” only, the concept #965:divineness would have been linked ‘‘purity”のtf-idf #933“virtue”の重み
- 26. 4.4. Industrial implementation and evaluation 26 • アルゴリズムをTRENDSソフトウェアに組み込む 4. Semantic-based Image Retrieval ● Integrated to TRENDS software. ● provides means for searching images using: (i) design-specific elements: e.g.) shape, texture, colour (ii) sectors of influence: e.g.) ‘‘architecture”, ‘‘nature”, ‘‘toys” (iii) keywords :e.g.) ‘‘boat” or ‘‘money” (iv) semantic adjectives: e.g.) ‘‘fresh”, ‘‘aggressive”, ‘‘luxury”. ● All images are indexed with: keywords, concepts, low-level image features. Tuning! collective personal sectors Fig. 6-1 keywords • 画像検索は (i) デザイン・エレメント、(ii) セクター、(iii) オブジェクトを示すキーワード（ 名詞）、(iv) 意味を表す形容詞で絞り込むことができる。 • イメージはキーワード、コンセプト低次元画像特徴の３つの方法でタグづけされている。
- 27. 4.4. Industrial implementation and evaluation • TRENDには汎用オントロジーOntoRoとデザインに特化したCTA (Conjoint Trend Analysis)というオントロジーが両方搭載されており、 • 画像データベースには3,000のウェブサイトから収集した25セクターを代表する 1,888,525の画像が含まれている。 4. Semantic-based Image Retrieval ● TRENDS uses both OntoRo (general purpose) and the CTA (design specific) ontology (value-semantic adjective-functional attribute). ● TRENDS collection includes 1,888,525 images retrieved from more than 3000 web sites, represent 25 sectors, ”design” “automotive”, “advertisement”, “aerospace”, “fashion”, “architecture” and other sectors.
- 28. 4.4. Industrial implementation and evaluation 28 OntoTagの評価 1.TRENDデータベースから500ページを人がタグづけ vs. OntoTag→どっちが適合なのか主観的で判断が難しい。 2.OntoTag のタグ付けを人がマニュアルでチェック。7/10 が関連の高いコンセプトにタグづけされた。 3. 汎用tagger “Copernic” とOntoTagの成績比較 OntoTagが優位 (適合率評価） 4. Semantic-based Image Retrieval Fig. 6-1 ● Evaluation of OntoTag 1. Manual tagging of 500 pages on the TRENDS collection 2. Assessing the ontology tagger and checked by human 3. Comparing two ontologies; Copernic vs. OntoTag How 9 of the retrieved images are used to produce colour, shape and texture palettes.
- 29. 4.4. Industrial implementation and evaluation 29 4. Semantic-based Image Retrieval ● ‘‘Aggressive”: ○No results with Copernic (standard indexing software) Fig. 7 ● OntoTag returns Space shuttle, Porsche sports car, military personnel (these web pages do not contain the words ‘‘aggressive”) 「アグレッシブ」 • Copernicでは何もヒットしない、OntoTagでは３つの適合画像がヒット • OntoTagはスペースシャトルなどヒット、この中のどの画像（ページ）にも 「アグレッシブ」という言葉は出現しない。 https://www.copernic.com/en/products/desktop-search/
- 30. 4.4. Industrial implementation and evaluation (User research) 30 4. Semantic-based Image Retrieval ● 12 concept designers from FIAT and Stile Bertone ● Designers formed queries from the design brief: “smart”, ‘‘farm”, ‘‘eco-design”, ‘‘comfort ● Image search using both TRENDS and Google ● 10 pages with 16 images (160 images) were presented (blind) ● Evaluate each image by inspirational value, usefulness, aesthetics, unusualness/serendipity, closeness to the idea they have had in mind, and image quality. 参加者実験1: フィアットとベルトーネから12名のデザイナーが参加 • デザインブリーフを与えられ、クエリを考える • そのクエリセットを使ってTRENDS システムとGoogleイメージで検索 • 160の画像検索結果としてをデザイナに提示（ブラインド） • 7点法で画像を評価
- 31. 4.4. Industrial implementation and evaluation (User research) 31 4. Semantic-based Image Retrieval Fig. 8b. Mean scores for inspirational value. TRENDS Google ● Only the first 6 pages contained images selected as inspirational by all participants ● Fig. 8b shows the mean for the inspirational value of the images included in page 1 and page 6. • どちらのオントロジーを使った検索でもインスピレー ションの得られた画像が含まれていたのは最初の６セ ットのみ（全員） • TRENDの方が、１ページ目と６ページ目の結果に傾斜 があり、アルゴリズムが判断した優先順位が正しいこ とを裏付け
- 32. 4.4. Industrial implementation and evaluation (User research) 32 4. Semantic-based Image Retrieval ● 8 concept designers from FIAT(6) and Stile Bertone(2) used the TRENDS system for 1 month ○ Used both TBIR / CBIR ○ Feedback: quality of the images, usability, response time. ○ End users considered the TRENDS functionality very useful in the design context. Overall the semantic search was accepted well. ● 参加者実験 2: フィアットとベルトーネから8名のデザイナー がシステムを１ヶ月実務で使用 ○ TBIRもCBIRも両方使っていた ○ 画像の品質、ユーザビリティ、スピードに難あり ○ 実務に役立つ。セマンティックサーチの評判は概ね好評
- 33. End