Apache solr教學介紹 20150501
•Download as PPTX, PDF•
2 likes•2,610 views
這是我在2015年政大圖檔所網路資訊檢索研究課程中所講的「Apache Solr全文搜尋引擎」。這份投影片教大家如何從無到有建立搜尋引擎。跟單純的關聯式資料庫(RMDB)不同，全文搜尋引擎是以XML檔案設定文件的欄位，並可提供指定欄位、層面等簡單的搜尋查詢條件，還可以進一步全文搜尋引擎特有的斷詞器、停用字、同義字、大小寫、詞幹切截等過濾器的設定。這份投影片附帶一份完整的Apache Solr環境，主要是為了Windows環境佈置。其中有個步驟需要將匯入資料的試算表檔案轉換成適合Solr的格式，我發展了一個試算表轉換成Solr XML格式小工具，以便我們匯入資料到Solr中。
Report
Share
More Related Content
What's hot
What's hot (20)
Similar to Apache solr教學介紹 20150501
Similar to Apache solr教學介紹 20150501 (20)
More from Yung-Ting Chen
More from Yung-Ting Chen (20)
Recently uploaded
Recently uploaded (20)
Apache solr教學介紹 20150501
- 2. 請先下載並解壓縮吧 課堂前準備 • 推薦使用Windows環境進行本作業 • 請下載教學用Solr：ir-practice-solr.zip ◦ http://l.pulipuli.info/17/solr ◦壓縮檔大小：246MB ◦ 解壓縮後檔案大小：401MB • CVS檔案編輯器：LibreOfficePortable 4.4.2 ◦ http://l.pulipuli.info/17/lo 2
- 4. 作業說明 • 個人作業： ◦ 請以隨身碟保存您的Solr系統 • 完成等級： 1. 照講義地建置了Solr系統、匯入了資料與修改了網頁標題 2. 規劃主題建置資料，並且資料超過500筆以上 3. 修改了資料欄位與層面檢索 4. 大幅度地調整了系統版面 5. 找出講義沒提及的功能 • 作業呈現：5/22(五) ◦ 以隨身碟儲存系統，帶到電腦教室中教師端電腦來展示 ◦ 展示重點：收錄資料主題、講義之外的系統調整 4
- 5. 大綱 • Part 0. Apache Solr介紹 • Part 1. 系統架設 • Part 2. 資料建置 • Part 3. 顯示與搜尋的設定 • Part 4. 資訊檢索的設定 • Part 5. 修改版面 5
- 7. Apache Solr http://lucene.apache.org/solr/ ● Apache基金會的開放原始碼全文檢索引擎(full text search engine) ● 2010年正式併入Lucene計劃中 ● Solr是基於Lucene全文檢索引擎為核心，再加入更多 功能與API，方便與各種系統整合 ● 具備企業級的規模與功能，成為眾多系統檢索的核心 ● http://wiki.apache.org/solr/PublicServers 7 美國白宮美國線上 開源論壇 學術資料庫
- 8. Solr特色 • 使用XML設定檔定義資料的 Schema ◦ 可設定資料類別(int, string, text general)、多值、唯一值 • 擴充Lucene的查詢語法 ◦ 可指��欄位檢索、布林邏輯、函式 計算 • 使用XML設定檔調整文件匯入 分析器 ◦ 設定斷詞分析(tokenize)與過濾(字 幹處理、停用字) • 擴充搜尋功能API ◦ 層面分類搜尋及縮小範圍過濾功能 ◦ 地理空間資料搜尋 • 可針對各種文本進行索引 ◦ JSON, XML, CSV, 文字檔 ◦ 搭配Apache Tika可對PDF, WORD, HTML進行索引 ◦ 可從本機磁碟、HTTP來源、資料庫 進行索引 • SolrCloud可建立集叢，進行 跨伺服器的分散式搜尋 ◦ 搜尋結果快取與搜尋效能最佳化 ◦ 增量式更新及索引複製 8http://newsletter.ascc.sinica.edu.tw/news/read_news.php?nid=2288
- 9. Solr架構 Apache Solr Apache Lucene RESTful API Search UI Web Admin 調用 9 Part 2.資料建置 Part 5. 版面修改 Part 3.顯示與搜尋的設定 Part 1. 系統架設 Part 4.資訊檢索的設定
- 10. 系統架設 PART 1. 10
- 11. Part 1. • STEP 1-0. 環境說明 • STEP 1-1. 教學用Solr下載 • STEP 1-2. 啟動Solr • STEP 1-3. 關閉Solr • STEP 1-4. 重新啟動Solr 11
- 12. Solr運作環境說明 • Solr是基於Java Run Environment (JRE)，因此可運作於 有安裝JRE的Windows、Mac、Linux上 ◦ 本教學特別準備好免安裝版本，故不必額外安裝JRE ◦ 安裝Java RE https://java.com/zh_TW/download/ • 本教學是以Windows為設計，特別設置了簡化操作 ◦ 如果是Mac或Linux的使用者，必須要用指令操作 12 STEP 1-0. 實作! 這個步驟將在課堂實作！ BAT 這個鏈結是批次檔！ 點兩下執行即可
- 13. 教學用Solr下載 http://l.pulipuli.info/17/solr • 教學用Solr已經是開放原始碼到GitHub ◦ 網站：https://github.com/pulipulichen/ir-practice-solr • 壓縮包下載網址：http://l.pulipuli.info/17/solr • 解壓縮到Windows桌面 ◦ 例如：C:Desktopir-practice-solr ◦ 投影片中，Solr路徑皆會以[solr]表示 13 STEP 1-1. 實作!
- 16. 啟動Solr並開啟網頁 [solr]start_solr.bat 1. 執行指令 ◦ cd [solr]example ◦ java -jar start.jar [solr]open_search_ui.bat 2. 開啟網站 ◦ http://localhost:8983/solr/browse 16 STEP 1-2. 指令 (供其他作業系統參考)
- 19. Part 1. 實作! • 1-1. 下載Solr ◦ http://l.pulipuli.info/17/solr • 1-2. 啟動Solr ◦ [solr] start-solr&open-search-ui.bat 19 A piece of cake~
- 20. 資料建置 PART 2. 20
- 22. Part 2. • STEP 2-1. 資料準備 ◦ 自行建置 ◦ 外部系統：以WorldCat為例 • STEP 2-2. 設定Solr資料表 • STEP 2-3. 轉換成Solr匯入 指令XML • STEP 2-4. 資料操作 ◦ 匯入資料 ◦ 匯入資料錯誤 ◦ 清空資料 • STEP 2-5. 開啟網頁 ◦ 功能確認 • Part 2. 實作 22
- 24. 外部系統：以WorldCat為例 • https://www.worldcat.org 1. 註冊/登入 2. 搜尋書目資料 3. 選擇書目，儲存到「我的最愛清單」 4. 開啟「我的最愛清單」 5. 匯出到CSV 24 STEP 2-1B. 資料準備 實作請用範例資料 [solr]/PRACTICE/2-1/data.csv 實作!
- 25. 調整欄位名稱 • 將欄位名稱修改 ◦ OCLC # → id (必備欄位) ◦ 其他欄位都變成小寫名稱，空格改為 _ ◦ Title → title (必備欄位) ◦ Author → author ◦ Language → language ◦ Item type → item_type 25 STEP 2-1B. 資料準備 ◦ Publication → publication ◦ Publisher → publisher ◦ Database → database ◦ Notes → notes ◦ Added date → added_date
- 26. Excel開啟檔案出現亂碼！ • csv檔案請用LibreOffice開啟 (因為編碼為UTF-8) ◦ LibreOfficePortable：http://l.pulipuli.info/17/lo 26 STEP 2-1B. 資料準備
- 27. 設定Solr資料欄位 • [solr]PRACTICE2-2edit_schema.xml.bat ◦ 開啟檔案[solr]examplesolrcollection1confschema.xml • 修改資料：請找到「請新增<field>設定欄位」 ◦ <schema> ◦ <field> • 在下面新增<field> ※ 修改後需重啟Solr 27 STEP 2-2. 實作!
- 28. 設定Solr資料欄位 <field name="title" type="text_general" indexed="true" stored="true" multiValued="true"/> • <field>說明 ◦ name="title"：欄位名稱 ◦ type="text_general"：資料形態，與分析器與權重相關 ◦ text_general: 套用文字預設的分析器 ◦ text_en: 套用英文的分析器 ◦ string: 整句文字索引，搜尋時必須要輸入完整字句才能找到 ◦ int: 數字 / float: 浮點數，接受小數點 / boolean: 是或否 ◦ date: 日期 ◦ indexed="true"：是否索引，true才能被檢索 ◦ stored="true"：是否儲存，true才能用highlight ◦ multivalued="true"：是否允許多值 28 STEP 2-2.
- 29. 設定Solr資料欄位 29 STEP 2-2. id title author publish_year 一定要確認 資料欄位都有 對應的<field>！
- 30. 轉換成Solr匯入指令XML • 使用轉換工具「將CSV, XLSX轉換成Solr XML格式」 ◦ http://l.pulipuli.info/17/solr-xml 30 STEP 2-3. <add> <doc> <field name="id">465820596</field> <field name="title">Fra det nu forsvundne Solrød kommune</field> <field name="author">Steen Rosendahl</field> <field name="author">Solrød lokalhistoriske arkiv</field> <field name="language">丹麥語（Danish）</field> <field name="item_type">book</field> <field name="publisher">[København] : Strandbergs forlag, 1984</field> <field name="added_date">2014-12-14 04:38</field> </doc> </add> 實作!
- 32. 轉換成Solr匯入分指令XML http://l.pulipuli.info/17/solr-xml 32 STEP 2-3. 儲存網頁檔案 儲存路徑 [solr]PRATICE2-3data.xml
- 34. 資料操作：匯入資料 ※ 必須是要Solr啟動狀態下 • 匯入資料：[solr]PRACTICE2-4add_data.bat ◦ 指令： ◦ cd [solr]exampleexampledocs ◦ jar –jar post.jar [data.xml] • 如果沒有 ERROR出現 表示匯入成功 ◦ 按下ENTER關閉視窗 34 STEP 2-4. 實作!
- 36. 資料操作：清空資料 • [solr]PRACTICE2-4delete_all_data.bat ◦ 指令： ◦ cd [solr]exampleexampledocs ◦ java -Ddata=args -jar post.jar <delete><query>*:*</query></delete>" 36 STEP 2-4.
- 37. 開啟網頁 • [solr]open_search_ui.bat ◦ 開啟網頁 http://localhost:8983/solr/browse 37 STEP 2-5. 資料成功匯入！ 實作!
- 38. Part 2. 實作! • 2-1. 資料準備 ◦ 使用預設資料 [solr]/PRACTICE/2-1/data.csv • 2-2. 設定Solr資料表 ◦ [solr]PRACTICE2-2 edit_schema.xml.bat • 2-3. 轉換匯入指令 ◦ http://l.pulipuli.info/17/solr-xml • 2-4. 匯入資料 ◦ [solr]PRACTICE2-4add_data.bat • 2-5. 開啟網頁 ◦ [solr]open_search_ui.bat 38 步驟好多啊…
- 39. 思考問題： 39 Solr索引 id title author 1 DSpace 布丁 id title author 1 KALS 布丁 如何區別不同來源的資料？ 如何避免重複id?
- 41. Solr核心設定檔 schema.xml • 檔案位置： [solr]examplesolrcollec tion1confschema.xml • 資料欄位設定 • 資料類型與分析器設定 solrconfig.xml • 檔案位置： [solr]examplesolrcollec tion1confschema.xml • Search UI網站設定 ◦ 標題 ◦ 層面檢索 41
- 42. 簡易檢索(首頁) 42 進階檢索 簡易檢索3-3. 層面檢索 3-1. 摘要欄位 3-3. 網站標題管理介面
- 45. Solr管理介面 45
- 46. Part 3. • STEP 3-1. 顯示欄位設定 • STEP 3-2. 層面檢索 • STEP 3-3. 網站標題 • STEP 3-4. 搜尋排序的權重 • STEP 3-5. 搜尋相似物件排序的權重 • Part 3 實作! 46
- 47. 顯示欄位設定 • [solr]PRACTICE3-1edit_display_fields.vm.bat ◦ 開啟[solr]examplesolrcollection1confvelocitydisplay_fields.vm ◦ .vm檔案請以Notepad++開啟 • 不同狀態下要顯示的欄位 ◦ $result_fields：簡易顯示欄位 ◦ $detail_fields：詳細顯示欄位 ◦ $similar_fields： 類似資料顯示欄位 ◦ $advance_search_fields： 進階檢索可使用的欄位 47 STEP 3-1. 實作!
- 48. 顯示欄位設定 ◦ 'name': 'title' ： 資料欄位 ◦ 'label': false ： 欄位標籤說明 ◦ false表示不顯示 ◦ '字串' 要包括在單引號 ' 之中 ◦ 'access_point': true ： 變成鏈結，用這個欄位的資料進行搜尋 (進階檢索沒有這個欄位) ◦ false: 不變成鏈結 ◦ '#lens….'： title欄位專用的設定 48 STEP 3-1. #set($result_fields = [ {'name': 'title', 'label': false, 'access_point': "#lensNoQ&q=id:%22$docId%22&mlt=true"}, {'name': 'language', 'label': 'Language', 'access_point': false} ]) 設定之間 要加上逗號,
- 49. 層面檢索 • [solr]PRACTICE3-2~5edit_solrconfig.xml.bat ◦ 開啟[solr]examplesolrcollection1confsolrconfig.xml • 搜尋<str name="facet.field"> • 修改要開啟層面檢索的欄位 ◦ subject: 資料欄位名稱 ※ 修改過後需要重新啟動Solr 49 STEP 3-2. <str name="facet.field">subject</str>
- 50. 網站標題 • [solr]PRACTICE3-2~5edit_solrconfig.xml.bat ◦ 開啟[solr]examplesolrcollection1confsolrconfig.xml • 搜尋<str name="title"> ◦ 修改<str name="title">跟<str name="sub.title">的值 ※ 修改過後需要重新啟動Solr 50 STEP 3-3. 實作!
- 51. 搜尋排序的權重 • [solr]PRACTICE3-2~5edit_solrconfig.xml.bat • 搜尋「搜尋排序的權重」 • title^10.0 ：如果title資料欄位有符合，排序優先權重 設為10次方 51 STEP 3-4. <str name="qf"> text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4 title^10.0 description^5.0 keywords^5.0 author^2.0 resourcename^1.0 </str> ※ 修改過後需要重新啟動 Solr
- 52. 搜尋相似物件排序的權重 • [solr]PRACTICE3-2~5edit_solrconfig.xml.bat • 搜尋「搜尋相似物件排序的權重」 • title^10.0 ：如果title資料欄位有符合，排序優先權重 設為10次方 52 STEP 3-5. <str name="mlt.qf"> text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4 title^10.0 description^5.0 keywords^5.0 author^2.0 resourcename^1.0 </str> ※ 修改過後需要重新啟動 Solr
- 54. Part 3. 實作! • 3-1.顯示欄位設定 ◦ [solr]PRACTICE 3-1edit_display_fields.vm ◦ 更換順序、加入新增的欄位 • 3-3. 網站標題 ◦ [solr]PRACTICE 3-2~5edit_solrconfig.xml.bat 54 怎麼這麼多設定…
- 57. Part 4. • STEP 4-1. 認識分析器：以text_en為例 • STEP 4-2. 測試分析器 • STEP 4-3. 認識斷詞器與過濾器 ◦ 斷詞器 <tokenizer> ◦ 停用字 solr.StopFilterFactory ◦ 同義字 solr.SynonymFilterFactory • Part 4. 實作! 57
- 58. 認識分析器：以text_en為 例 • [solr]PRACTICE4-1edit_schema.xml.bat ◦ 開啟檔案[solr]examplesolrcollection1confschema.xml • 搜尋「認識分析器」 ◦ 找到 <fieldType name="text_en" 58 STEP 4-1.
- 59. 認識分析器：以text_en為例 59 STEP 4-1. <fieldType name="text_en" … > <analyzer type="index"> <analyzer type="query"> <tokenizer> <filter> <filter> <filter> <tokenizer> <filter> <filter> <filter>
- 60. 測試分析器 • [solr]PRACTICE4-2open_analysis.bat ◦ 開啟網站http://localhost:8983/solr/#/collection1/analysis? analysis.fieldtype=text_en 60 STEP 4-2. 輸入index 輸入query 結果符合！ 實作!
- 61. 認識斷詞器與過濾器 • <tokenizer class="solr.StandardTokenizerFactory"/> 標準斷詞器：英文以單字斷詞、中文以一個字斷詞 • <filter class="solr.StopFilterFactory"/> 停用字與停用字典設定 • <filter class="solr.SynonymFilterFactory"/> 同義字擴展設定 • <filter class="solr.LowerCaseFilterFactory"/> 英文字全部小寫化 • <filter class="solr.PorterStemFilterFactory"/> 詞幹切截 61 STEP 4-3.
- 62. 斷詞器 <tokenizer> • 除了標準斷詞器之外，中文界還有其他知名斷詞器 ◦ Paoding：庖丁解牛 ◦ Imdic-Chinese-Analyzer：智慧型詞典使用的斷詞器 ◦ IKAnalyzer ◦ Mmseg4j：基於MMSeg演算法開發的斷詞器 62 STEP 4-3.認識斷詞器與過濾器 <tokenizer class="solr.StandardTokenizerFactory"/>
- 63. 停用字 solr.StopFilterFactory [solr]PRACTICE4-3 edit_stopwords_en.txt.bat • 每行一個停用字 ※ 修改停用字需要重新啟動Solr 63 STEP 4-3.認識斷詞器與過濾器 <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_en.txt" /> 實作!
- 64. text_general的停用字 [solr]PRACTICE4-3 edit_stopwords.txt.bat • 檔案位置： [solr]examplesolrconfig stopwords.txt • 由於Search UI欄位預設多 為text_general而非 text_en，因此應設定 stopwords.txt 64 STEP 4-3.認識斷詞器與過濾器 搜尋are找不到 給Search UI用
- 65. 同義字 solr.SynonymFilterFactory [solr]PRACTICE4-3 edit_synonyms.txt.bat • 被取代的字 => 用來取代的字 • 同義字A, 同義字B, 同義字 C ※ 修改停用字需要重新啟動Solr 65 STEP 4-3.認識斷詞器與過濾器 <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> 實作!
- 66. Part 4. 實作! • 4-2. 測試分析器：輸入任意中英 文看看 ◦ [solr]PRACTICE4-2 open_analysis.bat • 4-3. 修改停用字 ◦ [solr]PRACTICE4-3 edit_stopwords_en.txt.bat • 4-3. 修改同義詞 ◦ [solr]PRACTICE4-3 edit_synonyms.txt.bat 66 檢索好複雜啊！
- 67. 修改版面 PART 5. 67
- 69. Part 5. 步驟 • STEP 5-1. Velocity樣板語言與CSS ◦ 重要的vm檔案 ◦ Velocity樣板語言 ◦ 重要的CSS檔案 • STEP 5-2. 圖片與JavaScript檔案 • Part 5. 實作! 69
- 70. Velocity樣板語言與CSS • [solr]PRACTICE5-1open_velocity.bat ◦ 資料夾位置：[solr]examplesolrcollection1confvelocity • Velocity樣板語言 ◦ Apache Velocity Project https://velocity.apache.org/engine/releases/velocity-1.5/user- guide.html ◦ 專注於顯示資料使用的樣板語言 ◦ 檔案副檔名是 .vm，需要用Notepad++開啟 70 STEP 5-1.
- 71. 重要的vm檔案 • head.vm：載入JavaScript / CSS • menu.vm：選單 • header.vm：標頭 • query_form.vm：檢索欄位 • facet_fields.vm：層面檢索 • richtext_doc.vm：顯示結果 ◦ richtext_fields.vm：顯示結果記錄 ◦ richtext_similar.vm：顯示相關記錄 • footer.vm：結尾 71
- 72. vm檔案與版面的對應 72 menu.vm header.vm query_form.vm facet_fields.vm richtext_doc.vm richtext_fields.vm
- 73. Velocity樣板語言 • #開頭：vm語法 • 一般內容顯示 73 #*：註解開頭 *#：註解結尾 #set(): 設定變數 #if(): 條件判斷 #end: 條件判斷結束 直接顯示的 HTML標籤
- 74. 重要的CSS檔案 • [solr]PRACTICE5-1edit_main.css.bat • CSS：設定網頁樣式的程式語言 • main.css：主要控制網站的CSS檔案 • 教學用Solr額外採用了 Semantic UI作為設計 工具庫 ◦ 使用教學 http://semantic-ui.com/ 74
- 75. 圖片與JavaScript檔案 • [solr]PRACTICE5-2open_webapp.bat ◦ 資料夾位置：[solr]examplesolr-webappwebapp • [solr]PRACTICE5-2open_img.bat • 檔案位置與網址的關係：以library-logo-small.png為例 ◦ 檔案位置：[solr]examplesolr-webappwebappimglibrary-logo- small.png ◦ 網址：http://localhost:8983/solr/img/library-logo-small.png 75 STEP 5-2. 實作!
- 76. Part 5. 實作! • 5-2. 替換標題圖片 ◦ [solr]PRACTICE5-2 open_img.bat ◦ 圖示 http://findicons.com/ ◦ 照片 http://pixabay.com/ ◦ 圖片截圖跟簡單編輯 FastStone Capture http://j.mp/20150501-fs 76 我會CSS我超強！ 但很多人不會 ，我知道…
- 77. 作業說明 • 個人作業： ◦ 請以隨身碟保存您的Solr系統 • 完成等級： 1. 照講義地建置了Solr系統、匯入了資料與修改了網頁標題 2. 規劃主題建置資料，並且資料超過500筆以上 3. 修改了資料欄位與層面檢索 4. 大幅度地調整了系統版面 5. 找出講義沒提及的功能 • 作業呈現：5/22(五) ◦ 以隨身碟儲存系統，帶到教師電腦來展示 ◦ 展示重點：收錄資料主題、講義之外的系統調整 77
- 78. 參考資料 • 張錦堂（2011年10月27日）。全文檢索伺服器Solr初 探。中央研究院計算中心通訊電子報。上網日期： 2014年12月15日，檢自： http://newsletter.ascc.sinica.edu.tw/news/read_news.p hp?nid=2288 • The Apache Software Foundation. (2007). Velocity User Guide. Apache Velocity. Retrieved December 16, 2014, from https://velocity.apache.org/engine/releases/velocity- 1.5/user-guide.html 78