想要學(xué)習(xí)更專業(yè)的互聯(lián)網(wǎng)知識(shí)歡迎加入官網(wǎng)技術(shù)交流Q群：547147889
　　大數(shù)據(jù)是一個(gè)包括一切的術(shù)語(yǔ)，指的是數(shù)據(jù)集很大很復(fù)雜，他們需要特別設(shè)計(jì)的硬件和軟件工具。數(shù)據(jù)集通常是 T 或者更大級(jí)別。這些數(shù)據(jù)集從各種各樣的來(lái)源創(chuàng)建，包括傳感器，收集氣象信息，公開可用的信息，如雜志、報(bào)紙、文章。還包括購(gòu)買交易記錄、網(wǎng)絡(luò)日志、醫(yī)療記錄、軍事偵察、視頻和圖像檔案和大規(guī)模的電子商務(wù)等等。
　　要分析這些數(shù)據(jù)需要專門的軟硬件，本文介紹 7 個(gè)開源的搜索引擎適合用于大數(shù)據(jù)處理：
　　Apache Lucene
　　Lucene 是apache軟件基金會(huì)一個(gè)開放源代碼的全文檢索引擎工具包，是一個(gè)全文檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。 Lucene的目的是為軟件開發(fā)人員提供一個(gè)簡(jiǎn)單易用的工具包，以方便的在目標(biāo)系統(tǒng)中實(shí)現(xiàn)全文檢索的功能，或者是以此為基礎(chǔ)建立起完整的全文檢索引擎。
　　特性：
　　索引過(guò)程：
　　在現(xiàn)在流行的硬件平臺(tái)上每個(gè)小時(shí)可處理超過(guò) 150GB 的數(shù)據(jù)
　　內(nèi)存占用小，只需 1MB 的堆內(nèi)存
　　增量索引和批量索引速度一樣快
　　索引大小約為文本索引的 20-30% 大小
　　靜態(tài)索引修剪
　　搜索算法：
　　范圍搜索 - 優(yōu)先返回最佳結(jié)果
　　很多強(qiáng)大的查詢類型：短語(yǔ)查詢、通配符查詢、近似查詢、范圍查詢等
　　可單獨(dú)針對(duì)某個(gè)字段查詢
　　可單獨(dú)根據(jù)某個(gè)字段排序
　　多索引搜索并合并搜索結(jié)果
　　允許同步更新索引和搜索
　　靈活的門面搜索、高亮顯示、結(jié)果集的聯(lián)合和分組
　　快速，低內(nèi)存占用和容錯(cuò)
　　可插入式排名模型，包括 VSM 和 Okapi MB25
　　可配置的存儲(chǔ)引擎
　　跨平臺(tái)解決方案
　　100% 純 Java
　　其他語(yǔ)言提供索引兼容的實(shí)現(xiàn)
　　Apache Solr
　　Apache Solr （讀音： SOLer） 是一個(gè)開源的搜索服務(wù)器。Solr 使用 Java 語(yǔ)言開發(fā)，主要基于 HTTP 和 Apache Lucene 實(shí)現(xiàn)。Apache Solr 中存儲(chǔ)的資源是以 Document 為對(duì)象進(jìn)行存儲(chǔ)的。每個(gè)文檔由一系列的 Field 構(gòu)成，每個(gè) Field 表示資源的一個(gè)屬性。Solr 中的每個(gè) Document 需要有能唯一標(biāo)識(shí)其自身的屬性，默認(rèn)情況下這個(gè)屬性的名字是 id，在 Schema 配置文件中使用：id進(jìn)行描述。
　　ElasticSearch
　　Elastic Search 是一個(gè)基于Lucene構(gòu)建的開源，分布式，RESTful搜索引擎。設(shè)計(jì)用于云計(jì)算中，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定，可靠，快速，安裝使用方便。支持通過(guò)HTTP使用JSON進(jìn)行數(shù)據(jù)索引。
　　Sphinx
　　Sphinx是一個(gè)基于SQL的全文檢索引擎，可以結(jié)合MySQL，PostgreSQL做全文搜索，它可以提供比數(shù)據(jù)庫(kù)本身更專業(yè)的搜索功能，使得應(yīng)用程序更容易實(shí)現(xiàn)專業(yè)化的全文檢索。Sphinx特別為一些腳本語(yǔ)言設(shè)計(jì)搜索API接口，如PHP，Python，Perl，Ruby等，同時(shí)為MySQL也設(shè)計(jì)了一個(gè)存儲(chǔ)引擎插件。
　　Xapian
　　Xapian是一個(gè)用C++編寫的全文檢索程序，他的作用類似于Java的lucene。盡管在Java世界lucene已經(jīng)是標(biāo)準(zhǔn)的全文檢索程序，但是C/C++世界并沒有相應(yīng)的工具，而Xapian則填補(bǔ)了這個(gè)缺憾。
　　Nutch
　　Nutch 是一個(gè)開源Java 實(shí)現(xiàn)的搜索引擎。它提供了我們運(yùn)行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬蟲。
　　盡管Web搜索是漫游Internet的基本要求， 但是現(xiàn)有web搜索引擎的數(shù)目卻在下降。 并且這很有可能進(jìn)一步演變成為一個(gè)公司壟斷了幾乎所有的web搜索為其謀取商業(yè)利益。這顯然 不利于廣大Internet用戶。
　　Nutch為我們提供了這樣一個(gè)不同的選擇。 相對(duì)于那些商用的搜索引擎， Nutch作為開放源代碼 搜索引擎將會(huì)更加透明， 從而更值得大家信賴。 現(xiàn)在所有主要的搜索引擎都采用私有的排序算法， 而不會(huì)解釋為什么一個(gè)網(wǎng)頁(yè)會(huì)排在一個(gè)特定的位置。 除此之外， 有的搜索引擎依照網(wǎng)站所付的 費(fèi)用， 而不是根據(jù)它們本身的價(jià)值進(jìn)行排序。 與它們不同， Nucth沒有什么需要隱瞞， 也沒有 動(dòng)機(jī)去扭曲搜索的結(jié)果。 Nutch將盡自己最大的努力為用戶提供最好的搜索結(jié)果。
　　Nutch 致力于讓每個(gè)人能很容易， 同時(shí)花費(fèi)很少就可以配置世界一流的Web搜索引擎。 為了完成這一宏偉的目標(biāo)， Nutch必須能夠做到：
　　每個(gè)月取幾十億網(wǎng)頁(yè)
　　為這些網(wǎng)頁(yè)維護(hù)一個(gè)索引
　　對(duì)索引文件進(jìn)行每秒上千次的搜索
　　提供高質(zhì)量的搜索結(jié)果
　　以最小的成本運(yùn)作
　　LGTE
　　LGTE 是基于 Lucene 提供了擴(kuò)展 Lucene API 用于集成很多服務(wù)，例如片段生成、查詢擴(kuò)展等等，并提供了一組單元測(cè)試。
　　特性包括：
　　提供了簡(jiǎn)單和高效的 Lucene API 的抽象層
　　在主題、時(shí)間和地理方面支持集成檢索和排序的依據(jù)
　　支持 Lucene 標(biāo)準(zhǔn)的檢索模型，提供更高級(jí)的概率檢索方法
　　支持 Rochio 查詢擴(kuò)展
　　提供了用于 IR 仿真體驗(yàn)的框架 （例如處理 CLEF/TREC 主題）
　　包含 trec_eval 工具的 Java 替換版
　　包含一個(gè)簡(jiǎn)單的測(cè)試應(yīng)用，用來(lái)搜索 Braun Corpus 或 Cranfield Corpus
　　TREC/CLEF 仿真框架 - 集合索引的工具，運(yùn)行主題搜索并使用 treckeval 格式輸出結(jié)果
　　使用不同文件夾提供隔離字段
　　通過(guò)外鍵字段提供層次化的索引
　　提供用于使用 Yahoo PlaceMaker 解析文檔的類