関口宏司のLuceneブログ

OSS検索ライブラリのLuceneおよびそのサブプロジェクト(Solr/Tika/Mahoutなど)について
<< 第6回Solr勉強会の資料公開 | main | Lucene 10周年記念に向けて >>
N-gramに最適化されたPhraseQuery (3.5)
NGramPhraseQueryという、n-gram用に最適化されたPhraseQueryの拡張クラスがまもなく追加される。最適化のアイディアはHyper Estraierの平林さんの論文から拝借したものである。

たとえば、2-gramの場合、「ファイル」を検索するとき、PhraseQueryでは「ファ/0」「ァイ/1」「イル/2」を検索するが、次のように作成したNGramPhraseQueryは:

PhraseQuery query = new NGramPhraseQuery(2);
query.add("ファ");
query.add("ァイ");
query.add("イル");


検索するときに自動的に冗長単語を削除する最適化がなされ、「ファ/0」「イル/2」を検索する。これにより、最大50%の検索速度向上が可能となる。なお、NGramPhraseQueryのコンストラクタに渡された引数は、n-gramのn(サイズ)である。

参考:https://issues.apache.org/jira/browse/LUCENE-3426

ランチが付いてますます充実のロンウイットのSolrトレーニング・・・Solr 3.3 10月 トレーニング受講者募集中

| 関口宏司 | Luceneクラス解説 | 09:36 | comments(0) | trackbacks(0) |









http://lucene.jugem.jp/trackback/453
+ Solrによるブログ内検索
+ PROFILE
  12345
6789101112
13141516171819
20212223242526
2728293031  
<< August 2017 >>
+ LINKS
検索エンジン製品 - 比較のポイント
商用検索エンジンを購入した企業担当者は読まないでください。ショックを受けますから・・・
>>製品比較 10のポイント
+ Lucene&Solrデモ
+ ThinkIT記事
+ RECOMMEND
Apache Solr入門 ―オープンソース全文検索エンジン
Apache Solr入門 ―オープンソース全文検索エンジン (JUGEMレビュー »)
関口 宏司,三部 靖夫,武田 光平,中野 猛,大谷 純
+ RECOMMEND
Lucene in Action
Lucene in Action (JUGEMレビュー »)
Erik Hatcher,Otis Gospodnetic,Mike McCandless
FastVectorHighlighterについて解説記事を寄稿しました。
+ RECOMMEND
+ SELECTED ENTRIES
+ RECENT COMMENTS
+ RECENT TRACKBACK
+ CATEGORIES
+ ARCHIVES
+ MOBILE
qrcode
+ SPONSORED LINKS