2017.12.15 Friday
スポンサーサイト
一定期間更新がないため広告を表示しています
| スポンサードリンク | - | | - | - |
関口宏司のLuceneブログOSS検索ライブラリのLuceneおよびそのサブプロジェクト(Solr/Tika/Mahoutなど)について
2008.06.27 Friday
Distributed Search on Solr 1.3
先日「第1回 Railsアプリケーション開発者のためのSolr入門」という無料セミナーを開催し、無事終了した。
会場となる小会議室はインターネット接続がないため、受講者が持ち込むノートPCには「Ruby+Rails+JDK5(以上)」をあらかじめインストールしておいてもらわないといけないのだが、皆さん準備万端で参加してもらい、(USBメモリで)配布した教材も全員のノートPCで問題なく動作し、第1回目にしては上出来であった。 受講者の半数以上はMacを持ち込んでの参加であったのも印象深かった。こちらの記事で紹介したとき以来、普段から不満たらたらでVistaノートを使っている私は「次に買うときは私もMacに決めているんですよ」と負け惜しみを言うのが精一杯であった。 受講者アンケートもとらせてもらったが、ほぼ100%の満足度が得られたようで、よかった。受講者の方でさっそく記事にしてくれた方もいる。気分がいいので来月も開催しようと考えている(会議室と私のスケジュールの空き具合で、日程は現在調整中)。 アンケートには「Solr以外の検索エンジンを使用・検討したことがある方」向けに「その検索エンジン」と比較して「Solrが優れている点・Solrが劣っている点」を聞いてみた。受講者の一人が「Solrは(使ったことのある)Luceneと比べてスケーラビリティが劣っている」と回答していた。 この点についてコメントしておきたい。 まずスケールアップに関しては、LuceneでもSolrでもなんら変わるところはないと考えられる。スケールアウトについても同様だ。 だとすると、この方の指摘する「スケーラビリティ」とは(中身の異なる)インデックスを横断検索するLuceneでいうところのMultiSearcher機能がSolrにはない、といっているのかもしれない。 無料セミナーで使用したSolrの安定版であるリリース1.2ではこれは正しい。 しかし、現在開発中のSolr 1.3ではDistributed Search機能が導入される予定であり、「億オーダ」を超える検索対象文書数を扱えるようになる(Distributed Search機能を使わないときの理論値は最大約21億件(=Integer.MAX_VALUE))。LinuxWorldでも話したが、SolrのDistributed Search機能ではLuceneのdocidのIntegerをLongに変換することから、理論上900京件超の文書数が扱えるようになる。 Solrのこの横断検索機能はGoogleの分散検索処理と同じしくみ(シーケンス)で動作しているため、十分スケールすることは(Googleによって)すでに証明済み、といってもよいだろう。 「Googleの分散検索処理」については技術評論社発行のGoogleを支える技術」の第2章に記載されている。Solr 1.3のDistributed Searchはこれと同様である。 もっとも、1億件くらいまでなら従来のままの構成でもなんとか動かそうと思えば動くものである。 コメント
先日は大変ためになるお話ありがとうございました。
また、早速の回答ありがとうございます。 >だとすると、この方の指摘する「スケーラビリティ」とは(中身の異なる)インデックスを横断検索するLuceneでいうところのMultiSearcher機能がSolrにはない、といっているのかもしれない。 はい。そのとおりです。 現在、提供させていただいているサービスの構成が http://blog.mono-koubou.net/archives/106 のようになっているので、SolrのSearcherがMultiSearcherにできないものかと思案していました。 Solrのキャッシュの仕組みやフレームワークの仕組みはかなり強力だと感じていました。 1.3では新たな仕組みが提供されるとのことで、大変楽しみにしております。
| kouichi | 2008/06/27 9:40 AM |
コメントする
この記事のトラックバックURL
トラックバック機能は終了しました。
トラックバック
|
+ Solrによるブログ内検索
+ PROFILE
+ LINKS
+ Lucene&Solrデモ
+ ThinkIT記事
+ RECOMMEND
+ RECOMMEND
Lucene in Action (JUGEMレビュー »)
Erik Hatcher,Otis Gospodnetic,Mike McCandless FastVectorHighlighterについて解説記事を寄稿しました。
+ RECOMMEND
+ SELECTED ENTRIES
+ RECENT COMMENTS
+ RECENT TRACKBACK
+ CATEGORIES
+ ARCHIVES
+ MOBILE
+ SPONSORED LINKS
|
(C) 2024 ブログ JUGEM Some Rights Reserved.
|
PAGE TOP |