1. このページの目的
インターネット時代の到来を迎えてすでにかなり時間が経ちましたが、
最近では各 Web サイトのコンテンツの量が増大し
「どこに何があるのやらワケわからん」状態になって困るサイトが
多く見受けられるようになりました。
一方、こういう事態にいち早く気が付いた企業や組織のサイトでは、
トップページに検索サービスを付けて
これを回避しようと試みるところが出てきました。
このようなページに助けられたユーザは多い事でしょう。
さて、このような全文検索サービスを展開するにあたっては、サーバに
全文検索ソフトウェアを用意しなければなりません。
このページでは、
そのようなソフトウェアを提供しているWebページへのポインタを、
フリーソフトと商用製品とにおおまかに分けた上で、
簡単なコメントを加えて紹介しています。
なお、このページに載せている全文検索ソフトウェアは、
基本的に「日本語で全文検索ができる」ものに限っています。
海外製のソフトウェアの中には、
日本語ではうまく検索できないものが多く存在するからです。
また 1998年8月 からは、
独自に調査した導入事例を紹介することにしました。
掲載の基準は
「組織・機関・企業・学校などのトップページに、
検索フォーム(もしくは検索ページへのリンク)が置かれているもの」
としています(一部のユニークな事例を除く)。
これらは、なんらかの形でその組織に「公認」されているものと考えられます。
しかも実際にリンクをたどって検索してみれば、
検索ソフトウェアを試用しているのと似た効果が得られます。
このような事例調査は、
全文検索システムを初めて導入される方にとって
導入決定の参考資料になると考えています。
私がこのページの読者層として想定しているのは主に次のような方々です。
- Webサーバのコンテンツを全文検索できるようにしたいと考えている
サーバ管理者
- イントラネット内部文書の全文検索システムを構築しようとしている
企業の担当者
- ログアーカイブを全文検索できるようにしたいと考えている
メーリングリスト管理者
- その他、全文検索技術に関心のある全ての方々
このページが、これらの方々の参考になれば幸いです。
なお、検索フォームをはじめて設置するサーバ管理者は、
Usability.gr.jp のJakob Nielsen博士のAlertbox の、
2001年5月13日「検索：目立つところにシンプルなものを」
および
1997年7月15日「検索すれば見つかるかも」
を参照することをお勧めします。
生産性が上がらないのは、社内検索ツールのせい？(ZDNN 2002/11/15 記事)
も参考になるでしょう。
前へ |
次へ
2. 全文検索技術について簡単に
このページでは、
全文検索という言葉の持つ意味の中でも、
「(1) 散らばった未整理かつ多数の文書群の中から、
(2) 適格と思われる文書を、
(3) すばやく拾い出す」
という3つの条件を満たしているシステムに注目しています。
上に挙げた条件の中で、
「(1) 散らばった未整理かつ多数の文書群」というのは、
文書数が人手での整理では十分に追い付かないほどの規模で多く、
ディレクトリ構成が比較的複雑で、
かつ、それぞれの文書内容が不定期に更新されるために、
人手での内容把握と整理が現実的でないようなモデルを想定しています。
すなわち、極めて十分に規格化され整理されており
内容の更新作業も定型化されているような文書群
(典型的には、図書蔵書カードなど) の場合は、
リレーショナルデータベースシステム(RDBMS)を基本に考える方が
良い場合が多いので、ここでの話題の中心には置きません。
また、単一文書内での全文検索は、既にあらゆるエディタソフトに
含まれている技術でもありますので、ここでは取り扱いません。
また、「(2) 適格と思われる」というのは、
検索キーワードが多く含まれる文書であれば
探している文書そのものの集合と重なり合う率もおそらく高いだろう、
と言う単純な推定(作業仮説)に基づいています。
これはあくまでも推定ですから、
検索スコア順と本当の欲しい文書との間に「ずれ」があるのも
ご承知の通りです。
それがわかっていてなお、
このようなある種の期待値モデルでもだいたい成立しているかというと、
検索の精度を上げるために一文書ごとにキーワード付けをしたり
分類別に分けるなどの手間の方が、
多くの場合よほど無視できない負担になるからです。
「(3) すばやく拾い出す」については言うことはないでしょう。
ユーザのニーズにも合致していますし、
検索数が増えたときにはサーバ負荷にも関わってくる問題です。
このような条件を満たす文書集合の代表が、
Web サイトのコンテンツやメーリングリストの記事などですが、
これらを扱うのは既存の DBMS ではどちらかというと不向きであったことから、
専用の全文検索システムが開発されてきたわけです。
さて、「全文検索ソフトウェアシステム」と一言でいっても、実際には、
- 検索データ収集部
- 検索部
- ユーザーインターフェース部
の三つに大別する事ができます。
これらを更に細かく実装別に分類すると、
- ロボット部(スパイダーとも呼ばれる)
- 文書フィルタ部
- インデクサ部
- エンジン部
- 検索クライアント部(Web の場合は CGI)
のようになります。
まず第一段階として、検索データを収集します。
ローカルディスク上のデータであることもあるし、
イントラネット内部をロボットを走らせて収集したデータであることもあるし、
インターネット全体にロボットを走らせる事もあります。
次に第二段階として、収集した検索データを文書フィルタを通した上で
インデクサでインデクシングします。
そうして実際の運用段階として、
検索クライアントからの検索要求(query)に対して
検索エンジン部分が用意しておいたインデックスを用いて検索し、
検索結果を返す、という形になっています。
現在このページでは、特に第二・第三段階にあたる部分に注目しています。
さて、最も中核となる技術である大規模インデックス作成部分の技術、
すなわち狭義の意味での全文検索技術には、
様々な意味でのトレードオフが避けられません。
- インデクシングの手間がかかる(日本語形態素解析の手間も含む)
- インデックスがデカくなる
- 再現率(recall)が下がる(= 全ての対象文書を拾っていない)
- 適合率(precision)が下がる(= 結果にゴミが増える)
たとえば、
「インデックスの必要が無い」
と唄っている検索エンジンは、
検索スピードが落ちるか、もしくは再現率が下がっていることを、
同時に考慮に入れておかなければなりません。
「あらゆる文字列で検索が可能」
と唄っている検索エンジンは、
適合率が下がっていることも同時に考慮に入れておかなければなりません。
「形態素解析を用いてうんぬん」
と唄っている検索エンジンは、
インデクシングにかなり時間がかかり
(形態素解析を用いない物と比べて2倍、下手をすれば3倍)、
かつインデックスの大きさが巨大になることを考慮しなければなりません。
ですから、どの部分を重視して、どの部分に目をつむったのかによって
検索エンジンの内部的なアルゴリズムは変わってきます。
逆に言えば、どの部分を重視するかによって
各検索エンジンの特徴が現れると考えることができます。
どの検索エンジンを用いるにしろ、
それらの内部的な特徴を知っておく事は悪い事ではありません。
導入の際には、少しでも構いませんので、
これらの特徴について研究する事をお勧めします。
実際に参考になるかどうかはちょっとわかりませんが、
このwebページの末尾で
参考文献を紹介しておきます。
前へ |
次へ
3. フリーソフトウェアで日本語の通るもの
■ CGI／インデックス作成タイプ
コンテンツに対してあらかじめインデックスを作成しておき、
Web ブラウザ経由の検索要求に対して
CGIがその度にインデックスを直接検索して結果を返すタイプ。
検索実行速度、スケーラビリティ、
ハードディスク容量の増大と価格の急速な低下などのさまざまの要因から、
現在ではこのタイプが主流になっている。
- ★
Namazu-2.0.12
(高林哲氏、Namazu プロジェクト)
[Update! 2002/9/3]
-
URLが http://www.namazu.org/
に変わりました。
Webサーバ単位、イントラネット単位、特定分野専門、といった
小中規模での WWW 全文検索システムを
手軽に構築することを目的としたソフトウェア。
1999年6月現在で圧倒的なシェアを誇っており、
もっとも標準的な検索ソフトと言って良いだろう。
自由民主党、
民主党、
公明党、
日本共産党、
総務省、
経済産業省、
環境省、
防衛庁、
金融庁、
特許庁、
北海道、
岩手県、
山形県、
福島県、
長野県、
栃木県、
群馬県、
神奈川県、
新潟県、
山梨県、
静岡県、
岐阜県、
滋賀県、
京都府、
大阪府、
兵庫県、
和歌山県、
福井県、
山口県、
香川県、
徳島県、
高知県、
愛媛県、
佐賀県、
大分県、
長崎県、
鹿児島県、
沖縄県、
青森市、
仙台市、
郡山市、
千葉市、
船橋市、
宇都宮市、
東京都千代田区、
東京都中央区、
東京都港区、
東京都品川区、
東京都文京区、
東京都中野区、
東京都練馬区、
東京都豊島区、
東京都墨田区、
東京都足立区、
東京都江戸川区、
東京都葛飾区、
東京都台東区、
東京都荒川区、
東京都北区、
長野市、
甲府市、
新潟市、
福井市、
名古屋市、
岐阜市、
津市、
奈良市、
大阪市、
神戸市、
岡山市、
広島市、
松江市、
山口市、
高松市、
高知市、
松山市、
北九州市、
佐賀市、
長崎市、
北海道登別市、
北海道北広島市、
岩手県花巻市、
茨城県つくば市、
栃木県真岡市、
埼玉県所沢市、
埼玉県入間市、
埼玉県飯能市、
東京都三鷹市、
神奈川県藤沢市、
神奈川県大和市、
山梨県山梨市、
静岡県静岡市、
静岡県浜松市、
静岡県富士市、
静岡県清水市、
静岡県焼津市、
静岡県湖西市、
愛知県豊田市、
愛知県蒲郡市、
愛知県知立市、
岐阜県大垣市、
三重県四日市市、
大阪府堺市、
大阪府守口市、
大阪府箕面市、
兵庫県西宮市、
兵庫県伊丹市、
兵庫県姫路市、
兵庫県篠山市、
兵庫県加古川市、
和歌山県橋本市、
岡山県玉野市、
鳥取県境港市、
山口県下関市、
山口県防府市、
福岡県大牟田市、
宮崎県西都市、
国立歴史民俗博物館、
土木研究所、
建築研究所、
国立公衆衛生院、
電子技術総合研究所、
日本原子力研究所、
無機材質研究所、
日本学術振興会、
農林水産技術会議、
国民生活センター、
情報処理振興事業協会(IPA)、
日本貿易振興会(JETRO)、
日本道路公団(JH)、
日本原子力文化振興財団、
日本電子工業振興協会(JAIDA)、
関西経済連合会、
日本政策投資銀行、
大成建設、
キリンビール、
帝人、
日本製紙、
コニカ、
資生堂、
山之内製薬、
神戸製鋼所、
日立電線、
東洋エンジニアリング、
椿本チエイン、
安川電機、
沖電気、
TDK、
三洋電機(MEDICOM)、
横河電機、
堀場製作所、
キーエンス、
デンソー、
メルコ、
カシオ計算機、
松下電工、
石川島播磨重工業、
日産自動車、
島津製作所、
HOYA、
キヤノン BJ、
エイベックス、
ヤマハ、
セガ、
バンダイビジュアル、
丸紅、
三菱商事、
三井住友銀行、
東海銀行、
日本信販、
大和証券(ダイワベンチャーランド)、
富士火災海上、
阪神電気鉄道、
名古屋鉄道、
ヤマト運輸、
NTT(ニュースリリース検索)、
NTTドコモ(R&D)、
インプレス、
東京電力、
中部電力、
関西電力、
中国電力、
北陸電力、
東北電力、
大阪ガス、
セコム、
応用地質、
日本電子計算、
コダック、
アドビシステムズ、
アップルコンピュータ、
日本SGI、
日本サムスン、
サイベース、
東洋紡、
アドバンテスト、
竹中工務店、
新生銀行、
三和総合研究所、
CRC総合研究所、
ニッセイ基礎研究所、
NTTラーニングシステムズ、
NTTドコモ東海、
NTTドコモ関西、
アライドテレシス、
ラトックシステム、
イマジカ、
ソニー・ミュージックエンターテインメント(SME)、
ポニーキャニオン、
ビクター・エンターテインメント、
キヤノテック、
ハウステンボス、
ヨドバシカメラ、
ターボリナックス・ジャパン、
ぷらっとホーム、
上島珈琲 (UCC)、
国際交流基金、
WOWOW、
北海道テレビ(HTB)、
札幌テレビ(STV)、
テレビ新潟(TeNY)、
長野放送(NBS)、
東海テレビ、
毎日放送(MBS)、
中国放送(RCC)、
テレビ長崎(KTN)、
熊本放送(RKK)、
共同通信社、
北海道新聞、
東奥日報、
埼玉新聞、
京都新聞、
紀伊民報、
日本海新聞、
四国新聞、
愛媛新聞、
南日本新聞、
人民日報(中国)日文版、
角川書店、
徳間書店、
アスキー、
翔泳社、
旭川医科大学、
札幌医科大学、
東京大学、
慶應義塾大学、
法政大学、
専修大学、
国学院大学、
東京電機大学、
東京農工大学、
東京工芸大学、
工学院大学、
武蔵工業大学、
東京家政大学、
昭和女子大学、
清泉女子大学、
富山大学、
静岡理工科大学、
中部大学、
名城大学、
朝日大学、
関西大学、
龍谷大学、
同志社女子大学、
大阪工業大学、
大阪産業大学、
阪南大学、
神戸学院大学、
奈良教育大学、
香川大学、
愛媛大学、
東京大学大学院工学系研究科、
東京大学情報基盤センター、
東京大学地震研究所、
河合塾、
大阪予備校、
情報処理学会、
電子情報通信学会、
応用物理学会、
日本機械学会、
日本材料学会、
日本動物実験学会、
日本印度学仏教学会、
大阪市立自然史博物館、
インパク、
天理教、
Web Business Satellite(TV東京系ニュース・経済サイト)、
国内図書館webページ検索システム(自動成長型)、
野口悠紀男Online、
NGO情報センター、
Debian JP、
FreeBSD友の会、
日本Sunユーザ会、
ZDNet、
atmarkIT、
Japan.internet.com、
MYCOM PCWeb、
ASCII24、
PlamoLinux および VineLinux での標準検索システム、
多くの企業でのイントラネット内検索システム、
各種メーリングリスト過去メール検索システム、
個人ベースでの利用、その他など、
もうとても数えきれないほど非常に多くのサイトで運用されている。
- 正しい HTML を出力する(HTML 4.0 Strict DTD に従っている)
- とにかくシンプルでなければならない
- すごそうに見えるけど実は簡単という手法ばかりを採用する
をモットーとしている。
作者は謙遜して「中小規模」と銘打ってはいるのだが、
FAQ に
「878,914 ファイル、合計 2,167,480,108 bytes の文書を対象」
としたインデックスを作成した例が載っていることから、
相当大規模なサイトでも動作することは実証済みだ。
2000年2月リリースのバージョン 2.0.0 になって大幅な機能強化が図られた。
これまでの 1.3 系列と比較して、
わかりやすくうれしい機能拡張点を挙げると以下のようになるだろう。
- 検索結果表示画面で、キーワードが赤色で表示されるように
なった (CSSを利用)
- インデックスの作成が 1.3 系列と較べて 2倍近く速くなった
(Perlモジュール使用時)
- インデックスのサイズが小さくなった (全体で 1/2 くらい)
- 対応する文書フォーマットが格段に増えた (Word, PDF, TeX, など)
その他にも autoconf+automake+gettext 化やライブラリ化など、
ソース内部において大幅な強化が図られている。
インデクサはPerl-5、検索CGIはCで書かれている。
(最近では Perl で書かれた検索CGIも実用段階になっている)。
形態素解析にあたる部分には、デフォルトでは
KAKASI を用いる。ChaSen を用いることもできる。
KAKASIを用いるとどういう問題点があるのか
については、こちらをご覧下さい。
生成されるインデックスはバイナリ形式。
検索結果の表示は、AltaVista + ODIN風に要約が出る。
UNIX系OSならほぼすべて動作。加えて、
Windows,
OS/2,
BeOS
でも動作する。また、
UNIX 系 OS の標準的なメーラ
Mew
からも呼べるようになったし、Windows では
秀丸エディタから Namazu を使う方法や
AL-Mail の plug-in として使う方法、
などもある。
プロキシーと組み合わせる例には
squidのcacheをnamazuで検索や
mknmz-wwwoffle
などがある。
導入は比較的易しい。あまり悩みたくない向きには勧められる。
参考URLとしては
Namazu 2.0入門(藤原誠氏)、
Namazu 2.x for Win32について、
Namazu(Perl版)設置ノウハウ(hiro氏)、
マニュアルに書いてないなまず(水沢・penguin-19・和彦氏)、
全文検索システム namazu のインストール(國頭吾郎氏)、
Windows 2000のIIS 5.0でNamazu for Win32 Version 2.xを動かすには(山近慶一氏)、
日本語全文検索システム「なまず」(Yoshinao.Ikeuchi氏)、
OCN＋NT4.0＝インターネットサーバ構築術(大橋氏)、
Namazu でパーソナル検索システム(Linux Japan 誌 1998/7)(やまだあきら氏)、
GNU/Linuxでの日本語文書処理／Namazuを使う(矢吹き芳裕氏)、
日経インターネットテクノロジーの
インターネットコラム 1998年7月9日号、
Mainichi INTERACTIVE コンピューティング 1999年8月20日号、
同8月27日号、
同9月3日号、
などが挙げられるだろう。
また、手前みそではあるが
拙著も参考になるのでご覧頂きたい。
- ★
Freya-0.92.4
(原田昌典氏)
-
ODIN のエンジンは
1999/9/10 に Jerky に変わりました。
徳島市、
日本音楽著作権協会(JASRAC)、
日本鉄鋼協会、
日本商事仲介協会、
国際開発高等教育機構、
女子栄養大学、
愛媛大学統合情報処理センター、
農業土木学会、
東京都福祉機器総合センター、
東京都公園協会、
検索省(日本の省庁のホームページの全文検索)、
青年会議所サイト総合全文検索(JDIN)、
iNET-Guide(CSJ)、
情報モラル教材データベース、
などで運用されている。
先代のODINのために開発された
システム。タイトな条件での実績は充分と言える。
動作原理は Namazu,SSE などと基本的に良く似ている(CGIによる検索)。
両者と比較した場合、
外部の形態素解析プログラムを必要としないところが利点と言える。
フレーズ検索も可能。
インデックスの際、ドキュメントは FDIF 形式に変型する必要がある。
生成されるインデックスはバイナリ形式。位置情報を含むため若干大きめ。
導入は(多少手間がかかるだけで)さして難しくないが、
開発者自身が Java サーブレットベースの Jerky に移行してしまったことから、
今後も継続的にメンテがなされるかどうかが最大の懸念事項と言えなくもない。
少々のトラブルなら自力で対処できるだけの力を持っている必要があるだろう。
参考URLとしては
全文検索 Freya(原水真一氏)、
全文検索 Freya、
イントラネット内全文検索サーバの構築、
freya、
などが挙げられるだろう。
- ★
SGSE-1.1
(ソニー)
-
日本能率協会、
日本たばこ産業(JT)、
ローム、
Extreme Networks、
などで運用されている。なお、本家の
ソニーは、
2001年7月にグループ各社の横断検索として
Google を用いるようになった。
もともとは
SonyDrive
のために開発された検索エンジンで、
SSE-1.0 をベースに改良を加えたもの。
だから、正確に言えば SSE-1.1 とは別系統になる。
具体的には、SSE-1.1 で追加された、検索結果がない場合の
索引語提示機能などがない。
インデックス部分で一番時間のかかる形態素解析を極力避けるために、
形態素解析済みの中間ファイルを持つように工夫してあるので、
インデックス作成が速いという特徴がある。
なお、形態素解析には ChaSen を用いる。KAKASIは用いない。
『www.sony.co.jpでの利用に特化しており、必ずしも他のWebサイトで
使いやすいようには作られていない』(from README)との事であるが、
SSE同様カスタマイズはさほど難しくない。
ドキュメントが少し雑なので、多少経験を詰んだユーザでなければ、
インストールが面倒くさいと言って避けられてしまうかもしれない。
ブラッシュアップが期待されるところだ。
なお、1.1 になって重大なバグフィックスがなされているので
旧いバージョンを使っておられるサイトは
速やかにアップグレードされることをお勧めしておく。
参考URLは
SGSEを使おうなど。
- ★
S.CREW-1.2 (旧: SSE-1.1)
(道向新氏)
-
ソニーのサイトから SSE 作者の道向さんの個人サイトに移動しました。
2000年2月までは
外務省
でも運用されていた (今はUltraSeek)。
先代の
SonyDriveの検索エンジンで、SGSEの前身。
WAISの手法を採り入れている。なのでインデックスは多少デカくなる。
生成されるインデックスはテキスト形式なので直観的でわかりやすい。
形態素解析にあたる部分には KAKASI を用いている。
SSEの導入記事としては、例えば、
おうちで全文検索 (松浦 靖 氏)
がある。MHonArcと組み合わせてある例。
SSE も発表(1996/11)以来かなり年月が経ったということもあって、
上の三つに比べると性能的に若干見劣りしてきていると言わざるを
得なくなってきている。しかし、その差は微妙なものだし、
一般的な使い方をしている限りは全く能力に不足を感じることは
ないだろうから、不満を感じているのでない限りは入れ替える
必要はないようにおもわれる。
(新規導入するなら Namazu 等を選ぶべきだろう)。
また、性能面はさておき、全文検索システムの導入を手軽にした
という、その歴史的な意義はたいへん大きなものだと言えるだろう。
- ★
ホームページ内全文検索エンジンmsearch
(Katsushi Matsuda 氏)
-
茨城県水戸市、
栃木県矢板市、
埼玉県草加市、
東京都町田市、
千葉県流山市、
高槻市、
広島県呉市、
西日本新聞、
などで採用。
個人または比較的小規模の法人ホームページ内の検索を提供するCGIプログラム。
特徴はいくつかあげられているが、
提供するperlスクリプトのみで動作するということは
一般CGIユーザによっては重要な要件だろう。
新しいこともあり、他のシステムと比較して、
小規模向けシステムとしてはかなり出来が良いもののようである。
元のページでも十分丁寧に解説されているが、さらに
msearch導入記(水沢・penguin-19・和彦氏)
と合わせて読めば導入は簡単だろう。
また、Unicode対応の改造版として
Unicode版msearch(毛流麦花氏)
がある。
- ★
Estraier: a personal full-text search system
(平林幹雄氏)
-
個人用途向けの全文検索システム。
先行システムをよく研究して作られている上に、
非常に丁寧な文書があり導入はやさしい。
内部的には平林氏自身によって開発されたデータベースライブラリ
QDBM
を利用し、
内部エンコーディングとして Unicode(UCS-2) を使用している。
Namazu 同様、多くの Office 系文書に対応。UNIX系OS および Cygwin で動作。
Snatcher の後継。
- ★
AFRI Splendid Search R1.6
(AFRI Software)
-
千葉県松戸市、
東京都青梅市、
大阪府寝屋川市、
兵庫県三田市、
データ通信システム、
ライオンなぜなに質問箱、
RONの六法全書 on LINE、
などで運用されている。
・隣接文字をキーとした文字成分表を元にインデクスを作成。
・インデクスは、対象ファイルの絞り込みに利用し、
実際にファイルを読んでみて、本当にマッチしているかを再度調査。
KISS-Search と近い考え方。
KAKASIの辞書を置く余裕が無いようなダイアルアップユーザなど
比較的小規模(< 1000HTML)向けのシステム。
R1.6 からは商用利用に限り 2000円の登録料が必要になったようだ。
参考URLは
Splendid-Search導入記(水沢・penguin-19・和彦氏)など。
- ★
KISS-Search β3
(近藤靖浩氏)
-
Perl-5を用いたCGIスクリプト。長らくα版でしたがβ版になりました。
形態素解析を行わず、外部プログラムを必要としない。
AND/OR検索をサポート。インデックスの差分更新が可能。
インデクスは、対象ファイルの絞り込みに利用し、
実際にファイルを読んでみて、本当にマッチしているかを再度調査。
AFRI Sprendid Search と近い考え方。
KAKASIの辞書を置く余裕が無いようなダイアルアップユーザなど
比較的小規模(< 1000HTML)向けのシステム。
参考URLは
Kiss-Search導入記(水沢・penguin-19・和彦氏)など。
- ★
Snatcher Full-text Search System
(平林幹雄氏)
-
シンプルな全文検索プログラム。GDBM と ChaSen が必要。
Estraier によってサポート終了。
- ★
検索Boy
(YpNS Co., Ltd.)
-
全文検索ソフト(Perl版)徹底比較 (hiro氏)より。
調査できておらず詳細不明。すみません。
- ★
Jakarta Lucene
(The Jakarta Project)
-
100% Java で書かれた、高パフォーマンス・高機能なテキスト検索エンジン。
(JaJakarta)。
とらねこ氏の
Sen(Java 形態素解析エンジン)(あるいは ChaSen)
と組み合わせれば日本語ベースでも動作するとのこと。
webベースで使う場合には Tomcat や Resin などのサーブレット
コンテナと組み合わせて使うことになるようだ。
■ CGI／高速grepタイプ
(あらゆる意味で)インデックスを作らないタイプ。
これらも全て CGI ではあるものの、
インデックスを利用しないため検索速度は基本的に遅い。
その上、データ数／ファイル数が増えると速度低下が激しくなり
事実上機能しなくなってしまう (つまりスケーラビリティが無い)。
これは中・大規模サイト向けには致命的な欠陥となる。
もっとも、検索結果表示画面などでの工夫がなされているから
単なる grep+sh よりは数段マシと言える。
総じて、プロバイダでの個人サイト向けと言えよう。
全文検索ソフト(Perl版)徹底比較 (hiro氏)
は、以下のスクリプト群(+ Namazu + ASS)を実際に比較導入してみて
5段階評価をしています。
設置難易度などは一般的なユーザの実感にもっとも近い感想かとおもいます。
また、
HTMLに役立つヒント(水沢・penguin-19・和彦 氏)
中の
全文検索システム編
では、各種ソフトの導入記の他に、
wwwsrch, msearch, KISS-Search, ASS についての丁寧な速度比較が
なされており有用です。
この種のミニスクリプトは他にもいっぱいあるとおもいます。
この分野は網羅しようとは考えていませんが、
中には便利な工夫をしたものもあるでしょうし、
そういう工夫こそが大切なので、漏れている情報があればお知らせ下さい。
- ★
とほほのWWW入門 / 検索フォーム設置法
(とほほ 氏)
-
香川県観音寺市、
宮崎交通、
山口新聞ダイジェスト／検索、
裳華房、
横浜市立大学、
などで運用。
自分自身のホームページの内容を検索する検索フォームの設置法。
検索結果URLの置換機能などを備えている。
MacPerlでも動作させることができる ようだ。
この種の CGI の中ではたぶん一番有名なのかな。
基本的機能は押さえてあるので、個人ユースでは使いやすいだろう。
参考URLは
検索フォーム/wwwsrchの導入や
wwwsearchの設置事例など。
- ★
WASearch v2.2.2
(鷲崎弘宜 氏)
-
北海道室蘭市、
千葉県松戸市、
愛知県高浜市、
宮崎県小林市、
渋川商工会議所、
千代田化工建設、
などで運用。
Perlで記述された設置サイト内簡易検索CGI。
各ページのスコアによるランク付け、ソーティング、
カテゴリー（分野）の指定、該当ページの先頭からの指定量出力
といった機能を持つ点が強み。
v2.2 から GPL 準拠にライセンス変更とのこと。
v1.0 と比較すると、相当の性能/見栄え等の向上あり。
- ★
ネットサーフレスキュー[Web裏技] 簡易サーチエンジン
(レスキュー 氏)
-
愛知県小牧市
などで運用。
これまた有名なネットサーフレスキュー[Web裏技]
の中の一つの Perl で書かれた検索スクリプト。
検索対象は SJIS のファイルに限っている。
ホームページにサイト内を検索する機能をつけてみよう
(InternetWatch) での説明が丁寧でわかりやすいだろう。
ただし、
自サイトでも Namazu を使っている ことから見ても、
自身でも大規模サイトに向かないことは自覚しているようだ。
- ★
Simple Search for Japanese
(ハ−トコンピュ−タ)
-
阪神・淡路大震災救援・復興兵庫県民会議
などで運用。
Matt Wright氏が制作した「Simple Search」を
日本語でも検索できるように改造したもの。CGI で Perl スクリプト。
- ★
Yomi-Search [ディレクトリ型サーチエンジン]
-
日立マイクロソフトウェアシステムズ、
大分情報検索、
などで使われている。
カテゴリ階層型の検索システム。見栄え等はなかなか良さそう。
i-Mode 対応というものもあり.
- ★
サイト内文章検索システム (1st Class)
-
指定されたディレクトリ以下の全てのhtml文章の中身を検索し、
キーワードにマッチする文章があったらそのタイトルを表示。
(稼働例)
- ★
PerlSearch Ver.2.00 (飾り職人ひで)
-
サイト内を全文検索するシステム。and検索やor検索も可能。
(
稼働例)
- ★
全文検索（ＣＧＩ用Ｐｅｒｌスクリプト） (クリック・クリティーク)
-
検索結果にヒット行をあわせて表示できる点が特徴。
(稼働例)
- ★
Power Search
-
データ構造を工夫して高速検索が可能。あまり見ないNOT検索も搭載。
- ★
自ホームページ検索簡略版
-
自分のホームページ内のファイルを全文検索できる。
キーワードに正規表現が使用可。
- ★
Ninja Search Engine 2.75
-
キーワード検索やジャンル別検索登録機能を持ったサーチエンジン。
ユーザーズクラブあり。
- ★
バナー付き簡易検索エンジン
-
訪問者がサイトを登録できる簡易サーチエンジン。
■ サーバ常駐／インデックス作成タイプ
コンテンツに対してあらかじめインデックスを作成しておき、
CGIなどを通じた検索要求に対して、
裏で常駐している検索サーバが検索結果を返すタイプ
(inetd経由で起動される物も含めた)。
この場合、CGI は単なるユーザインターフェースとしてのみ動作する。
しかし、今となってはこの方式は廃れつつあると言える。
- ★
freeWAIS-sf-2.1.2-jp with KAKASI-2.2.5
-
広域分散情報システムソフトウェア freeWAIS-sf を、
私のパッチを利用して日本語化したもの。
形態素解析に KAKASI を用いている。
KAKASIを用いるとどういう問題点があるのか
については、こちらをご覧下さい。
ちなみに、自分で言うのも変ですが、
Namazu のようなフリーの全文検索システムが今のように広まったのは、
この freeWAIS-sf + KAKASI の開発から始まっています。
この流れが、SSE, Namazu の開発につながっているとも言えます。
その歴史的な意義はたいへん大きなものだったと言えるでしょう。
- ★
freeWAIS-sf-2.2.10-jp with ChaSen-1.51
-
石田＠インテック・システム研究所さんのパッチを利用して日本語化したもの。
内部で、奈良先端科学技術大学院大学松本研究室が開発している
日本語形態素解析ソフトウェア
ChaSen
および、京都大学工学部言語メディア研究室(旧長尾研)が開発している
JUMAN
を利用している。
Z39.50
についてはこちらがたいへん詳しい。
リンク集
もあり。
- ★
Isite-2.01c
(CNIDR)
-
CNIDR(Center for Networked Information Discovery and Retrieval)
のIsiteを、石田＠インテック・システム研究所さんのパッチ
(with ChaSen-1.51)
を用いて日本語化したもの。
Z39.50-1992を採用。Z39.50-1988とは互換性がない(とおもう)。
国土地理院クリアリングハウス・ゲートウェイ
は、Isite の貴重な利用例。
- ★
W3RS (World Wide Web Robot & Search)
(インテック・ウェブ・アンド・ゲノム・インフォマティクス)
-
広島県、
インテック、
IIC(プロバイダ)
などで運用されている。
W3RS とは『WWWロボット＆サーチ』の略のことのようだ。
「イントラネット上での社内の情報、公開されているホームページ内の情報、
インターネット上の決められたサーバの情報など、
あらゆる情報の検索に利用できるシステム」
とのこと。
Solaris 2.5.1 for SPARC, FreeBSD 2.2.7R for Pentium 版がある。
内部でJUMANを用いて形態素解析を行なっている。
バイナリでの配布？私のところからは、回線状態が良くなくて
取ってこれませんでした。
平成13年6月30日で配布中止になった。
- ★
FFW (Freetext search For Web) Release 2.4
-
まあ、最終更新が 1996年10月では、ちと古すぎますな。
Telenor R&D社(ノルウェー)製の全文検索エンジンFFW
(オリジナルサイト)
を日本語化したもの。
日本語化部分はどうなっているのか良くわからない
(と言うより、ちゃんと見ていない)。
オリジナルの宣伝文句曰く
「HTMLをうまく扱える。WAISインデックスの1/3で済む。
エンジン部分はC++で書かれている。CGIはPerl。AND/OR/NOT/() に対応。
ISO-8859-1完全対応(作者がノルウェー人だから)。」
■ その他ちょっと毛色の違うタイプ
- ★
SUZAKU
(星澤隆氏)
-
インターネット／イントラネットを対象にした、
フリーのロボット型サーチエンジン。
Ruby,eruby,MySQL をベースにしている GPL なソフトウエア
(形態素解析部分は ChaSen を利用)。
Linux サーバ上で動作させることを前提としている。
サイズもコンパクトだし、見た目もなかなかよい。
- ★
PostgreSQL + Tsearch2日本語化パッチによる日本語全文検索システム
(NTT)
-
PostgreSQLの全文検索モジュール“Tsearch2”と、
形態素解析による分かち書きを行う関数“pgkakasiw()”を使って、
日本語全文検索システムを構築する方法。
GiSTインデックスを使った単語インデックスを用いることで、
検索語を含む文書を高速に探し出すことが可能、との事。
- ★
Sufary 2.3.8
(奈良先端科学技術大学院大学自然言語処理学講座)
-
ChaSen
の奈良先端科学技術大学院大学自然言語処理学講座が作った検索システム。
簡単な解説によると、
- 得意なもの ＝ 一つのファイルに対するキーワード検索
辞書・住所録・新聞一年分データなどの、
巨大な単一ファイルに対する文字列検索。
- 苦手なもの
- 複数ファイルに対する検索
電子メールのような多数のファイルに対する検索。
- ファイルが手元にない状態での検索
WWWページの検索。
ということらしい。
Suffix Arrayというデータ構造を採用。シグネチャ的？
とにかく、アルゴリズム的にはIsiteのものと良く似ているようにおもう。
パトリシア木では速度的に無理があったらしい。興味深い話だね。
専用クライアントを利用する際に日本語化したTcl/Tkが必要。
- ★
Sary: Suffix Arrayのライブラリとツール
(高林哲氏)
-
Namazu のオリジナル作者による、Suffix Array を用いた別の実装。
巨大なテキストファイルに対する高速な全文検索を実現。
特定の個所だけにインデックスポイントを割り当てることにより、
特定のフィールドのみを検索対象にすることも可能。
- ★
シグナチャを用いたお手軽検索システム
(増井俊之氏)
-
Unix Magazine に連載中の「インターフェイスの街角」の
1999年11月号「シグナチャを用いたお手軽検索システム」
で紹介されている検索システム。
極めてシンプルに出来ているので、記事と合わせて読めば
動作原理研究といった目的に向いているかもしれない。
前へ |
次へ
5. 商用製品で日本語の通るもの
商用の全文検索エンジン類については、ポインタと勝手な感想を示します。
掲載順序は適当ですし良くいじっていますのであまり気にしないで下さい。
事例紹介は、販売しているサイトにすら載っていないものが多いので
役に立つんじゃないでしょうか
(ただし独自調査なので間違っている場合があります)。
リストに載せている価格は
UNIXサーバ(最も典型的な例とおもわれるSolaris版が主、
あるいはそれ相当のもの)の値段です。
しかし、
実際には値引きもあることでしょうし、
NT版しか売っていないものもありますし、
どう表記するのがいいのか良くわかりませんので、
あくまで目安程度
に見て下さい。
なお、NTとUNIX両方用のサーバを持っている製品は、
一般にNTの方が価格設定を安くしてあるようです。
この節と同種のページに、
情報サービス in Japan / 検索システム製品群 (清水奨＠NTT未来ねっと研究所氏)と、
日経Find'Xの
「検索エンジン:全文検索エンジン・ソフトウエア」ディレクトリ、
全文検索サーバー (HiHarada 氏)
などがあります。
また、
全文検索システム協議会(FTSA)
という団体も存在します。
1996年11月に発足し、現在21社が参加しています。
活動報告では、本ページと同じような
全文検索システムについての分析が加えられています。
■ 全文検索専用システム
(DBMS を拡張したものではなく、)
高速全文検索することを主目的に専用に設計されたシステムパッケージ群。
-
★
Verity UltraSeek
(デジタルガレージ)
-
旧: UltraSeek Server/J 1.2.7.1.
Infoseek日本語版、
首相官邸、
外務省、
文部科学省、
農林水産省、
日本銀行、
石川県、
島根県、
東京証券取引所、
日本放送協会(NHK)、
三菱電機、
富士電機、
日本ガイシ、
マツダ、
りそな銀行、
三菱地所、
大塚商会、
日本テレコム、
NTTドコモ、
NTTデータ、
伊藤忠テクノサイエンス、
日本ヒューレット・パッカード、
ノベル、
AMD、
東京理科大学、
静岡県立大学、
金沢大学、
松山大学、
So-net(プロバイダ)、
日本自動車工業会、
(
その他の事例紹介 by デジタルガレージ)
などで運用されている。
大規模サイトが多く実績がある。
FAQ充実。
評価版もダウンロードできる。
ロボット(スパイダー)つきなのは結構魅力かも知れない。
新たに PDF(たぶん日本語も含む),Word,Excel,PowerPoint 等の
主要フォーマットに対応。
以前はHTTP経由でしかファイルを読めなかったが
直接ファイルをインデックスできるようになった。
なお、1999年6月にデジタルガレージは
ポータルサイト Infoseek Japan を米ウォルト・ディズニーグループに
売却した(2000年11月に楽天が買収した)が、
関連技術の開発・販売は引き続きデジタルガレージおよび
米インフォシーク社が担当することになっている
(ASCII24)。
また、2000年6月に
米 Ultraseek 本体は Inktomi に買収されてしまったが、
2001年1月になって買収先の Inktomi から
Inktomi Search Software 4.0 日本語版
が発売されたので、今後はこれを購入することになるのだろう。
さらに、
2002年11月に Inktomi は Verity に買収された。
サポートプラットフォームは Solaris, WindowsNT/2000, Red Hat Linux。
金額：3000ドキュメント(年間サポート込)で63万円から。
- ★
Inktomi Search Software 4.0 日本語版
(インクトゥミ ジャパン)
-
米 Ultraseek を買収した Inktomi から出された Ultraseek の新版。
導入事例は Ultraseek のものと同じと見て良いだろう。
ロボット検索による自動更新では、更新間隔の設定が自由に行える。
検索作業が実行されているときもデータの更新が可能で、
XML，PDF，Postscript，Microsoft Word／Excel／PowerPoint
などの多様なフォーマットや言語のデータの検索や、
Lotus DominoやMS Exchangeなどのグループウェア内での検索も可能。
カスタマイズは、分散検索やインデックスなどでPython、Java API
などにより設定できる。
パスワードで保護されたサイトの検索、グループウェア内での
データ検索などが可能である。最大インデックスサイズが3200万個の
ドキュメント、最大インデックス速度が1時間あたり1万5000個、
最大検索速度が1秒あたり約15件らしい。
(プレスリリース、
ZDNN、
ASCII24、
ATMarket)
Sun Solaris 2.5以降、Windows NT 4.0/2000, Linux やHP-UX に対応。
価格はオープンプライスだが、報道によれば予想価格は Ultraseek
時代と同じの約25万円(3000ドキュメント数)らしい。
販売は販売代理店(デジタルガレージ)を通して行うとのこと。
- ★
TOCC Search Solutions
(トラフィック・ワン・コミュニケーションズ(TOCC))
[New! 2001/7/16]
-
「企業・企業グループのWebサイト検索や、企業内の各種文書の検索に
お使いいただける、高性能な検索エンジン・ソフトウェア」とのこと。
エンタープライズサーチの実体は Inktomi Search Software であり、
三菱電機情報技術総合研究所が開発した日本語形態素分析技術と
組み合わせている。評価版(一ヶ月)もダウンロードできる。
プロモーションサイト
http://www.tocc.co.jp/search/
が運営されており、参考になるかも知れない。
- ★
Verity Information Server
(オムロンアルファテック)
[New! 2001/08/06]
-
オムロン、
国立国会図書館、
参議院、
青森県、
山梨県、
盛岡市、
山形県鶴岡市、
群馬県太田市、
北海道立農業試験場、
産経新聞Web-S、
三菱総合研究所、
日本シスコシステムズ、
日本UNISYS、
国際観光振興会、
ZDNet記事検索、
シリコンバレーエクスプレス、
などで運用されている。
旧 Search'97 Information Server だったが、2001年8月に名前が変わった。
高速全文検索で実績のある
米VERITY社
製の検索エンジンを
オムロン独自の形態素解析技術をもって日本語化したもの。
Netscape 社の Web Publishing System に
既にバンドルされており、
Enterprise ServerやCatalog Serverにもバンドルされることに
なっている。
インクリメンタルインデクシングと
稼働中のインデックスの削除・追加・修正のサポート。
また、韓国語・中国語(繁体字)・中国語(簡体字)版もある。
Wnnを生み出した
オムロンの形態素解析技術 (SuperMorpho-J)
(こいつはInfoseek日本語版
で使われているらしい)
には個人的興味のあるところ。
Developper's Kit もあり。
Solaris2.5およびWindowsNTで動作。
142万円から(Solaris版)。
- ★
高速全文検索登録ソフトウエア PanaSearch シリーズ
(松下電器産業)
-
、
、
Nippon-Net 地域発見(総務省)、
茨城県、
千葉県、
東京都世田谷区、
トヨタ自動車、
同志社大学、
、
などで運用されている。
また、毎日新聞社の画像データベースシステム「毎日フォトバンク」
のエンジンとしても利用されているらしい
(ASCII24)。
PanaSearch には多くのシリーズ(SS,SSW,MMW など)があるが
FAQが整備されており見易い。
サイベースと組んだPanaSearch/SQLSなどもあり
(プレスリリース、
ASCII24)。
「字面解析型単語分割方式」なる手法を開発・採用しており
(プレスリリース、
ASCII24、
ZDNN)、
これにより「新しい単語も正しく切り出す」ことができる。
フリーワード検索が可能。リアルタイム登録が可能。
同義語辞書を用いて検索再現率を向上。
また、日本語 PDFの検索が可能になっている点も
ビジネスユースでは重要だろう。
Solaris2.x, HP-UX9.05, WindowsNTで動作。
価格は製品によってかなり異なるので一概には言えないが、
もっとも安いクラスで150万円から(サーバ、同時1ユーザライセンス)。
- ★
日本語全文検索システム Mitake Search v4.0
(日本HP (旧コンパックコンピュータ、日本DEC))
[Update! 2003/5/21]
-
明電舎、
立命館大学、
などで運用されている。
コンパックと合併した日本DEC由来の全文検索システム。
米DEC は AltaVista を開発したことで広く知られているが、
MitakeSearch は日本DECの独自開発である。
日本DECの検索サービスは以前は Webix が用いられていたのだが、
現在では MitakeSearch に変わっている。
イントラネット対応の日本語全文検索システムを意識しており、
プレーンテキスト、HTML、Microsoft Office文書（Word、Excel、
PowerPoint、一太郎、OASYS for Windows などの文書フォーマットに対応。
専用クライアント、CGI経由のいずれからでも検索可能。
評価版あり。
1999年 から Linux で動くトライアル版ができた。
2000年3月に
バージョン2.0が発売。
インデクサが新しくなり、RDBゲートウェイや類語辞典など新機能が追加、
またインターフェースにもいろいろ改善がなされているようだ。
(PCWEEK、
ASCII24)。
2000年10月に
バージョン2.1が発売。
(日経Linux、
eWEEK)。
2001年8月にバージョン3.0 が発売。
(プレスリリース、
ZDNN、
ASCII24、
MAINICHI Interactive)。
2002年5月にバージョン3.1 が発売。
(ZDNN)
2003年5月にバージョン4.0が発売。
UNOFFICIAL MitakeSearch情報
も役立つだろう。
Tru64 UNIX (旧Digital UNIX), Linux, WinNT で動作。
160万円(100万ファイルまでインデックス可能のスタンダード版)。
9万円(10万ファイルまでインデックス可能のLinuxモデル版)もあり。
1万ファイルまで無償のフリーライセンス版もあり。
- ★
超高速日本語全文検索エンジン InfoBee3
(NTT インテリジェントテクノロジ)
-
Goo の内部の検索エンジン。
東京都、
岡山県、
横浜市、
シャープ、
西武鉄道、
NTT東日本、
NTT-ME、
OCN Navi、
などで運用。
日本語フルテキスト検索(全文検索)システム InfoBeeと
イントラネット・エクストラネット検索エンジン プライベート Goo
(こちらもそう)
という製品の二種類。
なんといっても Goo だから圧倒的な信頼感。
『高度文書処理 「速覧」機能』なるものを備えている。
自動ふりがな付与機能や同義語展開機能もありとのこと。
InfoBee は 2000年2月から
OCN Navi
で用いられている
(ASCII24)。
プライベートGoo は、2000年7月に
バージョン2が登場した
(ASCII24)。価格などは変わらない。
InfoBee と InfoBeeLite というのの二本立て。
Solaris, WindowsNT で動作。Linux 版も出たようだ。40-280万円。
プライベートGoo は 350万円 (UNIX版)、NT版は100万円。
- ★
並列検索エンジン構築支援サービス
(富士通)
-
富士通や
InfoNavigator、
G-Search Database Service(ビジネス情報サイト大手)
の検索エンジンとして運用されている(らしい)。
AP3000 の上で動作する超高速検索システム。
資料が少なくてちょっと困っているのだが、たぶん中身は
大容量情報全文検索エンジンTerass
だろう。
(
PCW'98 Japan 予稿集 の
Terassの資料
を見てやっと裏が取れた...
富士通研内部サイト
に Terass の紹介があるらしい。)
比較的高価な部類に属するとはおもうが、InfoNavigator が
公開ホームページ内コンテンツ検索サービス
も行っており、こちらはかなり安い。
AP3000 で動作。1,200 万円。
- ★
全文検索システム Bibliotheca2 シリーズ
(日立製作所)
-
日立製作所、
などの検索エンジンとして運用されている。
利用サイトだった Hole-in-One は 2000/5/12 に閉鎖された。
検索アルゴリズムとして、
日立独自のインクリメンタルn-gramインデクス方式を採用し、
大量の文書の完全一致型高速全文検索を実現。
同義語辞書もオプションで提供。
Bibliotheca/TS
の後継と思われる。
SunOS4.x, Solaris2.x, HI-UX/WE2, HP-UXで動作。150万円から(サーバ)。
- ★
情報検索ソフトウェア JTOPICファミリー
(日本電気(NEC))
-
日本電気、
相模原市、
NETPLAZA、
住友VISAカード、
などで運用されている。
オムロンATの Search'97 Information Server と同じく、
米VERITY社 製の検索エンジンを
NECが得意とする(という)機械翻訳技術で培った日本語処理技術を
導入して作ったもの。エンジン自体はオムロンATのものと多分同じ。
日本語処理の部分で性能差が出てくるはず。
1999年7月の「PDF Conference'99」に JTOPIC が出展
(ASCII24)。
2000年5月に、ECサイト開発ソフト『One-To-One Enterprise』に
JTOPIC を搭載することを発表。
(ASCII24)。
UX/4800, Solaris2.x, NTで動作。150万円から(Solaris版)。
- ★
ConceptBase Search
(ジャストシステム)
-
ジャストシステム、
徳島県(自然文検索)、
キヤノン販売、
Kスクエア、
などで運用されている。
ConceptBase は他システムとはかなり考え方が異なり、
「ブーリアン型検索を超えなければ日本人には制約が大きい」
という観点から、
ジャストシステムが培ってきた日本語処理の技術を駆使している。
中でも要約技術は、要約度を自由に設定できるなどすばらしいものがある。
一般の Windows 上で用いられる文書フォーマットのほぼすべてに対応。
単なるwebサイトの検索に用いるよりは、
イントラネット内部での利用に用いられることの方がおそらく多いだろう。
ジャストのConceptBaseユーザーが急増，1999年だけで250社が導入
(
日経コンピュータ) しているらしい。
また、「ConceptBase Search for Exchange」のリリース
(
プレスリリース) や、
2000年2月に、NECとジャスト、StarOffice用ConceptBaseの開発などで提携
(日経BizTech)
などもあり。
サーバは WindowsNT で動作。
1サーバ/20クライアントライセンス 200 万円。
- ★
Akao
(デ変研)
-
WindowsNT/Solaris/Linuxなど各サーバに蓄えられた文書ドキュメントに
含まれたキーワードを高速に検索する全文検索エンジン。
N-gram を採用している。~
~
Word,Excel,PowerPoint,PDF 他、主要な文書フォーマットをサポート。
Linuxベース。80万円から(100ユーザライセンス)。
- ★
OpenText
(インフォコム)
-
国立情報学研究所
(旧NACSIS WebSearch、
OpenText Index 日本語版)、
NACSIS-IR、
国立医薬品食品衛生研究所(NIHS)
などの検索エンジンとして運用されている。
パトリシアツリーを採用。
バイトストリームをそのままインデクシングしているので
マルチバイト言語を含めあらゆる言語での検索が可能。
OpenTextの開発陣曰く、
「ストップワードを用いることはバグである」
そうな。
形態素解析を用いている方の立場からすると結構過激だねえ (^_^;)。
単体製品で
Web情報自動探索ロボット Livelink Spider
というロボットもあるようだ。
Sun, HP, DEC, SGI, SCO, NTなどで動作。価格は別途見積り。
- ★
高速全文検索エンジン Co.Co.Da
(ネットシステムズ)
-
昔は日本ユニソフトだったが、いつのまにかネットシステムズに変わっていた。
厚生労働省、
北海道、
京都市、
経済団体連合会、
経済広報センター、
山口大学総合情報処理センター、
砂防学会、
などで運用されている。
「独自のインデックス手法」を採用。
1999 年に Linux 版を発売
(ASCII24)、
拡大を図っている。
Linux, SPARC, HP, NEWS, NT などで動作。50万円。
- ★
高速全文検索エンジン GTR
(日本IBM)
-
日本IBM
で運用されている。
しかし、1996 年からぜんぜん更新されていないが...
IBM情報検索パック(InfoSearch)の中核技術。
日本語・韓国語・中国語(繁体字)・中国語(簡体字)・英語が
使用可能。形態素解析は使用していない。
あいまい検索(アイビーエム <=> アイ・ビー・エム)が可能。
技術資料
はこちら。
- ★
SAVVY/EFS
(ジップインフォブリッジ)
-
SAVVY/EFS
は文書システム付き。
エンジン単体ならSAVVY/TRS。
ニューラルネットを応用した、N-gram方式。
シソーラス展開をする。
FAQ
が整備されている。
1999年9月に Linux 版を発売。
(日経Biztech, 日刊アスキーLinux)
Solaris2.x, SunOS-4.x, AIX-3.x, HP-UX-9.x, OSF/1, NTで動作。
- ★
InfoSearcher
(富士通)
-
インターネットまたはイントラネットのLANやWAN等のネットワーク環境において、
サーバ内に蓄積されたテキスト情報を高速に検索するサーバ機能を提供する。
ここや
ここ
などにも情報あり。
GRANPOWER7000 の上の Solaris や NTで動作するようだが、
価格等含め、詳細は不明。
しかし、なんで富士通は
Terass、
IntelligentSearch、
Fujitsu-WAISと、
同じようなものをいくつも開発するのだろう...
- ★
Express Finder／SDK
(NTTアドバンステクノロジ)
-
NTTアドバンステクノロジ
で運用されている。
シソーラス辞書を利用。
Solaris, HP-UX, EWS4800, NT などで動作。スタンドアロン版136万円から。
- ★
AltaVista Search Engine 3.0
(米 AltaVista)
-
AltaVista の検索エンジン。
対応言語が30ある中には日本語が含まれているし、
対応ファイルフォーマットには一太郎が含まれていることから、
おそらく使えるのだろうとはおもうのだが、
現実には AltaVista 以外で使っているのはまだ見掛けたことがない。
サポートも、おそらくは日本語では期待できないだろう。
NT, Tru64 UNIX, Solaris, Linux で動作。
3,000ページまでは無料、10,000ページまでで$4,995。
- ★
日本語全文検索エンジン QZS Full-Text Search Engine
(キューズ・クリエイティブ)
-
宇宙開発事業団、
で運用されている。
テキスト以外にも日付、数値、String、集合型等をテーブル定義可能で
データベースとしての基本性能を持っている。
「独自開発N-gram手法」を用いているらしい。NTで動作。
- ★
インテリジェント情報検索システム DiskX Search Server for Windows
(A.I.soft)
-
セイコーエプソン、
で運用されている。
SOHOから大規模オフィスまで複雑なネットワーク環境に対応した
全文検索システムを構築するためのソフト.
NT で動作。1サーバー(10クライアント付き) 148,000円
- ★
MindSearch
(スクリプツ・ラボ)
-
1999年11月に発売された比較的新しい製品。
(日経オープンシステム,
ASCII24)
AND検索時に検索精度を高くする工夫を盛り込んだことが最大の特徴。
形態素解析せず、ハッシュコードを使ったインデックスを生成。
概念イメージとしては、文単位でのインデックスを生成しているという
感じになるのだろうか。
「自然言語をソフトウェアインターフェースとして開発」とのこと。
「概念キー」「苦情抽出機能」のようなユニークな特化機能は多少興味深いか。
Windows 95/98/NT/2000 で動作。サーバ版 1,000,000 円。
SolarisとLinux への対応も検討中らしい。
- ★
Web対応ドキュメント検索システム PullDoc
(シンプルシステムズ)
-
Web対応のPDFドキュメント検索システム。
2000年2月に発売された比較的新しい製品だが、
調査会社や新聞社などでの実績もあるそうだ。
文書を全てPDF ファイル形式で統一しておき、
WebサーバにあるPDFファイル（のみ）を全文検索する。
サーバ登録時には管理者クライアントでテキスト抽出と
インデキシングする。その際には Acrobat4.0 が別途必要。
検索結果は該当ページの該当文字列を反転表示。
検索には独自のパターンマッチング方式を利用しているらしい。
オプションとしてMS-Wordや一太郎文書のPDF変換、
イメージファイル検索、アクセスログ機能など。
サーバOSには Linux と Windows, 管理者クライアントは Windows 版のみ。
Linux版が1,000,000円、Windows版が1,200,000円。
また、同じ製品の販売は
ジャングル
でも行っているらしい。
- ★
クセロ サーチPDF Web
(クセロ)
-
2000年11月に発売された比較的新しい製品。
サーバに保存されている複数のPDFファイルについての検索を行う。
インデクシングのために Adobe Acrobat (not Acrobat Reader)を利用している。
IIS 5.0 + Acrobat 4.05 が必要。
たぶん Windows でないと動作しないのではないだろうか。
価格未定。
- ★
Fulclum SearchServer
(ハミングバード ジャパン (旧：日本フルクラム))
-
カナダ系企業の Hummingbird 社が開発する製品。
以前は Fulcrum 社が開発していた SearchServer だが、
1998年に Fulcrum 社は文書管理(EDMS)ソフトの会社である
PCDOCS 社に買収され、さらに99年にPCDOCS社が Hummingbird 社
に買収された結果、Hummingbird 社が継続して製品の開発・販売を
行っているとのこと。(上記３社ともカナダの会社)。
数ギガバイトのデータベースや数千人のユーザーにスケーラブルに対応。
多言語サポートの他、PDF を含む200種の文書形式に対応。
マルチプロセシング、スレッドセーフ。ODBC/JDBC 対応など。
なお、Unicode 対応の次期バージョン5.0が開発中であり、
2001年夏には出荷予定とのこと。
1999年1月に DOCSFulcrum というナレッジマネジメント製品を発表
(ASCII24)
したが、その中に SearchServer が含まれているようだ。
DOCSFulcrum も継続販売している(現行バージョンは 3.0)。
フルクラムというのは知らない人もいるかもしれないが、
図書館関係では非常に有名な会社。
また海外では一般でも広く使われている。
そういう意味では今後期待したい企業の一つではある。
ただ、海外での実績に比べて日本での実績はこれからというのが
正直な感想か。頑張って欲しいところではある。
雑誌富士通(1997年3月号)に
SearchServer の内部エンジン(N-gram 方式)についての記事がある。
NT/2000, UNIX 系OS全般で動作。
272000円(1サーバ, 5クライアント)
- ★
全文検索システム「俊司くん」
(言語工学研究所)
-
あちゃらNAVI(リクルート)で運用されていた (今は ISIZE)。
12万語の同義語辞書付。
- ★
Future/Happiness Light
(平和情報センター)
-
かなり昔からあるシステム。形態素解析を用いている。
資料として
全文検索システムとインターネット技術の融合(保田明夫 氏)
あり。ただ、1996年7月時点と古いのが難点。
- ★
ネットリーブ
(三菱電機ビジネスシステム)
-
全文検索（曖昧検索）はローカル検索のみ。
BSD/OS または NT で動作。49,800円。
■ トータルソリューション
全文検索エンジン部分は全体の単なる一部に過ぎないという観点から、
文書共有システムとかナレッジマネジメントと言ったような
概念のもとに語られる製品群。
- ★
Microsoft BackOffice 製品群
(マイクロソフト)
-
Microsoft SiteServer
や
Internet Information Server 4.0
などが該当するだろうか。
IIS 5.0 は Windows 2000 Server と統合されてしまっているからわかりにくいが。
IIS を使ったものは、
秋田市、
金沢市、
愛知県岡崎市、
大阪府八尾市、
兵庫県尼崎市、
宮城県岩出山町、
兵庫県八千代町、
和歌山県上富田町、
新エネルギー・産業技術総合開発機構(NEDO)、
日本商工会議所、
日本電子機械工業会、
岐阜県産業経済振興センター、
京都府中小企業振興公社、
内田洋行、
宝酒造、
河合楽器、
東武グループ、
日本郵船、
北日本放送、
東京書籍、
多摩美術大学、
東京純心女子学園、
山梨学院大学、
などで運用されているようだ。
検索システムのみならず、
ナレッジマネジメント用のトータルソリューションパッケージ。
SiteServer の
検索のfeatureにあるように、
ファイルシステム、Webシステムなど5パターンのインデクシングが可能。
当然ながら各種文書フォーマットにも対応。
IIS 4.0と他製品の機能比較
というMSのページでは、Netscape Enterprise Server および
Apache との比較がある。
しかし、このうち「コンテンツ検索機能」などは、
ちょっとズルではないだろうか。
Apache 単体では無いに決まっているのだから。
(当然)NTで動作。SiteServer の場合、5ライセンス付で 198,000円。
- ★
Netscape Enterprise Server
(ネットスケープ・コミュニケーションズ)
-
神奈川県川崎市、
神奈川県大和市、
国際協力事業団(JICA)、
三井物産、
日本信号、
などで運用されている。
Enterprise Server の一部である Web Publisher の検索エンジンには
Search'97 Information Server
が使われているようだ。
リリースノート
は、あまりにも直訳調で意味が全然わからん。
もうちょっとまともな日本語で書いてもらいたい...
- ★
Lotus Domino Doc
(ロータス)
-
ロータス、
最高裁判所、
衆議院、
、
鹿児島市、
埼玉県日高市、
JR東海、
コクヨ、
タワーレコード、
上智大学、
山口県農林業情報システム、
政労連、
などで運用されている。
ドミノ・ドック というのがサーバ群にあたるようだ。
イントラネット対応のネットワークドキュメントシステム。
NT で動作。
- ★
IntelligentSearch V2.0
(富士通)
-
イントラネット／インターネット内の各種文書データから、
必要な情報を瞬時に、的確に検索する。
世界トップレベルの検索性能と誰もが簡単に使える自然文検索に、
高度な知識活用機能を装備し、文書データの有効活用を実現。
報道(@IT News)によれば、富士通から
アクセラテクノロジがスピンアウトしたということらしい。
Solaris, NT などで動作。200 万円。
- ★
Jasmine Enterprise Edition V3.1
(富士通)
-
福島県いわき市、
大津市、
富山市、
鳥取市、
福岡市、
大分市、
しまね観光ナビ、
などで採用。
豊かな表現力と自由度の高いオブジェクト指向データベース。
Solaris, Windows で動作。240万〜480万円。
- ★
情報マイニングツール Vext Search
(コマツソフト)
-
スキャッタ分布分析、クラスタ分類、スペクトル表示、レーダーチャート表示、
ハイライト表示、カテゴリ分類などが可能。
Solaris, HP-UX, AIX, NT などで動作。500 万円から。
■ DBMSベースシステム
データベース・マネジメント・システム (DBMS) を
全文検索向けに拡張したソリューションパッケージ群。
- ★
Oracle interMedia Text
(日本オラクル)
-
日本オラクル、
イー・ショッピング
などで運用されているらしい。
Oracle8i に高速全文検索機能を付加し、
データベースの利用価値を高める製品。
ブール論理によるキーワード同士の結合、曖昧検索、近傍検索、適合度、
重みつけ、XMLでのセクション検索など充実した検索機能。
文書フィルタは Office 製品群、一太郎、PDFなどに対応。
Tru64 UNIX, HP-UX, AIX, SCO UnixWare, IRIX, Solaris, NT など
多くのプラットホームに対応。
125,000円(NT版、5ユーザ同時ライセンス)から。
- ★
類似高速検索エンジン J-LiveSearch
(日本総合研究所)
-
日本総合研究所
で運用。
『知識ウェアハウス』
というプロダクツの一つで、
- 類似情報を検索する機能
- 自然文による検索
- 類似性に応じた検索結果の提供
- 大容量、多数ユーザに対する高速性
- マルチメディアへの拡張性
の5点が売りらしい。
内部でオブジェクト指向のDBMS「MATISSE」を採用している。
高速データベース・テクノロジー(東京ガス)と
なんか関係あるのかな?
SunOS, Solaris, HP-UX, WindowsNT で動作。
NT版、UNIX版200万円。
(いずれもデータベースエンジンMATISSE込み)
- ★
Excalibur RetrievalWare
(ソニーマーケティング)
-
米エクスカリバー社
が開発した検索エンジンの
RetrievalWare Text
を日本語化したもの。
同義語の一覧表示などができる。PDFの検索も可能らしい。
DBMS には Oracle/Sybase/Informix などを利用するみたい。
姉妹品に、
動画解析機能を内蔵したイメージ検索ソフトウェア
Excalibur Visual RetrievalWare V3.0J ソフトウェア開発環境
VAEモジュールがあり、これは
動画の場面変化のたびにそのフレームを自動抽出して、
一覧表示することができるなどの機能を持っている。
これは、
Yahoo !のイメージ検索エンジン
として採用されている。
NT, Solaris その他のUNIX環境で動作。480万円。
- ★
ネットワーク対応高速全文検索ファイリングシステム MyQuick
(帝人システムテクノロジー)
-
RDBMSの世界的権威者である
独ミュンヘン工科大学の Dr.Bayer (B-Tree 理論の考案者) が設立した
TransActionSoftware社
で開発した Myriad (ミリアッド)というものがコアテクノロジー。
Myriad はRDBMSである TransBase に全文検索機能を追加した
フルテキスト・マルチメディア・データベースシステムのこと。
RDBMSをコアに内蔵しているので別途RDBを購入することが不要。
- ★
ILLUSTRA
(日本テレマティーク)
-
Postgresの成果を商用化したもの。
RDBMSとSQLをベースにしたORDBMSらしい。
開発元はこちら。
Illustra はいつの間にか Infomix に吸収されちゃったらしい。
SunOS4.x, Solaris2.x, IRIX, HP-UX, AIX, NT などで動作。
175万円から。
■ 検索アウトソーシング系
- ★
サイト内検索アウトソーシングサービス
(フレッシュアイ)
-
東芝、
本田技研工業、
日経 Finx'X、
富士写真フイルム、
などで運用されている。
検索サイト自体はフレッシュアイなので、
つまり外に検索をかけに行くということ。
ちゃんと組織的にサポートしますよ(しかも値段も出ているところ)、
というのは(次の InfoNavigator のものを除き、)あまり知らない。
回線が十分に安定かつ高速ならば
まあこういう解もありなのかもしれない。
初期導入費用30万円。運用費20万円/月。
- ★
公開ホームページ内コンテンツ検索サービス
(富士通/InfoNavigator)
-
国税庁、
東京都調布市、
東京都立図書館、
キヤノン、
キヤノン販売、
ニコン、
オリンパス光学工業、
本田技研工業、
日本航空、
日本アムウェイ、
FFC、
などで運用されている。
検索サイト自体は InfoNavigator (中身はTerass)であり、
上のフレッシュアイのサービスと基本的に同じと考えて良いだろう。
「お客様の公開ホームページ内のコンテンツの検索機能を提供」
「データベースには，毎日最新の情報を反映」
はまあ当然としても、
「稼働状況を報告書にて提供」などの細かなサービスは、
事務的にはうれしいかもね。
初期費：10万円、月額費：5万円。
規模の点で心配があるなら、良く似たサービスに
大規模WEBサイト向け情報検索サービス
というものもあるので、こちらを検討するのも一つか。
日本労働研究機構、
@Nifty、
などで運用されている。
- ★
Google フリー検索 : ホームページに Google の検索ボックスを設置する
- ★
Infoseek Japan: リンクリクエスト
- ★
Goo: ヘルプ /gooへのリンクの張り方
- ★
Lycos: ヘルプ / サーチ / 検索ボックス設置
- ★
Excite Japan: ヘルプページ/サーチフォームの追加
- ★
フレッシュアイ - リンクキットと検索窓
- ★
Yahoo! JAPANをあなたの近くに！
- 無償で勝手に行えるサービス。ただし、当然、無保証。
■ 関連技術
- ★
高速類似文書検索ライブラリ： K-Tech Search
(住友金属工業)
-
住友金属の
日本語処理技術ライブラリ〜SMI K-Tech Library〜
のアプリケーションの一つ。
関連ツール群多数(
形態素解析ライブラリ K-Tech Morph、
文章チェックライブラリ K-Tech Proofread、
マルチキーワード検出ライブラリ K-Tech Screen、
PDFユーティリティ K-Tech PDFTools、
)あり。
NT で動作。価格不詳。
- ★
全文検索シソーラス辞書 Express Finder
(三菱商事、NTTアドバンステクノロジ)
-
様々な全文検索エンジンに連動し、
各アプリケーションに自由に組み込み可能な検索用シソーラス
（同義・類義語）辞書、とのこと。
270万円。
■ なんだかよくわからないもの
非商用や商用の製品群のうち、なんだかよくわからないものがあります。
URLがたどれなくなっているか、あるいは当方の調査不足がその要因です。
- ★
INQUERY
(CIIR)
-
マサチューセッツ大学の Callan 達による、
(多分古典的な)情報検索システム。
Featuresによると、日本語の他スペイン語や中国語に付いても
近い将来サポートする予定らしい。
http://n106.is.tokushima-u.ac.jp/member/kita/EPrint/index-IR.html
などによると、1992年の論文があるので
結構昔からあるシステムなんでしょう。
その論文でも日本語化をしていると書いてあったんだけど、
今はどんなもんなんでしょうね。
- ★
製品版日本語化WAIS
(富士通)
-
最初期の
InfoNavigator
では採用していたようだが、
これは早い段階で別のもの(AP3000 を使った並列検索エンジン)に
変わったそうだ。
ちなみに、以前は 富士通
でも採用していたのだが、こちらも別のエンジンに変わったとのこと。
フリー版のWAISでは不可能な relevance feedback が可能、
AND/OR/ADJ検索が可能、インデックス作成の高速化、
システムの信頼性を向上、形態素解析を使用、
といった特徴がありました。
... しかーし、富士通のページがたどれない(1998/7/31)。
もうダメなのか？
(1999/6/8 追記) F社の方から情報を頂きました。
それによると、出荷停止になっていたそうです
(サポートはまだやってるらしい)。
時代を感じます。
- ★
MEDIA Finder
(ソニー)
-
InfoPlaza が運営するNTT新着情報検索、
ソニーミュージックエンターテインメント(SME)のカタログ検索サービス
などで運用されれている。
NEWS-OS でだけ動くみたい。
... などとしていたが、いつの間にやら MEDIA Finder へのリンクは
変わってしまっているし、WAVESearchは1998年1月末で終了だし、
SMEの検索サービスは SCREW (SSEの前身)に変わっていた。
ソニーはもはや MEDIA Finderを完全に見捨てたのか?
- ★
超高速検索ソフトウェア NSEARCH V3.0
(新日鉄)
-
新日鉄のページにはリンクがなくなっている(2000/2/14)。
日経BizTech の記事検索、
鹿島、
などで用いられている。
シグネチャ方式。GTRと同じく不完全一致検索が可能。
SunOS4.x, Solaris2.xで動作。
90万円。
- ★
日本語全文検索ソフトWebix
(コンパックコンピュータ (旧日本DEC))
-
コンパックのページにはリンクがなくなっている(2001/1/11)。
内部のエンジンとして
SAVVY/EFS (日軽情報システム)
を採用している。
フリーワードによる検索が可能。
なお、最初「AltaVistaのものと同じか？」と書いていましたが、
日軽情報システムの方からメールを頂いて、違う、とのこと。
Digital UNIX V3.2, WindowsNTで動作。380万円から。
- ★
Okay@Search Engine
(オーケー・カンパニー)
-
日本ビクター、
日本財団
キリンビバレッジ、
などで運用されている。
「簡単」「快速」「ローコスト」な ホームページ専用日本語検索エンジン。
初期設定30万円、月額使用料15万円、年間契約168万円。
- ★
WebAssistant/Indexer
(東芝)
-
信濃毎日新聞、
住友商事、
国土交通省中国地方建設局、
などで運用されている。
「豊富な実績に裏打ちされた東芝独自のFS-Engine」というものを
使っているらしい。
フレッシュ・アイ
の検索エンジンなら良いのだが、たぶん違うとおもう。
そもそも、当の
東芝
すらフレッシュ・アイに乗り換えてしまったからなあ...
機能を絞り込み低価格化を図った珍しい製品。
もちろん最低限の機能は付いている。
ちなみに「パソコンショップで売っている」そうだが、
私は見掛けたことがありません。:-P
Solaris, NTで動作。
27万円(ローカル版なら14万円)。
- ★
観自在
(キヤノン)
-
キヤノン
で運用されている。
だが、まだ何にもドキュメントがない。そのうち書かれるんでしょう。
そもそも、売り物かどうかわからん。売りもんじゃなかったらゴメン。
... これもどうやら今はなくなってしまったようだ。
- ★
Alise
(Pacific Software Publishing)
-
NT 用小規模システム。
自社開発の FBIA (Fixed Binary Index Arrey) なるデータ構造を採用。
WWWとのインターフェースはISAPI。
$1,999。
- ★
I-Search
-
Multi-Language Search Engine。20か国語に対応しているらしい。
Linux/Intelプラットホームと DEC/Alphaに対応。
評価版が60日間使用可能。
でも、日本語で検索したら少し化けたぞ。
- ★
Lifisa
(リコー)
-
インターネット対応統合文書管理システム。
NT で動作。135万円から。
- ★
ネットワーク型ドキュメント管理ソフトウェア Visual Recall
(NEC)
-
NT で動作。120万円から。
- ★
ConceptFinder
(三菱スペース・ソフトウエア／米パラセル社)
- 一セット4,000万円?
- ★
GrandCABIA
(DIS)
-
NT で動作。30万円(10ユーザ)。
- ★
超高速全文検索システム ThinkSearch ver. 2.00
(シンクプラン)
-
NT で動作。50万円から。
- ★
DocuSpace
(富士ゼロックス)
- ★
Net-It Central
(デジタルマジックラボ)
- ★
INTERINFO and NiCE
(NTT DATA ?)
前へ |
次へ
6. どのシステムを選ぶべきか
たくさんあることは良くわかった。
では、どのソフトウェア／製品を選べば良いのか？
誰でも関心を持つであろうこの疑問に対する答えは、
しかし当然のことながら、非常に難しいです。
なぜならばそれは、
提供する検索サービスの規模／特質／ターゲット層といった
さまざまな要素に大きく依存するからです。
とはいえ、そんな誰にでもわかる一般論をいまさら言ってみても始まらないので、
以下では、おおまかに単純化し場合分けしたケースについて議論してみます。
■ 極めてタイトな超大規模サイトを構築しなければならない場合
もし、
一分間に数百回もの検索要求をこなすような商用検索サービス、
例えば、
日本の Search Engine のリスト (清水奨＠NTT未来ねっと研究所氏)
に示されている検索サービスに匹敵するサービス事業に
新規参入しようと本気で考えているのならば、
当然のことながら保証の受けられる商用製品を利用すべきでしょう
(研究目的で無い限り)。これはほとんど議論の余地のないところです。
ただし、
「商用製品だから性能もメンテナンスの手間も
フリーソフトに比べて優れているに決まっている」
と考えるのは早計で、必ずしもそう言い切れないところがあるようです。
これは大切な留意事項で、意外なことでもなんでもありません。
つまり、このような全文検索エンジンソフトウェアは、
比較的新しい技術を用いて作られているものがほとんどであるため、
メーカー側も試行錯誤している一面があるようで、
製品によってはソフトウェアの安定度と言う点で
フリーソフトの足元にも及ばないようなものもあるようです
(具体的にはコアダンプしまくるとかね)。
むろん、そういう品質のものはごくごく少数だとおもいますが、
中にはそういうのもあるらしいってことには
一応注意しておいて損はない、ところでしょう。
なお、私は商用製品については、(一部の製品を除き)実際に試用した
ことがある訳でもありませんので、
webページに載っているスペックを参考にする以上に正確な評価を
下す事ができる訳ではありません。
もっとも、幸いなことに、いくつかの実例(導入例)を
私信にて寄せてくださる方がいらっしゃいますので、
そういう意味での『評判』は人よりは聞いているかもしれません。
そのような観点から感じることですが、
このような商用製品の乱立をみるにつけ、このままでは
「悪貨は良貨を駆逐する」
のような事態になりかねないのではないかと、私は多少危惧しています。
先に触れたように、内部的な仕様が良くわからないものが
多く含まれていることが理由の一つです。
極端な話で言うと、どうも安易にこの市場に参入しているところが
多いのではないかという気がしています。
一般的に言って、
商用製品では検索エンジン部分だけを売り出すようなことはほとんど無くて、
ロボットとか、文書フィルタとか、インターフェース部分などの付加価値を
付けて売り出すことにビジネス性を見い出しているようにおもわれます。
そのためかどうかはわかりませんが、
「肝心の検索エンジン部分の仕様・性能がはっきりしない」
ものが多く見られます。
一部には誇大広告なんじゃないのか、というものも見られます。
なるほど企業秘密もあるでしょうが、
個人的にはこの点はあまり気に入らないところだったりします。
実際の商用製品を導入するにあたっては、
本ページの2章や
拙著で触れているような
全文検索エンジンソフトウェアの特性について
あらかじめよく調査研究した上で決定するようにするなどして、
メーカー側の思惑に振り回される事のないようにして頂きたいものです。
こうすることで、良い製品は市場原理に乗っ取ってより発展する事が
できるとおもいます。
■ 普通の規模の検索サーバを構築したい場合
上記のように、商用製品を導入しギリギリまでチューニングして
バリバリ動かす必要のある超大規模サイトが確かに存在する一方で、
ほとんどの Web サイト、
敢えて言うならばインターネット上の90%以上の検索サイトは、
検索回数は多くても一分間に数回いくかどうかという程度でしょう。
この程度であるならば、はっきり言ってフリーソフトウェアで充分です。
Web サイト検索でこの程度の回数ならば、
商用製品を導入するメリットと言うのは、私には見えてきません。
さて、現在もっとも性能が良く手軽でかつ人気の高いものは
Namazu だと言えます。
Namazuは、
MHonArcでHTML化したメーリングリストのインデックスの際に
有効なオプションを備えているなど、
作者自身もそのような用途での利用を念頭に置いています。
小中規模サーバの管理者にはもっとも受け入れやすいソフトでしょう。
とくに1999年後半からは「Namazu 一人勝ち」の傾向が強く現れています。
性能面(といってもいろいろな意味がありますが、
インデックス速度やインデックスサイズ、検索速度など)
においてNamazu に負けないのは、
Freya、そして SGSE でしょう。
Freya は、
高負荷サイトでも動作することのできるハイスペックなエンジンと言えます。
また、ODIN本体との連携を図るなど、
インターネット上での全文検索エンジンのメタ化を狙っているものとして
注目されます。
Freya は、分散検索という観点からインターネット全体としての
情報検索に興味を持っているユーザに特に受け入れられることとおもいます。
SGSE は、
SSE の後を継ぐソフトとしての位置を固めることになるでしょう。
過去(1997-1998)、
もっとも実績があったのは、SSE-1.1 でした。
WAIS の手法を採り入れたインバーテッドインデックスのおかげで
検索スピードは非常に速くスケーラブルで、
Perl CGI であるということから取り扱いも容易で、
改造も簡単だったのです。
ただし、SSEはリリースから時間がかなり経っているという事もあって、
最近では性能面で後発のソフトウェアに押されつつあります。
SSE/SGSE/Namazu/Freya の比較(清水＠NTT光ネットワークシステム研究所氏)
では、
4種類のお勧めフリーソフトについての詳細な性能比較
(簡単な紹介、スペック表、インデックス速度)と、
日本語全文検索システムの根本的な課題である
形態素解析システムを用いた場合の問題点について、
詳細かつわかりやすい分析が加えられています。
若干内容が旧くなっているとはいえ、
ごらんになって頂きたいサイトの一つです。
また、
検索ソフトウェアの比較(kachura@mag.keio.ac.jp氏)では、
SSEとNamazuの機能/性能についての丁寧な比較がなされています。
さらに、月刊誌
日経インターネットテクノロジーの
インターネットコラム1998年7月9日号
では、Namazu に焦点を当てた使い道についての解説がなされています。
いったいどれを導入すれば良いのか迷っているユーザは、まずは、
これらのサイトを参照してみてください。
一応補足しておくと、フリーソフトの中では
freeWAIS-sf
も負けてはいませんでした。
確かに、取り扱いの容易さは SSE や Namazu に譲りますが、
WAISプロトコル(Z39.50)に乗っているので、
広域分散データベースシステムの構築が非常に容易でした。
しかしやはり、どう考えてみてももはや時代遅れの感は否めません。
インストールも面倒ですし、特に理由のない限りは
Namazu,Freya,SGSE のいずれか
をインストールすることを強くお勧めします。
■ どのような時に商用製品を導入すべきか
(2000/2/25に大幅に記述を変更しました。)
商用製品を選択するべき問題は、
イントラネットでの全文検索システムの導入
のような時でしょう。
HTMLだけではなくて、
一太郎や MS-Word などのワープロソフトなどの文書を
インデックスする必要があるし、
また、セキュリティ管理も重大な問題です。
イントラネット内部を探索する程度のロボットも必要なはずです。
いわゆるグループウェアとの連携を図らなければならないことも
あるでしょう。
しかしまあ、
ほとんどの商用製品は文書フィルタなどのオプションを持っていますし、
セキュリティなどにも気を配っているものがほとんどですから
大体は大丈夫なはずです。
逆に言うと、これくらいの要求に答えられないような商用製品は
はっきり言ってダメだとおもいます。
最近は、特にビジネス分野を中心に日本語PDFファイルが普及しつつあります。
PDF を全文検索する必要がある場合、
1999年前半まではフリーウェアで実現するのは困難だったため、
そのような場合には商用製品を利用しなければなりませんでした。
ところが、1999年後半になって
pdf2txt や pdftotxt といったフリーのフィルタツールが出現したため、
この状況は急速に変わりつつあります。
Namazu は、
バージョン 2.0 になって正式に PDF や MS-Word 文書などを
サポートするようになり
(ただしフィルタ用のパッケージを別にインストールしなければならない)、
イントラネット現場の切実な要望に応えるものに進化しつつあります。
いまでは、まず Namazu を試してみることを、
以前にも増してお勧めできるようになっています。
このようにフリーソフトが急速に進化しつつある一方で、
商用製品のプレゼンスは、もちろん消滅することはないにせよ、
次第にそのターゲットを移さなければならなくなっていると考えられます。
しかしもちろん、
フリーソフトが向かない分野も依然としてあり続けるでしょう。
「目的にあわせた道具を選択すべきである」という
当たり前の原則論を心に止めた上で、
実際に導入するソフトウェアを選択するようにしましょう。
前へ |
次へ
7. 実際の導入事例の比較一覧
以下の調査は不定期に行っています。
また必ずしも正確でない可能性があります。
あくまでも参考までに見てください。
■ 中央官庁のWebサイト検索システム
2003/10/28 現在。
司法・立法・行政の計 44 機関。
司法機関からは最高裁、
立法機関からは両院と国立国会図書館、
行政機関からは、首相官邸と内閣法制局、
「内閣の統轄の下に行政事務をつかさどる機関(国家行政組織法)」
としていわゆる内局「1府12省庁」(内閣府・10省・国家公安委・防衛庁)と
外局(6委員会・16庁)、
さらに人事院と会計検査院と日本銀行
を調査対象とした。
■ 47都道府県庁のWebサイト検索システム
2003/8/21 現在。
■ 主要地方都市のWebサイト検索システム
2004/1/15 現在。計 87 都市。
東京23特別区および46道府県庁所在市に加えて、
12政令指定都市あるいは
35中核市のうち
県庁所在市でない18都市
(川崎、北九州、旭川、郡山、いわき、川越、船橋、横須賀、相模原、
浜松、豊橋、豊田、岡崎、堺、高槻、姫路、倉敷、福山、の各市)
を調査対象とした。
前へ |
次へ
8. 参考文献紹介
全文検索システムについての概念的な話に興味があるなら、
以下のいずれかから読み始めるのが良いだろう。
これらの内容は比較的平易(あくまでも比較的であるが)な部類に入る。
ちなみに、タイトルに「全文検索」と名の付いた書籍は数が極めて少ない。
そういう意味から言って拙著は、手前味噌にはなるが、
導入としては悪くない選択肢だとおもっている。
-
『World Wide Web情報検索の達人−WWW検索サービス完全ガイド−』
-
山名早人、田村健人 著
1996年、カットシステム、2,000円＋税、ISBN 4-906391-38-9 C3055
-
『AltaVista完全活用ガイド 〜インターネットのすべてを検索する方法〜』
-
リチャード・セルツァー、エリック・J・レイ、デボラ・S・レイ 著
日本ディジタルイクイップメント株式会社監訳
1997年、翔泳社、2,800円＋税、ISBN4-88135-556-2
-
『サーチエンジン徹底活用術』
-
原田昌紀 著
1997年、オーム社、1,900円＋税、ISBN4-274-06230-9
-
『日本語全文検索システムの構築と活用』
-
馬場肇 著
1998年、ソフトバンク、2,800円＋税、ISBN4-7973-0691-2
-
『全文検索 〜技術と応用〜』
-
山本毅雄、橋爪宏達、神門典子、清水美都子 著、学術情報センター 編
1998年、丸善、2,000円＋税、ISBN4-621-04525-3
-
『オープンソースソフトウェアによる全文検索・データベース Web の作り方』
-
西村めぐみ 著
2000年、ソシム、2,600円＋税、ISBN 4-88337-177-8
-
『Inktomi Search Software 詳解―目的に応じて手軽に使える検索エンジン』
-
太田佳伸 著
2001年、シイエム・シイ、4,200円、ISBN4-90128-042-2
-
『Namazuシステムの構築と活用』
-
馬場肇 著
2001年、ソフトバンクパブリッシング、2,800円＋税、ISBN4-7973-1641-1
-
『改訂Namazuシステムの構築と活用』
-
馬場肇 著
2003年、ソフトバンクパブリッシング、2,800円＋税、ISBN4-7973-2338-8
検索システム内部のアルゴリズム的な話題に
アカデミックな観点からの関心がある人は、
上記文献をあたるのも良いが、それよりもまずは、
情報処理専攻の大学生/大学院生向けに教科書的に書かれた
以下の文献から始めることを勧める。
中でも、長尾他『自然言語処理 (岩波講座 ソフトウェア科学15)』は、
バイブルとも言うべき基本的な文献である。
えらく分厚いが、必ず読むべきであろう。
さらに専門的あるいは最先端の研究文献が必要な場合には、
言語処理学会、情報処理学会、電子情報通信学会、日本ソフトウェア科学会
といった関連学会の論文誌、
及びそれら論文中の参考文献をあたるのが常道だろう。
-
『情報検索研究 〜 認知的アプローチ』
-
P. イングベルセン 著、藤原鎭男 監訳
1995年、トッパン、3,900円＋税、ISBN4-8101-8917-1
-
『自然言語処理 (岩波講座 ソフトウェア科学15)』
-
長尾真、佐藤理史 編
1996年、岩波書店、5,000円＋税、ISBN4-00-010355-5
-
『単語と辞書 (岩波講座 言語の科学3)』
-
松本裕治、影山太郎、永田昌明、齋藤洋典、徳永健伸 著
1998年、岩波書店、3,400円＋税、ISBN4-00-010853-0
-
『言語情報処理 (岩波講座 言語の科学9)』
-
長尾真、黒橋禎夫、佐藤理史、池原悟、中野洋 著
1998年、岩波書店、3,400円＋税、ISBN4-00-010859-X
-
『情報検索の理論と技術 (図書館情報学シリーズ3)』
-
岸田和明 著
1998年、勁草書房、4,500円＋税、ISBN4-326-04802-6
-
『自然言語処理 −基礎と応用−』
-
田中穂積 著
1999年、電子情報通信学会、5,400円＋税、ISBN4-88552-160-2
-
『情報処理と言語処理 (言語と計算5)』
-
徳永健伸 著、辻井潤一 編
1999年、東京大学出版会、3,800円＋税、ISBN4-13-065405-5
-
『文字と音の情報処理 (岩波講座 マルチメディア情報学4)』
-
長尾真、宇津呂武仁、島津明、匂坂芳典、井口征士、片寄晴弘 著
2000年、岩波書店、3,400円＋税、ISBN4-00-010964-2
-
『情報の構造化と検索 (岩波講座 マルチメディア情報学8)』
-
有木康雄、上原邦昭、田中克己、加藤俊一、河野浩之、西尾章治郎 著
2000年、岩波書店、3,800円＋税、ISBN4-00-010968-5
-
『情報検索アルゴリズム』
-
北 研二・津田和彦・獅々堀正幹 著
2002年、共立出版、3,300円＋税、ISBN4-320-12036-1
一般向けの雑誌記事等は網羅できていない。悪しからずご了承願いたい。
あるいは、拙著の参考文献一覧が若干参考になるかも知れない。
前へ |
次へ
10. ページ作者のつぶやき
恥ずかしながら、私は、英語がどうもニガテなのです (;_;)。
まあ、モチロン読めない訳でもないし、
「インターネットでの公用語は英語に決まっとろうが」
っちゅう主張(暴論か？)にもさしたる異論はないのですけれども、
それでも同じような情報を
「日本語で」
得られるのだったら、
それに越したこっちゃないじゃないですか。
そして事実、日本語でのオンライン情報というのは増えつつあるんですよね。
だから、
「日本語の通る全文検索システム」
にコダわったりするのです。
こういう検索エンジンソフトウェアを使って
有用な情報サービスを提供するサイトがもっともっと増えて欲しいんです。
そのために、こんなページを書いてみたりしています。
世の中には、AltaVista とか Goo とか、そういう
「既に存在する全文検索システムへのポインタを集めたページ・メタサーチページ」
は、ほんとイヤになるくらい山ほどありますよね。
わりかし初心者の人がいわゆる
「ほーむぺーじ」を初めて作ったときには、
必ず「リンク集」というのがあって、
その中にはほとんど必ず Yahoo! や Goo へのリンクがありますしね。
そーゆーのを作りたくなる気持もわからないでもないんですが、
ですけど、そーゆーものの中に埋もれてるからかどうか知りませんけど、
このページにあるような、
「そういう全文検索サービスを提供するために役立つページ」
ってのはほとんど見たことがありません
(最近はそうでもないが... でも少ないのは確かだ)。
当然のように感じていたり
背景に隠れてしまっていて普段は気が付かないのだけれども
「実はいつも大変にお世話になっている」
全文検索技術に焦点を当ててみたいとおもって、
これまでずっと調べてきたというわけです。
まあ、こういうページは他にあんまりないだろうし、
あっても極めて少ないだろうし、
今後もあまり現れないだろうから
(事実、ページ開設以来 5 年弱、
この分野に興味を持っていろいろ調べ始めてから 6 年弱が経過しています)、
いずれにしろ何がしか有効に使ってもらえればうれしいなあ、
とおもったりしているのでした。
免責:
本ページの内容は有用とは思いますが、
市場性及び特定目的適合性についての暗黙の保証を含めて、
いかなる保証も行ないません。
載っている情報をあまり鵜呑みにせず、各サーバにアクセスして
最新の情報をご自分の目で確かめてみられる事をお勧めします。
前へ |
目次へ