This page includes some information about Japanization of freeWAIS-sf. Unfortunately this page is written only in Japanese. This page has been updated infrequently. We appreciate your regular visits. Please enjoy the full-text retrieval of Japanese documents !
Since: Sat Jul 6 08:47:20 1996
Last Refreshed: Sat Jan 24 19:13:24 JST 2004
WAIS (Wide Area Information Servers) (『ウェイズ』と読みます)は、分散 環境において蓄積された情報の検索とその入手を円滑に行なうために開発され た、クライアント-サーバモデルに基づいて構築されたネットワークサービス の一つです。
WAIS は、1980 年代後半に Dow Jones & Co., Thinking Machine 社、 Apple Computer 社、KPMG Peat Marwick によって、プロトタイプが共同開発 されました。現在ではコピーフリーなソフトウェアとして配布されています。 インターネット上では WAIS サーバが数多く稼働していますので、 WAIS を用 いてさまざまな情報を入手することができます。
WAIS における情報源のことを、ソースと呼びます。ソースでは WAIS サーバ が動作しており、WAIS クライアントからの検索要求を処理します。クライア ントからは、Z39.50 プロトコルを利用して情報の検索を行ないます。 Z39.50 プロトコルをサポートする WAIS の実装には、
などがあるようです。
Z39.50 には、Z39.50-1988 と -1992 の二種類があります(その違いは私には 良くわかりません。-1995 というものもあるようですが、未確認です)。 互い に微妙に異なるため、それぞれのプロトコル間の互換性はありません。大抵の インプリメンテーションでは、Z39.50-1988 はサポートされています。Zdist は Z39.50-1992 をサポートしています。
WAIS では、ソースを自動的に見つける機構は持っていません。従って、現在 インターネット上で提供されているソースとホストを知る必要があります。こ の情報を管理しているのが、directories-of-servers と呼ばれるもので、現 在は WAIS 社にあります。このソース では、インターネット上に公開されているWAIS サーバの情報を管理しており、
などの情報がそれぞれのソースについて蓄積されています。
ソースが提供するのは、主にテキスト情報です。WAIS では、情報の高速かつ 質の高い検索を可能にするために、あらかじめソースでのテキスト情報の内容 をもとにキーワード抽出を行なってインデックスを作成しておき、サーバでは そのインデックスを元にして検索を行ないます。インデックスの作成方法は、 NetNews や電子メール、HTML など、元になるテキスト情報の種類によって作 成の方法を変えることができます。これは、ファイルの拡張子を元にどの方法 を用いるかを判断しています。
WAIS は、画像・音声などのマルチメディア情報も取り扱うことができます。 現状では、GIF, JPEG, TIFF, PostScript, PICT, などの主要フォーマットに 対応しています。これらのバイナリ情報については、ファイル名をインデック スすることで対応しています。
通常データベース検索では、キーワードの指定と AND, OR, NOT などの条件を 組み合わせて検索していくのが普通です。WAIS では、これらの手法に加えて 少し異なったアプローチを取っています。それは、検索結果に付けられるスコ アです。このスコアが高ければ高いほど実行した検索にぴったりのドキュメン トであることを意味します。スコアの決定には、単純な単語出現回数だけでは なく、さまざまの細かな評価を行なっています。
WAIS は、サーバが提供するインデックスを利用するばかりではなく、組織内 部での文書の共有システムとしても利用できます。また、ユーザの個人ファイ ルのデータベース化にも利用できます。特に、サイズの小さなファイルが大量 に存在する環境において、大規模な全文文書検索システムを構築するのには向 いています。また、CGI パッケージを用いることで、WWW とリンクした便利な 全文検索システムを簡単に構築することができます。
freeWAIS-sf は、Ulrich Pfeifer 氏によって開発されたフリーの WAISパッ ケージです。現在は、freeWAIS-sf サポートチームによる WSC Technologies によってメンテナンスされています。
細かなところですが、freeWAIS-sf は freeWAIS とは違いますので、注意して 下さい。SF という suffix は、"structured field" という意味で、その元と なった freeWAIS と区別するために付けられています。freeWAIS-sf は freeWAIS-0.202 を元にしていますが、一部 freeWAIS-0.3 の実装を採り入れ た上に、さらに独自の拡張を加えています。今のところ、freeWAIS-sf は Z39.50 V2 (Z39.50-1992) をサポートしていません。
さらに詳しい情報については、オリジナルパッケージ附属のドキュメントおよ びfreeWAIS-sf FAQ を参照して下さい。
1997年3月1日現在、freeWAIS-sf の最新バージョンは 2.1.2 です。
現在のところ、日本語化パッチは以下の OS での動作が確認されています(オ リジナル版の対応 OS は freeWAIS-sf FAQ に記載されています)。コンパイラ はおそらくすべて gcc です。以下の確認リストに載っていないOSでも、gcc を使えば、日本語化パッチを当てても大抵の環境でコンパイルが可能であろう と考えています。これら以外の OS で動作を確認された方は、ぜひお知らせ下 さい。
(抜け落ちがあるかもしれませんがご容赦下さい。)
以下は、必要なパッケージ本体および日本語化パッチへのポインタです。
また、obsolate になったパッケージ類はこちら にあります。
[FILE] 2.1.2-jp6.tar.gz . . . . . . . . [May 8 15:34] 53k [DIR] SFgate-5.1 . . . . . . . . . . . [Apr 23 05:55] [FILE] freeWAIS-sf-2.1.2.tar.gz . . . . [Oct 23 1996] 906k [FILE] kakasi-2.2.5.tar.gz. . . . . . . [Jul 24 1996] 47k [FILE] kakasi-ext.tar.gz. . . . . . . . [May 8 15:16] 7k [FILE] kakasidict.940620.gz . . . . . . [Jul 24 1996] 854k [DIR] old. . . . . . . . . . . . . . . [May 11 06:56]
(注: KAKASI のバージョン 2.3.0 が リリースされました。(1999/9/28))
この日本語化パッチで採用している、内部で KAKASI の改造版を用いるという 日本語文章のトークン化手法の最大の問題点は、辞書にない単語を切り出すこ とができない、ということです。(他にも、ひらがなばかりの文章に弱いとい う点もありますが、この場合本質的ではありませんので省略します。)
KAKASI 標準の辞書は SKK の LARGE 版辞書(10万語以上)を変換したものです ので、ごく標準的な文章ならばある程度満足のいくトークン化が行なわれるこ ととおもいます。しかし、逆にこのことは、特に専門性の高い分野のテキスト をインデックスする際にはトークン化に失敗することをも示しています。同様 に、人名・地名などもしばしばトークン化に失敗します。これは、日本語の文 章のトークン化を図る際にはどうしても避けることのできない問題点だと考え られています。
日本語の文をトークン化する手法には、一般に形態素解析というもの が用いられます。これは、文章を文法的に構文解析してトークン化を行うとい うものです。KAKASI の取っている手法である、前方からの辞書読み上げ( 最長一致法)という単純 な手法とは異なり、バックトラックや品詞情報に基づく解析、連接可能性の解 析、コストを導入した解析などの大変精密な構文解析を行なうため、より良質 のトークンを得られることが充分期待されます。しかし、仮にこれらの手法を 用いたとしても、トークン化の効率は、結局は使用する辞書の質にもっとも大 きく左右されるということが日本語言語処理の研究からわかっています。
あるソースの検索効率をもっとも大きく左右するのは、そのインデックスの品 質です。WAIS の場合、単語単位でインデックスを作成しますので、トークン 化の効率がインデックスの品質に直接影響します。しかし、辞書を鍛えなけれ ば意味のある単位での単語検出、引いては実用的な検索システム、を構築する ことができません。
従って、この日本語化パッチを用いて実用的な検索システムを構築しようと考 える場合、世の中にある有用な専門分野専用辞書を積極的に活用することを強 くお勧めします。逆に言えば、検索効率を上げるために辞書を強化することは 必須事項と考えて下さい、ということです。
むろん、有償の辞書を利用することについては著作権等の問題をはらんでいま すのでなかなか難しいことなのかもしれませんが(私は詳しいことは良くわかっ ていないので)、ネットワーク上(インターネットあるいはパソコン通信)には フリーの専門分野専用の辞書が数多くありますので、これらを利用するだけで も実用的になることが確実に期待できるでしょう。
実際、例えば、医学・医療系統の me-dic というフリーの辞書を使って、実用 的な検索システムを構築していらっしゃるところが複数あります。他には、ラ イフサイエンス辞書というものを使っているところもあります。いずれも、品 詞情報を用意する必要がない分だけ、辞書変換は極めて容易です。
容易に想像できるように、コンピュータによる全文検索というのは、比喩(メ タファ)や寓意(アレゴリー)を多く含むような文書のインデックス化には不向 きです。なぜなら、このような直接書かれていないことを想起させるようなテ クニックを用いた文書の本当の意味は、読者が創り出す種類のものであるから です。
この事実は、コンピュータによる自動検索索引の限界を示す極めて意義深い限 界であるわけなのですが、それはともかく、このことはあらゆる文書をインデッ クス化しようと試みる場合には大きな障害になります。つまり端的に言って、 あれもこれもと詰め込みすぎたソースの検索効率は悪い、ということです。
従って WAIS ソースを作成する場合には、ある特定の分野に焦点を絞ってイン デックス化することを心がけるようにすれば良いでしょう。そうすることで品 質の高いソースを作成することができます。そういった意味で、流量が多くか つ専門性の高いニュースグループやメーリングリストの記事をインデックス化 することは、効率の良い(結果として重要な)ソースを産み出すことが期待され ます。
freeWAIS-sf-jp を用いて、分散検索システムを構築した一例として、 Linux-UsersメーリングリストとMkLinux-jpメーリングリストの ログアーカイブ検索サービス があります。
WWW ではありませんが、 news.stellar.co.jpや、 ftp://ftp.jaist.ac.jp/news.archives/ に保存されている、過去の fj.net.infosystems.wais の記事も参考になります。
WAIS は日本では(世界でも?)マイナーなためか、日本語の情報はほとんど無い ような気がします。もちろん他にもいくらかあるとはおもうのですが、ここに 載っていないのは私が知らないだけです。いずれにしろ雑誌記事は手に入れる のが困難かもしれません。
以下は、全文検索技術に関する、私の個人的な感想です。
ですので、すっとばしてもらっても構いませんが、読まれた方で特に御感想を
お持ちの方はメールなど頂けるとうれしくおもいます。
私は専門家ではありませんから以下は不正確な物言いかも知れませんが、私の freeWAIS-sf に対する感想は、検索エンジンとしての WAIS プロトコルはもは や完全に時代遅れであろう、ということです。ただし、freeWAIS-sf で採用し ている、転置ファイルを用いた検索エンジン部分だけは、今でも充分に使用に 耐え得る品質のものだろうとおもっています。
WAIS においてはdirectories-of-serversという、情報の集約点がうまく機能 しなかったことが衰退の一因ではなかろうかと、勝手におもっています。Harvest やIngrid のような、分散環 境での使用を考慮に入れた検索技術が、今後の主流になっていくものとおもわ れます。
WAIS は、サイズの小さなファイルが大量に存在する環境における、大規模な 全文文書検索システムの構築には比較的向いているとおもわれます。しかし、 小規模なものでどれほどの役に立つのか、(個人的には便利に使っていますが)、 私には良くわかりません。高々数MBのテキストデータならば、日本語の通る grep を使用した全文検索攻撃でも最近の WS なら耐え得ることができるとい うことが、そう判断する原因の一つです。
さらに言うならば、WAIS をユーザから縁遠くしている最大の原因は、使い勝 手の良いクライアントがない、ということではないかとおもいます。xwais と かは使い勝手が良いとはとても言えません。Mosaic はデフォルトで WAIS と のインターフェースを持っているようですが(未使用なので良くわかりません)、 肝心の Netscape から直接 WAIS にアクセスできないのではやはり魅力に欠け るとおもいます。ただし、この点は CGI を使った Web とのゲートウェイとい う形態で使用するということにすれば解決できる問題でしょうか。
日本語化特有の問題点も多くあります。
最大のものは、やはり単語抽出のロジックでしょう。私の日本語化パッチでは、 簡単のためとインデックスの速度向上のために、単語分割の精度を犠牲にして KAKASI を改造して使っています。このため、再現率(recall)及び適合率 (precision)が両方とも(特に再現率が)下がってしまいますが、これはやむを 得ないと判断して目をつむっています。
しかし、より精度の高い検索技術を目指す場合には、やはり当然ちゃんとした 形態素解析ソフトウェア (例えば JUMAN) を用いるべきであるとおもいます。 それができていないのは、私の能力不足と時間不足です _o_。さらに言うなら ば、JUMAN でもまだまだ機能的に不足なのかもしれませんが...
また、仮に形態素解析を行なったとしても、それに引き続くべき統語処理、意味処理、文脈処理を行なわない限 り、自然言語の持つ曖昧性、漠然性を取り除くことはできません。 現在の自然言語処理技術では、これらの手法を全てちゃんと行なったとしても 実際の文脈を捉えるのは困難なのですから、まったく推論規則を持たない現在 の手法では充分な機能を発揮するのは難しいのかもしれません。
... と私がそんな悠長なコトを言っている間に、ちゃんと対応なさったスバ ラシイ方がいます(1997/04/17)。
1997年3月5日に、奈良先端科学技術大学院大学 自然言語処理学講座から 1997
年2月19日付けで正式リリースされた日本語形態素解析システムChaSen 1.0 を
利用したfreeWAIS-sf-2.1.2用パッチが、石田＠インテック・システム研究所
さんによってfj.net.infosystems.waisに投稿されました。
Message-ID: <ISHIDA.97Mar5183304@manta.isl.intec.co.jp>
また、1997年4月14日に、CNIDRによって開発されたIsite-2.00.05をChaSenを
用いて日本語化したパッチキットが、同じく石田＠インテックさんによって
fj.net.infosystems.waisとfj.sourcesのクロスポストの形で投稿されました。
Message-ID: <ISHIDA.97Apr14175208@manta.isl.intec.co.jp>
現在存在するフリーソフトウェアの全文検 索エンジンは、大規模なインターネット・イントラネットシステムで の適用を念頭においた、より完全かつより高機能を目指すこのChaSenを用 いたパッチの流れと、比較的小規模なシステムにおいて簡便かつ利用しや すさを念頭に置いた流れ(例えばSSE-1.1 with KAKASI)とに分化していく のではないかと予想します。(断っておきますが、これはSSE-1.1が大規模 システムには不向きであると言う事を意図したものではありません。あく まで比較としての話です。)
WAIS は、もともと図書館システム用のプロトコルである Z39.50 によるquery 及び retrieval の通信部分と、検索エンジンの部分とに分けられます。 freeWAIS-sf で採用している転置ファイルを用いた検索エンジンの場合、イン デックスファイルが大きくなると言う副次的な問題点は存在するものの、検索 の速度的には全く問題ありません。
一方、Yahoo! のディレクトリサービスに始まった、サーチエンジンと呼ばれ る類の情報サービスは、インターネット上でアクセス可能なすべての情報をイ ンデックス化しようと試みているものです。最近は AltaVista, OpenText, 千 里眼などの全文検索系も出そろい、互いに激しくしのぎを削っている状態です。 これらのサーチエンジンで用いられている中核技術は、データを収集する部分 であるロボット(spiderとも呼ばれる)の部分、実際の検索エンジン部分、そし てユーザインターフェース部分とに、大きく分けることができます。
少々脱線しますが、ロボットは、ある程度の HTTP protocol に関する知識と、 ヒューリスティックスを組み合わせれば、比較的簡単に作ることのできる類の 技術だと言えます。ユーザインターフェース部分は、現在ではやはり CGI が 主流ですが、最近の傾向としてやはり Java によるものも出てきつつあるよう です。現状の回線状況ではアプレットの転送コストが無視できないため、主流 となり得るには至りませんが、近い将来主流を占めることはほとんど間違いな いものとおもわれます。
さて、最も重要な(そして、開発者の思想が最も反映される)これらサーチエン ジンの内部で用いられている検索エンジン部分に対して、freeWAIS-sf + この 日本語化パッチでは、そこまでの精度はおそらく期待できないでしょう。 日本語処理部分の問題点はかなり大きいと考えられるからです。
これらの欠陥を克服しようとすれば、それは明らかにビジネスもしくは専門的 な研究としてしか、成り立たないでしょう。日本語による全文検索と言うのは、 それほどまでに困難な技術なのです。さすがに今の私にそこまではとても手に 追えないという意味で、このパッチの限界点です。
しかし、インターネットブームの到来による電子化情報の氾濫というハードな 現実に直面して(しかも、その傾向は加速されつつあるではないか！)、そこま での品質を期待しないまでもとにかく簡単・安価に構築できる全文検索システ ムが欲しいという要望は、無視できないものになってきました。
この日本語化パッチを用いれば、種々の制限付きではあるものの、日本語を用 いた全文検索システムを、簡単かつフリーで構築できます。このパッチの存在 意義はこの一点にある、と私は考えています。
富士通の製品版 WAIS がどれほどの性能を持っているものなのかはわかりませ んが、やはりフリーのものに比べると性能は良いとおもわれます。この日本語 化パッチでは機能的に不足と感じられる場合には、こちらを検討されることも お勧めできる一案ではないかとおもいます。ただし、かなり高いんですが... (わたしゃ別に富士通のマワシ者ではないですよ (^_^;))
しかし、既にこの日本語化パッチを使用して有用な検索システムを構築されて
いる方が数多くいらっしゃいます。その中には私の想像していた以上の効率良
い検索システムを構築しているサイトもありました。
＃ まあ、私の想像力が貧弱なだけかもしれません。(^_^;)
特に freeWAIS-sf は、AND検索を実装していることで、実際の検索要求の大半 に応え得るものとなっていると考えます。それに、日本語を通すことができる ようになったということは、我々日本人にとってはもちろんですが、日本語を 使っている(学んでいる)外国人にとっても同様に有用であると考えます。
あなたのソースは、ある特定の分野において世界有数の有用な検索データベー スシステムになっているのかもしれません。しかし、それは皆に利用されてこ そ初めて有用なデータベースとなり得るわけです。死蔵していたのではデータ ベースとは呼べません。
差し支えのない範囲で結構ですから、あなたの作成された WAIS ソースは積極 的にインターネット上に広く公開されますことを私は希望します。
私は、趣味でゴチョゴチョいじっている一介のユーザにしか過ぎません。WAIS そのものについても知らないことばかりです。 もしかしたら、freeWAIS-sfに ついている機能の 1/100 しか使っていないのかもしれません。
ですので、何か追加情報などありましたら、お気軽に下のアドレスまでお寄せ 頂ければとおもいます。皆様の暖かいご協力をよろしくお願い致します。
このページへのリンクは、それが個人的になされる限りにおいては、確認無し に御自由になさって頂いて構いません。ただし、雑誌記事等の商業出版物に掲 載する場合には(それがURLのみの紹介であっても)必ず御一報下さい。