日本語の形態素解析に関連する用語についての解説。 出典: 長尾真・石田晴久その他編, 岩波情報科学辞典, 1990, 岩波書店, ISBN 4-00-080074-4
発話された文を形態素単位に区切り、それぞれの単 位の持つ性質を明らかにする形態素解析と、その逆方向の処理をする形態素生 成のいずれか、または両方を統括的に指す言葉。
形態素解析(morphological analysis)は、統語処理、意味処理の前段階として 行なわれる。文字により表記された文を対象とする場合には、文字列を単語に 区切り、さらに必要な場合には単語を構成する接頭語、接尾語、派生語尾、屈 折語尾を認識し、複合語の場合にはその語基を決定することを含む。また区分 された語の品詞、活用型と活用形なども決定することが必要である。形態素生 成(morphological synthesis)はその逆方向の処理である。
計算機で形態素処理を行なうためには、自立語辞書、付属語辞書、接頭語・接 尾語辞書などの他に、隣接する形態素間での接続関係を規定する形態素規則が 必要である。日本語文は英語などと違って単語が空白(スペース)で区切られて いないため、その形態素解析は困難である (→自動分ち書き、 最長一致法、 文節分ち書き)。 形態素解析が一意的にできず、曖昧性が残る場合がしばしばあり、 これはその後に行なわれる統語処理、意味処理にまかされる。 →屈折処理、派生処理、自動分ち書き
意味を持つ最小の言語単位をいう。 形態素が１つ以上つながって単語をなす。 それ以上分解すると音素になる。
言語の機械処理において、文字によって表記された文を対象とする場合には、 表記に現れた語構成の最小単位を形態素という。形態素はさらに、語基と接辞 と助辞に分類することができる。語は多くの場合、
という構造を持つ。ここで語基以外の要素は接辞である。日本語の場合、助辞 は助詞、助動詞という用語で表現される。→単語接頭語 + 語基 + ... + 語基 + 接尾語/派生語尾 + 屈折語尾
計算機による自然言語文の形態素処理 において、目的とする処理の単位に文を分割することをいう。
単語辞書の見出しと入力文との文字列照合を処理の基本とし、屈折処理や派生 処理を利用して行なう。日本語の分ち書きの手順には、最長一致法や、一文中の文節が最小と なるように分割する文節数最小法がある。単語分割、文節分ち書きはこれに含ま れる。
日本語文を文節単位に自動的に分ち書きすること(→ 自動分ち書き)。
日本語文の形態素処理において、 単語分割の前段階として行なうことがある。通常は漢字かな混じり文に対して、 漢字、ひらがな、カタカナなどの字赦情報や付属語の情報を利用して行なう。 ワードプロセッサなどの日本語処理システムでの負担を軽減するために、文を 人が文節分ち書きで入力することを要請するものがあり、この意味で文節分ち 書きという言葉を使うことがある。
文の自動分ち書きにおいて、単語な どの処理単位を認識する際に用いる手法の一つ。文字列の先頭から辞書の見出 し語と照合をとり、複数個の見出し語と照合がとれた場合に、最も長い見出し 語を優先して選択する。長さの評価を１文節で行なう文節最長一致法や２文節 で行なう２文節最長一致法がある。→文字列照合
一つの意味のまとまりをなし、文法上一つの機能を持つ言語の最小単位。単語 はさらに形態素に分解されるが、現実世界での一つ の意味のまとまりあるいは概念に対応するという点で形態素と区別される。
単語とは何かを論理的に厳密に定義することは非常に困難である。欧米語の場 合、現象的には単語はスペースで区切られた文字列である。単語は語形成の立 場からは、単純語、複合語、派生語などに分けられ、文法的立場からは名詞、 動詞、形容詞などの品詞に分類できる。日本語では、単語は自立語と付属語に 分けられる。自立語は単独で文節となりうるものであり、活用の有無でさらに 分けられる。活用のない単語は、主語となるもの(体言、名詞)と、主語になら ないもの(修飾語と非修飾語、副詞、連体詞)、および感動詞に分けられる。自 立語で活用のある単語を用言といい、他の単語の助けを借りずにそれだけで述 語になりうる。用言は、動詞、形容詞、形容動詞に分けられる。付属語は、活 用する助動詞と、活用しない助詞に分けられる。これらは独立して使われるこ とはなく、必ず自立語の後続単位として現れ、文法的、機能的な役割を果たす。
言語情報処理の立場から辞書に登録する単語は基本的な語だけでなく、よく現 れたり熟した複合語は一つの単語として登録する。専門用語はその専門分野の 概念に対応した語である。専門用語の多くは複合語であるが、その分野の基本 的概念に対応する語は、複合語であっても辞書に登録することが多い。→文節
日本語文法において、自立語あるいは自立語に一つ以上の付属語がついたもの をいう(→単語)。形態の上からは、意味を壊さない程度 に文をできるだけ細かく区切ったひと区切りが文節である。
人間が言語を理解するのと同じようなレベルで、機械が自然言語を理解したと いえる結果を出す計算機モデルを作る研究をいう。
ここで、自然言語とは、人工言語(主としてプログラム言語)に対するものとし て、我々人間の話す言語を指す。また、理解とは何かについての本質的定義を 与えることが必要であるが、それは困難なので、自然言語理解の研究において は、外部からの質問に対して人間が行なうような適切な応答を出すという機能 的定義を与えている。
自然言語に関するすべての処理は、発話されたり書かれたりする文章の理解と いう立場から行なわれるべきであるが、理解についての上記のような機能的定 義の立場から、テキスト理解や対話システムの研究が中心と なっている。自然言語理解のシステムを作るためには、文法や辞書などの言語知識の他に、我々の世界に存在する 一般的知識と、文章が述べている場面に関する情報とが必要で、これらは知識表現の問題である。さらに、発話を行なう話者の意図や心的 態度という要因はマンマシンインターフェースにおけるユー ザーモデルの問題として、文章の解釈に大きな影響を持っている。
自然言語の過程としては、まず形態素 解析(形態素処理)、続いて統語処理 が行なわれる。これらのいずれにおいても曖昧性 や 漠然性が存在したままであり、 次に行なわれる意味処理と 文脈処理において、 言語知識の他に一般 的知識や場面情報を用いて、これらの曖昧性や漠然性が取り除かれる。こうし て唯一の解釈を得た後、一般的知識や話者の意図、心的態度に関連した推論規 則という形の知識を用いて関連する連想的情報を得ることが自然言語理解であ る。
さらには、その理解した結果を文章などの人間の理解できる形に生成すること によって、システムがある理解の状態に到達していることを示すことが必要で、 対話システムの研究がその代表的なものである。異なった表現の2つの文が実 質的に同じ内容を示すことは良くある。これはパラフレーズの問 題と呼ばれており、自然言語理解の研究がさらに進展しないと解決は難し い。
自然言語理解には、意味を解する機械翻訳、テキストの自動抄録、データベースに関する質問応答などの多くの応用が期 待されている。また、音声理解や自然言語による図形の意味理解への応用もあ る。さらに人間-機械系において、究極的にはプログラムを組む代わりに自然 言語で機能を指示したいという強い要望がある。
自然言語理解の研究の歴史は 1960年代に始まる。初期のシステム例としては グリーン(Green, B.)の BASEBALL やリンゼイ(Lindsay, R.)の SADSAM などが ある。これらは特殊な領域で特殊な技法を用いて質問応答を行なうものであっ た。1970年代に入ると、統語処理の技法が向上して、ウィノグラードのSHRDLUや、ウッズ(Woods, W. A.)の LUNAR のよ うに、知識ベースを手続き的に構築した、かなり高度なシス テムが出現した。これに対し、シャンク(Schank, R. C.)の MARGIE と SAM は 知識ベースを宣言的に構築している。SAM はスクリプト の最 初の具体例である。1980年代以降では、状況意味論に見られ るように意味理解の形式化が盛んになるとともに、小規模モデルの試作ではな く大規模な知識ベースを地道に開発しようという気運が、アメリカとわが国を 中心に高まっている。→人工知能、言語情報処理、計算言語学
自然言語の統語規則(syntactic rule)を構成し、与えられた文が統語規則をど のように満足するかを明らかにする統語解析(systactic analysis, 構文解析ともいう)を行なうこと、また与えられた情報を統語規 則を用いて文に合成して出す統語生成(syntactic synthesis)を行なうことを いう。自然言語処理において、形態素 処理とともに最も良く研究されている部分である。この処理に続く意味処理や文脈処理とともに自然言語理解のための処理の 一部をなす。
語と語の結合によって句が形成され、語や句の結合によってさらに大きな句が 形成されるという形の統語規則を句構造規則といい、その集 合である句構造文法によって文の構造を説明しようとする方 法が広く行なわれている。句構造文法以外に、言語情報処理の立場からは、依存構造表現、格文法(→格構造)、さらに2つの隣接する句の属 性値が一致する場合に1つ上の句に統合するという考え方を基本とした単一化 文法(unification grammer)などが良く用いられる。
言語理論の立場からはチョムスキーの統率と束縛の理論(GB 理論 )や、語彙機能文法(LFG)、一般句構造文法 (GPSG) などの単一化文法に属するものが良く知られている。これらの文 法形式はよく整備されてくるにつれて直接計算機で取り扱えるようになってき つつある。
文法は本来的には意味と切り離し、品詞レベルでの語結合の規則性を明らかに するものであるが、統語処理という立場からは、意味処理を統語処理と同時に 行なうことによって不必要な曖昧性や組合せ的爆 発に近い現象が発生するのを防ぐことができる。
格文法は本質的に統語規則と意味規則を共存させた文法であり、日本語の解析 に広く用いられている。文の生成の多くは、格文法あるいはそれに近い形で与 えられた情報を出発点として、句構造文法によって行なわれている。解析・生 成の両方において、処理の途中の段階で変形文法などが使わ れることが多い。
文中での語順、様相表現などから、新情報、 旧情報を区別し、発話者の意図を推定するなどの処理は特に 対話システムで重要であり、特に文の生成における重要な因 子であるが、統語処理の範囲で考えられることは少なく、文脈処理の一部とみ なされている。
統語処理において妥当であると判断さ れた文の中から、意味的に異常な文を排除し、意味表現を抽出することをいう。 形態素処理、統語処理、文脈処理と並んで、自然言語理解におけ る重要なプロセスである。
例えば、名詞・助詞・動詞という品詞の並びは、日本語として妥当である。従っ て、そのような品詞の並びを持つ文は、統語処理において妥当であると判断さ れる。しかし、この品詞の並びを持つ文「石(名詞)が(助詞)走る(動詞)」は、 意味的に異常である。意味処理には、文を構成する各単語に対応する辞書項目 に書かれた情報を用いる。各辞書項目には、その単語と意味的に共起しうる単 語についての情報を選択制限として記述し、これに反する文 は、比喩文などを除き意味的に異常であると判断する方法が良くとられる。例 えば、「走る」の辞書項目には、「主語になりうるのは『意志』を持ったもの である」という選択制限を記述する。これを用いて処理を行なうと、「石が走 る」という文の主語『石』は意志を持たず、選択制限に反するとして排除され る。
選択制限は意味的に異常な文を排除するための機構であるが、文の意味を表現 する形式ではない。文の意味表現としてどのような形式を用いるかについては、 形式意味論の立場から多くの研究が行なわれている。例えば、モ ンダギュー文法は、意味表現として内包論理形式を抽出 する。意味処理を研究する上で重要な意味論の分野では、最近状 況意味論などの新しい意味論が提唱され、活発な研究が行なわれている。 →意味標識
ある言語表現が表現し得る一般的意味を対象とする意味処理に対して、文脈処 理は、それが使われた個別的な周囲環境(文脈)のもとでの言語表現の解釈 (interpretation)を行なう。言語表現が使われる周囲環境は、対 話システムとテキスト理解システムとでは異なり、それ に応じて文脈処理の内容も変わる。
対話システムでは、言語表現と発話者の関係(例えば発話者の持つ知識や意図 との関係など)、言語表現と発話場面との関係(例えば指示表現とそれが指示す る発話場面中の個体との関係)が文脈処理の主たる対象となる。これに対して、 テキスト理解では、周囲環境そのものがまた言語表現となるため、文間の相互 関係や照応処理など、文の境界を越えた自然言語の規則性や 構造を取り扱うことになる。
言語表現とその使用者や使用場面の関係を処理する文脈処理は、言語学におけ る語用論に対応し、自然言語処理において語用論的な規則性を処理する段階で あるといってもよい。代表的な文脈処理としては、対話システムにおける指示 表現の理解、意図の理解、協調的応答の生成、相 互知識の利用などと、テキスト理解システムにおける照応処理、スクリプ ト・フレームによる文間の相互関係の認識などがある。→自然言語理解、テキスト文法
【1】辞典ともいう。単語、慣用句の意味・用法などを知るために収集され、 文法情報、意味、用法、例などが与えられて、一定の順序に配列された単語、 慣用句などの集合をいう。通常は本の形態をとるが、ROM やフロッピーディス ク、CD-ROM などの電子的な媒体に記憶され、計算機を通じて利用されるもの も増えつつある。
用語集(lexicon)がある目的に従って単語とそれに関する最小限度の情報だけ を集めアルファベット順や五十音順に配列したものであるのに対し、辞書 (dictionary)は、品詞、発音、種々の詳しい意味、語の用法、用例などを豊富 に持つ点が異なる。また、種々の主題に関する事項名に詳し い説明を与えた辞典(encyclopedia)とも区別される。しかし、これらの区別を せず一括して辞書と呼ぶこともある。
計算機で利用できる形態の用語集または辞書を電子化辞書と 呼ぶ。辞書は、人が日常使う辞書(国語辞典、英和辞典など)と、言語の機械 処理のために使う機械処理用辞書に分けることができる。前者が利用者の高度 な理解力や知識を前提として文章の形で記述されているのに対し、後者は機械 処理システムが採用している方式や文法に依存した形で記号的に記述されてい る。言語の機械処理を精度の高いものとするためには、充実した各種の辞書を 用意する必要がある。→機械翻訳用辞書、専門用語辞書
【2】見出し語とその情報からなるデータの集合であって、所属、登録、削除 の3操作(→集合操作)が実行できる集合をいう。
ここで、所属は指定したデータが集合に含まれるかどうかを調べる操作、登録 はデータを重複が起こらないようにしつつ集合に追加する操作、削除は指定し たデータを集合から取り除く操作である。これらの基本となっているのが辞書 引きに相当する探索の操作である。抽象データ型 の観点からは、辞書には空の辞書を作る初期化操作も含む。
辞書の実現に用いられるデータ構造としては、ハッシュ表、 二分探索木、Ｂ木や種々のデジ タル探索木である。辞書は、文献情報の検索、ワードプロセッサや機械翻訳のための単語辞書 の実現に用いられる。
【1】1つの言語表現に対して、複数の統語構造(→統語論)や、 意味表現が対応し得る現象をいう。
プログラム言語のような人工言語は曖昧性が生じないように設計されているが、 自然言語には頻繁に現れ、自然言語の計算機処理を困難にする要因となる。曖 昧性の他に、同じ言語表現が連続的に無限の状況を表現し得ることによって生 ずる漠然性も処理の困難さの要因となるが、曖昧 性は構造の異なる有限個の解釈の間に生ずる性質である。
自然言語には、形態素的、構文的、意味的、文脈的などの曖昧性がある。例え ば、「数学科」が、数・学科と数学・科の2つの形態素 に分割できるのは形態素的曖昧性であり、並列句の曖昧 性や前置詞句付加の曖昧性は構文的曖昧性、多義 語は意味的曖昧性、照応処理において文章中に複数の 指示対象が考えられるのは文脈的曖昧性である。どの種類の曖昧性とみなすか は、文法理論や自然言語処理システムにおいてどのような表示レベルを想定す るかによっても異なる。一般に意味的曖昧性と考えられる限量詞や否定に関す るスコープ(作用域)の曖昧性(scope ambiguity)も(→限量詞の曖昧性、否定の 曖昧性)、異なるスコープ解釈に異なる構文木を想定する モンタギュー文法では構文的曖昧性とみなされる。
一般に1つの文には複数個の曖昧性が存在し、また曖昧な構文構造のそれぞれ に対して複数個の意味構造が対応し得るので、これらが組み合わさって1つの 文に対して非常に多くの曖昧性が生じる。これを処理の組合せ的爆発 (combinatorial explosion)という。このような各種の曖昧性をどのように処 理することができるかが構文解析プログラムの性能の一つの 尺度となる。
【2】
【3】
自然言語の計算機処理を困難にする自然言語に固有な性質で、一つの言語表現 に無限の解釈の可能性があることをいう。
例えば、「なるべく速く応答を返す」の「なるべく速く」がどの程度の時間幅 を指示するかには無限の可能性がある。人間は、発話の場面、対話相手のモデ ル、常識などのような直接表現されていない言語外的な文脈 (extra-linguistic context)を参照して、この漠然性を解消する。
曖昧性が言語表現と言語的意味の間で生じるのに対して、漠然性は特定の文脈 を固定した場合の言語表現の解釈において特に問題となる。語彙的な漠然性 (ある単語 --- 例えば「美人」 --- で表現できる範囲を明確に規定できない こと)は、機械翻訳における訳語選択の困難さの主たる原因となる。また、自 然言語のコミュニケーションに見られる誤解の原因もこの漠然性に起因するこ とが多い。→自然言語理解、文脈処理、真理条件的意味論