検索エンジン最前線

------------------------------------------------------
システムディベロップメントグループ プリンシパルコンサルタント
倉重　智哉
コアテクノロジーグループ プリンシパルエンジニア
須藤　義人

　蓄積された情報を利用するために多くの企業で検索システムが利用されている。しかし、実際に導入されたシステムは果たしてどれほど有効に利用されているのであろうか。今一度検索システムへの理解を深め、検索システムの導入や活用について考えてみたい。

１. 検索システムは「使える」のか？

　リアルコムでは今までに様々な分野の企業の知識・情報活用の支援を行ってきている。時にはコンサルティングサービスとして、時には自社のソフトウェアを含めた情報系システムの構築プロジェクトという形である。こうした支援活動のなかで、ほとんどと言っていいほど「検索」というキーワードが登場する。「過去に蓄積された情報をいかに有効活用するか」「新規導入する情報システムにおいて日々蓄積されていく情報をいかに効率的に利用するか」――情報というものを扱う際に避けては通れない課題であり、実現のための最も現実的な方法が「検索システム」であると認識されている。

　しかし、実情はどうだろうか。検索システムを利用して、膨大なデータに対して検索を実行できるようにした結果、どれだけの価値を提供してくれるのだろうか。実際、我々が顧客や、顧客以外のシステム担当者の話を聞くと、検索システムを賛美するような声を聞く機会というのは意外に少ない。一方で、検索システムに対する不満の声を耳にする機会は多い。

　「検索結果が表示されるのが遅くて、検索を利用する気にもならない」。これはある企業のエンドユーザーの声である。新システムを導入し、そのシステムのトップページには検索用の入力フォームが存在している。ここに文字を入力し、検索をはじめる。次に一通のメールを読んで、読み終わったころにようやく検索結果が表示される。このような状況でエンドユーザーは果たして利用してくれるだろうか。

　「検索をしても全然欲しいものにたどり着かない」。こういった声もよく聞く。資料を作成するときに参考になる資料を探しているのに、どう検索してもうまい具合に見つからない。こういった経験は誰しもあるだろう。検索の仕方が悪いのか、それとももしかしたらデータがそこにないのか、といったことも考えられる。こういったことがあると、ユーザーからの検索システムへの信頼は揺らいでしまう。ユーザーは人に尋ねて参考資料の在処を見つけるという古典的な方法に戻らざるを得ない。

　また、「なぜこのような検索結果が表示されるのでしょうか」といった質問を、ある顧客から受けたことがあった。一部の検索システムでは特殊な演算による処理を行っている。検索結果の表示順にキーワードの出現個数を利用するものもあれば、検索対象の関連性を加味するものも存在する。このような仕組みはキーワードの一致に慣れているユーザーからすれば、検索結果に対して疑問を持つことがあるのは疑いようがない。その特徴を理解せずに導入してしまうと、利用するユースケースによっては、使い物にならないといった判断をされかねない。

　しかし、利用シーンとうまくマッチすれば、非常に強力なソリューションとなってくれるのもまた事実である。実際に検索システムをうまく活用している例も存在する。ある企業の一部署では、部署内で利用していたファイルサーバーに検索システムを導入し、非常に役に立っているという。過去に部員によって作成された資料は必ずそこに保存され、一元化されていた。以前はファイルサーバーに置いていくだけであったが、作成される資料も増え、資料だけでなく様々な情報がすべて蓄積されていくと、フォルダだけの管理ではどうしても見つからないというケースが発生してしまう。そこでこの部では検索システムの導入を行い、ファイルサーバーの検索を実現したのである。それまではいくつものフォルダを延々と探してようやくたどり着いていたファイルに、それほどの時間をかけずに行き着くことができるようになったという。

　このような失敗談、成功談は検索システムの導入に限らない話であるが、検索システムでは特に顕著に現れるように思われる。その要因として、検索システム（主に検索エンジンと呼ばれるソフトウェア）は、インストールしてしまえばそれでよいという風に捉えられていることがある。しかし、実際に大量のデータを扱うには、莫大なシステム投資が必要になるし、検索によってユーザーが何を求めようとするかという点を明確にせずに導入すれば、ユーザーの期待とのずれが上述のような不満の声となりかねない。

　検索システムというものがいったいどんなものであるかという理解、そして実際に検索システムを選択し、構築するポイントを理解することで、社内の検索システムもあなたの役に立つシステムに変貌するはずである。

２. 検索システムとは何か

言語処理技術概観

　それでは検索システムの活用を考える前に、まずは検索システムの技術的な側面について概観してみよう。

　単純化すると検索システムとは、ユーザーが必要な情報を簡単に取り出すために、

1. 蓄積された膨大な電子文書の中から
2. 自然言語を対象としたコンピュータの処理技術を用いて
3. ユーザーの検索に合致する文書を取り出す

ための言語処理技術を用いた手法だといえる。

　また、検索システムは情報の蓄積・検索・取得といった情報のサイクルを担うシステムの中に位置付けられ（図１）、その歴史は1950年代から技術研究が進められてきた分野でもある。現在、検索システムに用いられている言語処理技術の主流は図２の要素に分けることができる。

電子化された文書集合

　コンピュータによる言語処理を行うためには対象となる文書が電子化され、蓄積されていなければならない。電子化文書には様々なファイル形式（Microsoft Word や Excel、ドキュメントスキャンによる独自形式など）が存在し、蓄積システムもファイルサーバーやデータベース、WEBサイトのほかにも、Lotus Notes や MS Exchange といった様々なものがある。検索システムにはこれらを広範に扱えることが求められる。