形態素解析について

車の買取価格を提示してくれるチャットbot作成、第３弾。今回は形態素解析についてです。

形態素解析とは、「車種はトヨタのプリウスです」といった入力文を品詞毎に分類し、

車種: 名詞
は: 助詞
トヨタ: 名詞
の: 助詞
プリウス: 名詞
です: 助動詞

という風にパーツごとにラベルをつけてくれるツールです。つまり、これを使えば、チャットbotが受け取った情報を簡単に解析できるわけです。
形態素解析ツールにはどのようなものがあるのでしょうか？

おおまかにわけて、

• ウェブサービスとして利用できるもの
• 呼び出し元のプログラムと同じコンピューターに設置するもの

の２種類があります。

前者には、Yahoo! Japanが運営する「Yahoo!形態素解析API」や、gooラボが提供するもの、NTTドコモが提供するものがありますが、いずれも商用利用は要問合せとなっています。

Web API呼び出しではなくサーバー内で利用する後者のタイプとしては、

• MeCab（定番ツールです）http://taku910.github.io/mecab/
• Juman++（表記の揺れを代表表現に置き換える機能がある）http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++
• Janome（MeCabと同等の結果が得られるPythonモジュール）http://mocobeta.github.io/janome/

などがあります。今回はPythonから利用しやすいこから、Janomeを利用することにします。サーバーにJanomeのモジュールをインストールしておきます

sudo pip install janome

これでJanomeを利用する準備は完了です。

下記のプログラムをtest.pyとして保存して、サーバーで走らせてみましょう。

import requests
from janome.tokenizer import Tokenizer

phrase = u’車種はトヨタのプリウスです’
t = Tokenizer()
for token in t.tokenize(phrase):
print(token.surface + ‘:’ + token.part_of_speech)

python test.pyで下記のような結果が表示されるはずです。

車種:名詞,一般,,
は:助詞,係助詞,,
トヨタ:名詞,固有名詞,組織,*
の:助詞,連体化,,
プリウス:名詞,一般,,
です:助動詞,,,*

形態素解析が使えるようになったので、これで利用者の問い合わせから、車種や色の情報を簡単に抽出することができます。例えば、

「車種を教えてください」

という質問をbotが返したときに利用者が入力した内容を解析し、名詞の部分を取り出せば、それが車種の情報を推測することができます。このようにして車種、年式、走行距離、色の情報を収集できるようになったら、いよいよ機械学習にとりかかります。