形態素解析を組み込むメリット / 日本語形態素解析

ツールで稼ぐ！ＳＥプログラマのためのセカンドライフ

　太陽です。こんばんわ。

　すごい眠いです。。

　要約ツール(無料)

　http://tools.richprogramer.com/youyaku/

　の不具合対応していたら朝４時になってまして・・・

　そのあと軽く寝て出勤しました。

　不具合が発生すると見られるポイントを大幅に修正しました。

　また、修正ばかりでは既に動いているという９５％の人に

　申し訳ないので機能追加もしました。

　RSS記事を取得できるようにしました。

　要約記事をリライトしながら、RSS記事で記事全体のボリュームを

　膨らましながら、記事を書いてみてください。

　あの要望がやっぱりきました。

　↓
　↓
　↓

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

　ツールで稼ぐ！ＳＥプログラマのためのセカンドライフ

　2007/07/31　日本語形態素解析　　　　　　　　　　茂野　太陽
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

　「　要約をすると上のほうの記事ばかり取得するようですが・・・

　　　もし可能なら全体的な要約をお願いします。」

　こんな内容の要望がやはりやってきました。。

　現在の要約は、文章をセンテンス(文節)に分け、単に

　キーワードが入っている文章を抜き出しているだけですから

　意味的な要約としては不完全なものであるんです。。

　本来ですと、

　各センテンスの重み付けをして、重要度の高い

　文章を優先的に取得するようにしなければいけないのです。

　有料のものは、この辺がきちんとできています。

　「無料だからいいじゃん。」

　こう言ってしまえばそれでオシマイなのですが・・・

　それでも、自分でも使っているツールなので

　やっぱり文章の重要度もきちんと判別しようかなって思い始めています。

　「　日本語形態素解析　」

　こんな機能を組み込んで重要度を計測し、要約記事に

　適用しようかなと思っています。

　形態素解析ってなんじゃっていうと・・・

　簡単に言えば

　日本語文章内の単語を分解して、それぞれが名詞なのか

　動詞なのかとかを判定するものです。

　よく使われる単語が重要な単語(キーワード)として抽出し、

　そして、センテンス毎に、これらキーワードの出現具合をみて、

　センテンス自体にポイントをつけていきます。

　そしてポイントの高いセンテンスを優先的に

　要約記事として使用するんです。

　今回の要約ツール

　http://tools.richprogramer.com/youyaku/
　
　では、これを端折ったため、変なキーワードが出てくるんです。

　また、センテンスの重み付けもしていないので

　出現順にならんでいき、記事の要約目安文字数付近で

　プツリときれる形になっています。

　サイト記事としてはこれでも十分だとは思うんですけど

　王道系サイトを作るのであれば、やっぱりきちんと要約した方が

　良いですよね。

　というわけで、

　「　日本語形態素解析　」

　を含んだ形の要約ツールも作成します。
　(ちょっとファイルサイズが大きくなります。１５Mとか・・・)

　次の無料配布予定のツール「Adsenseゴールハンター」の後になります。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　茂野　太陽

　□連絡事項

　　まるるちゃんの記事提供サービス
　　無料キャンペーンは8/1 11時頃までだそうです。

　　一括ダウンローダは、もうちょっと待ってください。
　　まるるちゃんからちょこっと要望があり改良中です。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
★感想メールは、このメルマガに「返信」をするだけで送れます。ポチっ！
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

　　　　発行者：札束技術工房
　　　　　　　　茂野太陽（しげのたいよう）

　　　　■メルマガのバックナンバーサイト
　　　　　http://tools.richprogramer.com/mail_magazine/

※解除 → http://tools.richprogramer.com/mail_magazine/kaijo.html
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
　　　　Copyright(C)2006 RICH PROGRAMER All Rights Reserved.

【おまけ】

　この形態素解析を組み込む事で

　日本語の文章をプログラム中でいろいろ面白いことが

　できるようになるんです。

　たとえば、

　「キャッシング」に関する情報をネット上からガバッと取得し

　その文章中に含まれる単語でキーワードとなり得るものを

　抽出できるようになるんです。

　関連キーワードってありますよね。

　でも正直よくわかりません・・・

　専門分野でもない限りね。

　そこで、キーワードに関連する記事内で多く利用されている単語に

　注目すると・・・

　おっ！こんな単語があるんだ。

　おっ！こんな単語があるんだ。

　おっ！こんな単語があるんだ。

　って結構拾えたりするんです。

　このように形態素解析を使ってネット上の関連記事から

　単語を抽出するとニッチなキーワードが拾えます。

　ニッチキーワード抽出、要約精度アップ

　形態素解析を取り入れる事で

　どんどん楽しい事ができるんですね。

　アイデアも沢山生まれてます。

　さくっと思いつくアイデアとしては・・・

　形態素解析で抽出した名詞に関する動画をYoutubeから自動的に取得して

　サイトを作っちゃう。

　「生田斗真が海辺で象アザラシと格闘し、雄たけび！」
　(フィクションです)

　こんな記事を用意し、動画として

　・生田斗真

　・海辺

　・象アザラシ

　・雄たけび

　を見つけて、記事と動画を４コマ風に貼り付ける感じです。

　想像上のお話ですから、がんがん作れますよね。

　今日バージョンアップした要約ツール

　http://tools.richprogramer.com/youyaku/

　動かない人はメール下さい。

　info@richprogramer.com

　では、またメールします。
　最後までありがとうございました。

メールマガジン登録

現役ITサラリーマンの特権を活かし副業で稼ぎの手法やツールを提供。
最先端IT現場からあなたに稼ぎにつながる情報を提供いたしております。

形態素解析を組み込むメリット / 日本語形態素解析

関連サイト

メールマガジン登録